The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск Debian 12.3 отложен из-за проблемы, приводящей к повреждению ФС Ext4, opennews (??), 10-Дек-23, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


159. "Выпуск Debian 12.3 отложен из-за проблемы, приводящей к повр..."  +/
Сообщение от Аноним (153), 10-Дек-23, 17:53 
> Мигрируй на бтрфс

Там даже конвертор EXT4 -> btrfs есть. Но вот это - таки не рекомендуется. Это работает, но структура ФС неоптимальная, экзотичная и так можно получить странные баги.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

213. "Выпуск Debian 12.3 отложен из-за проблемы, приводящей к повр..."  +/
Сообщение от нах. (?), 11-Дек-23, 09:23 
>> Мигрируй на бтрфс
> Там даже конвертор EXT4 -> btrfs есть. Но вот это - таки
> не рекомендуется. Это работает, но структура ФС неоптимальная, экзотичная и так
> можно получить странные баги.

блжад, да в каком месте у вас хоть изредка бывает не так?!

Ответить | Правка | Наверх | Cообщить модератору

242. "Выпуск Debian 12.3 отложен из-за проблемы, приводящей к повр..."  +/
Сообщение от Аноним (240), 11-Дек-23, 21:52 
> блжад, да в каком месте у вас хоть изредка бывает не так?!

Чудак. Файлуха при этом врапает себя в свободное место имевшейся ФС.
1) Это довольно неоптимальная аллокация, делали не "как лучше" а "уж где нашлось место". Поэтому перфоманс такого комбо - ну вот как повезет.
2) Лэйаут ФС при этом весьма экзотичный, и если хотелось потестить код в редко используемых закоулках на странных комбо - это можно. Вот прям ща - оно, таки, вроде уже работает без особых приколов. Но с учетом 1) все равно очень на любителя комбо.
3) Если хочется побыковать на глючность фичи - окей, оно глючно по сравнению С КЕМ? Кто так вообще еще умеет? Я еще у кента какие-то зачатки этого видел. Ну он с его cow дизайном тоже может попытаться такие фортели в принципе. Для реализации такого пируэта надо CoW с write-anywhere структурой. Иначе номер не получится. Ведь надо втискиваться уж где есть место.

Ответить | Правка | Наверх | Cообщить модератору

252. "Выпуск Debian 12.3 отложен из-за проблемы, приводящей к повр..."  +/
Сообщение от нах. (?), 12-Дек-23, 09:53 
>> блжад, да в каком месте у вас хоть изредка бывает не так?!
> Чудак. Файлуха при этом врапает себя в свободное место имевшейся ФС.
> 1) Это довольно неоптимальная аллокация, делали не "как лучше" а "уж где

для fs рекламируемая фича которой безобидное увеличение на ходу - не говоря уже об антирекламируемой с перебалансировкой вручную - это п-ц какой-то. Это даже хуже ntfs (у той только и беды что mft не посередине где теоретически оптимальнее, а где получилось)

> 2) Лэйаут ФС при этом весьма экзотичный, и если хотелось потестить код
> в редко используемых закоулках на странных комбо - это можно. Вот

нет, спасибо, у меня growfs таки очень обыденный случай, когда дотестите, тогда и приходите.

> 3) Если хочется побыковать на глючность фичи - окей, оно глючно по
> сравнению С КЕМ? Кто так вообще еще умеет? Я еще у

fat2ntfs существует 25 лет.

Ответить | Правка | Наверх | Cообщить модератору

254. "Выпуск Debian 12.3 отложен из-за проблемы, приводящей к повр..."  +/
Сообщение от Аноним (240), 12-Дек-23, 19:41 
>> 1) Это довольно неоптимальная аллокация, делали не "как лучше" а "уж где
> для fs рекламируемая фича которой безобидное увеличение на ходу -
> не говоря уже об антирекламируемой с перебалансировкой вручную - это п-ц какой-то.

ПЦ какой-то  - "по сравнению с чем"? А кто еще умеет вообще внутрь себя врапать чужой ФС, да еще с возможностью отмены конверсии? Ну вот EXT4 в ZFS например вообще сконвертить - смогешь? Для референса в сравнении?

А для понимания... как-то раз я под виндой хотел NTFS размер урезать и новый раздел втулить. Всего лишь. На том компе не было упса, я нашел какую-то прогу... шел примерно 30-й час ресайза (всего то, бжд) - и тут грохнулось питание. Догадайся что было дальше.

DataRecovery мое давнее хобби, я большую часть выцепил, но "по...ться завернуть" резко подвалило. Надеюсь, это объясняет почему я полюбил управление местом btrfs, там это совсем иначе. Он по backref уберет что надо - совсем не за 30 часов если не хотеть чего-то вообще странного, а крах при этом похрен, т.к. у COW записи недеструктивные. Оно либо не успело "указатели перевесить" и провалившаяся операция - самоотменится, либо успело - и это "успешный commit" в терминах транзакций.

> Это даже хуже ntfs (у той только и беды что mft не> посередине где теоретически оптимальнее,
> а где получилось)

Когда тебе надо вписаться вокруг уже существующей ФС - НЕ ИСПОРТИВ ЕЕ - ибо декларится возможность отката (можно получить старую ФС в исходном виде) - там, видишь ли, придется осетра урезать - и делать аллокации сугубо на свободном месте оригинала.

Это на самом деле - офигеннейшее сбитие автомобилем вертолета, показывающее гибкость аллокатора и мощь CoW. Большинство inplace дизайнов так тупо не сможет - за отсутствием гибкости или фиксированного размещения структур. Но начать от этого считать что автомобили - отличное ПВО.

По перфомансу этот кейс оптимальным быть не может - структуры новой ФС вкроены туда где было свободное место оригинальной ФС. Это и позволяет откат до старой ФС при таком желании. Если структуры оригинала трогать - ок, а как на это откат делать тогда?! А ты ТАКОЕ вообще с ZFS например смогешь вообще? Или с чем там еще? Такая технология требует CoW для "write anywhere" аллокаций, чтобы вписаться в свободное место другой ФС. На уровне абстракций - прикольно, имхо.

>> 2) Лэйаут ФС при этом весьма экзотичный, и если хотелось потестить код
>> в редко используемых закоулках на странных комбо - это можно.
> Вот нет, спасибо, у меня growfs таки очень обыденный случай, когда дотестите,

Это не про grow. Прицепить еще +девайс - без проблем. И место добавится. Но вот лэйаут конверченой из другой ФС файлухи - "странный": btrfs вписывается в свободное место существовавшей ФС. Не трогая ее - дабы иметь возможность отката на оригинал. Представляешь, можно вернуться на старую ФС (конечно без изменений записаных в btrfs). Это круть cow механики. Вон то - нечто типа readonly базы, относительно которой cow будет дельту делать. Можно это снести, тогда откат на старую ФС станет невозможен. Однако лэйаут останется "странный" и в более адекватный вид приводится ребалансом + дефрагом для более разумной аллокации.

А NTFS - попробуй впиши допустим в свободное место вон того EXT4? И как, хорошо получается? :)

> тогда и приходите.

Да оно вроде работает и даже баги более-менее поубиваля - просто я сразу на старте понимаю что из-за особенности технологии "мы сбили автомобилем вертолет" - лэйаут после такой конверсии будет не особо оптимальный, пришлось вписываться в свободное место чужой ФС уж как оно там есть.

> Я еще у fat2ntfs существует 25 лет.

Окей, а там можно откатиться на FAT если NTFS тебе не понравился? Вон то видите ли CoW механику использует, вообще не руша оригинал по сути :). Недеструктивная запись довольно круто отличается от in-place операций. В частности и - вот - возможностью UNDO этого всего. Это одно из лучших свойств CoW технологий.

Ответить | Правка | Наверх | Cообщить модератору

256. "Выпуск Debian 12.3 отложен из-за проблемы, приводящей к повр..."  +/
Сообщение от нах. (?), 12-Дек-23, 20:07 
>>> 1) Это довольно неоптимальная аллокация, делали не "как лучше" а "уж где
>> для fs рекламируемая фича которой безобидное увеличение на ходу -
>> не говоря уже об антирекламируемой с перебалансировкой вручную - это п-ц какой-то.
> ПЦ какой-то  - "по сравнению с чем"? А кто еще умеет
> вообще внутрь себя врапать чужой ФС, да еще с возможностью отмены

отмены в какой момент? И что будет если управляющие структуры лежат по одинаковым офсетам (уж суперблок-то точно)?

> конверсии? Ну вот EXT4 в ZFS например вообще сконвертить - смогешь?
> Для референса в сравнении?

вопрос в наличии места где это можно сделать. Его понадобится - много.

> А для понимания... как-то раз я под виндой хотел NTFS размер урезать
> и новый раздел втулить. Всего лишь. На том компе не было
> упса, я нашел какую-то прогу... шел примерно 30-й час ресайза (всего

ну может дело было в какой-то проге? А может в том что места банально не было.

> то, бжд) - и тут грохнулось питание. Догадайся что было дальше.

Казалось бы, что? При переписывании файлов внутри журналирующей метаданные fs? У скольких мильенов навернулось питание при ночном defrag?

> крах при этом похрен, т.к. у COW записи недеструктивные. Оно либо
> не успело "указатели перевесить" и провалившаяся операция - самоотменится, либо успело
> - и это "успешный commit" в терминах транзакций.

либо места на бесконечное стадо коров - не хватило.

> Когда тебе надо вписаться вокруг уже существующей ФС - НЕ ИСПОРТИВ ЕЕ

то на ней просто должно быть достаточно свободного места для манипуляций с двумя fs сразу.
Чудес не бывает.

> - ибо декларится возможность отката (можно получить старую ФС в исходном
> виде) - там, видишь ли, придется осетра урезать - и делать

и зачем она нам? Какое-то совсем ненужное действо. Нам нужно просто не потерять данные, а этот откат - ну ок, один из возможных механизмов. Как видим, довольно непростой и дорогой в реализации, может попроще стоило выбрать?

Напоминаю, возможность ресайза вниз у ext4 - встроенная фича.

> откат до старой ФС при таком желании. Если структуры оригинала трогать
> - ок, а как на это откат делать тогда?! А ты

А зачем он нужен? Нам нужно просто не потерять данные если что-то пойдет не так. Точки восстановления, не, не слышали?

> Это не про grow. Прицепить еще +девайс - без проблем. И место
> добавится. Но вот лэйаут конверченой из другой ФС файлухи - "странный":

понятно. Лучше видимо избегать таких чудес.

> дабы иметь возможность отката на оригинал. Представляешь, можно вернуться на старую
> ФС (конечно без изменений записаных в btrfs). Это круть cow механики.

троллейбусизбуханкижпг
нам не надо обратно раз уж мы полезли в это - очевидно что мы хотим оригинал заменять (и вовсе не хотим выяснять потом как добавить к нему изменившееся, даже если откатимся).
Нам надо просто не потерять данные если в процессе что-то сбойнет. Но, видимо, был выбран механизм по принципу "где светлее".

> Окей, а там можно откатиться на FAT если NTFS тебе не понравился?

нет, зачем он мне если мы от него пытаемся уйти? Что-то мне подсказывает что ТАКОЙ мне бы точно не понравился.

Ответить | Правка | Наверх | Cообщить модератору

264. "Выпуск Debian 12.3 отложен из-за проблемы, приводящей к повр..."  +/
Сообщение от Аноним (265), 19-Дек-23, 05:59 
> отмены в какой момент?

IIRC "пока не снесен subvol с файлом-образом старой ФС". Забавная абстракция, а? :). Посмотри в их readthedocs детали, прикольно придумано.

> И что будет если управляющие структуры лежат по одинаковым офсетам (уж суперблок-то точно)?

Не помню что там, вероятно несколько блоков физически удвигают. Логически, старая ФС вписана в btrfs как "файл образа" в subvol "ее снапшота". Это защищает старый фс, оформляя все аллокации (включая и метаданные) как аллокации btrfs. При откате видимо возврат нескольких блоков назад. Остальное... у оригинала ничего и не менялось! Конвертор сделал btrfs метаданные, которые референсятся на те же файлы, поскольку трогать их было нельзя из-за защиты снапшотом, cow при записи выноски делает. Это идет в btrfs free space, которое заодно и extX free space был. Поскольку Ext метаданные никто не апдейтил, откат ессно в оригинальное состояние, как и ожидаемо от снапшота.

> вопрос в наличии места где это можно сделать. Его понадобится - много.

Его надо...
1) Для служебных структур btrfs.
2) Для свободного места btrfs.

Это вполне умеренно, bulk data никто не кантует! Конечно метаданные btrfs будут дублировать метаданные оригинала, но блоки будут референснуто прям из оригинала, не надо их копировать. Это ж cow/write anywhere! Что куда хочет то и референсит. Поэтому может и вон то защитить, и отреференсить, и запись редиректнуть в безопасный регион. Помнишь я говорил что ты не понимаешь истинную мощь технологий cow и write-anywhere? Это пример того что оно может.

> ну может дело было в какой-то проге? А может в том что места банально не было.

Я думаю что дело в том что в NTFS нет backrefs... Кент вон уже тоже заметил что у его сарая нет стены^W backrefs и скорость операций...не та которую он хотел!

> Казалось бы, что? При переписывании файлов внутри журналирующей метаданные fs?

А таки разлет был хорош. Записи же деструктивные! Это не cow где сперва "планируемую" копию сделали, а потом перевесили указатели, после чего GC может подгребать деаллоцированый старый вариант и мало места для лажи. А в деструктивной записи малейшее отклонение от идеала и усе, факап.

> У скольких мильенов навернулось питание при ночном defrag?

Не знаю. Но нескольким из - я вынимал данные с немоунтабельной виндой напроч нтфсины. Пришлось и вон там ту же магию, внепланово. Я более-менее все выцепил но времени убилось в разы больше планируемого и в итоге закончилось полным data move -> repartition -> возврат данных. Убийство времени и позор менеджмента систем.

> либо места на бесконечное стадо коров - не хватило.

Бесконечное не надо - только на маневровый регион, остальное GC может подгребать наздоровье, оно уже ни для чего не используется. После перевеса указателей - старый регион подлежит деаллокации. Теоретически надо места на 1 двигаемый экстент. Практически конечно супернеоптимально в таком виде.

> то на ней просто должно быть достаточно свободного места для манипуляций с
> двумя fs сразу. Чудес не бывает.

Есть 1 чудо: указателей на регион может быть более 1. Блоки  будут реюзануты, место сожрется на второй набор метаданных. И конечно блоки оригинала нельзя деаллоцировать пока есть снапшот, иначе как откатывать?! Это просто креативное использование фич CoW. Люблю такое, так системщиков и архитектов видно.

> и зачем она нам? Какое-то совсем ненужное действо.

В случае btrfs
1) возможен откат на оригинал! крутое и стебное использование механики снапшотов.
2) конверсия делается с минимумом интрузива - основной объем не кантуют.

> Нам нужно просто не потерять данные, а этот откат - ну ок, один из возможных механизмов.

Ага! При этом с данными - да и метаданными старой ФС - ничего не случается, поводов для жесткого дестроя минимум. Они креативно крафтят второй набор метаданных по сути :)

> Как видим, довольно непростой и дорогой в реализации, может попроще стоило выбрать?

Чего такого дорогого в генерации второго набора метаданных по уже имеющемуся? Самое плохое что с этого происходит - не особо оптимальный лэйаут структур. Но это более-менее лечится, в доках написано как.

> Напоминаю, возможность ресайза вниз у ext4 - встроенная фича.

И чего? Ну попробуй вписать EXT4 в какой-нибудь другой ФС не разнося ту ФС в хламину. Сорян чтобы это работало - надо CoW семантику умеющую write anywhere.

> А зачем он нужен? Нам нужно просто не потерять данные если что-то пойдет не так.
> Точки восстановления, не, не слышали?

По моему они наоборот намного красивее тех костылей сделали. Юзанули мощь cow по полной и по сути 2 набор метаданных создают. И если юзер захочет то может откатиться на старую фс. Прикольная манифестация настоящей мощи cow.

> понятно. Лучше видимо избегать таких чудес.

Да. И про это в доке написано, как и что сделать если снапшот снесен для оптимизации лэйаута. Но абстракция стебная. И да - кому-то идея зашла, и они внешний тул ntfs2btrfs сделали, то же самое делает как я понимаю.

> троллейбусизбуханкижпг нам не надо обратно раз уж мы полезли в это - очевидно
> что мы хотим оригинал заменять (и вовсе не хотим выяснять потом
> как добавить к нему изменившееся, даже если откатимся).

Откат на снапшот - подразумевает потерю изменений с момента снапшотирования. Это как раз ожидаемое поведение абстракции "снапшот".

> Нам надо просто не потерять данные если в процессе что-то сбойнет.
> Но, видимо, был выбран механизм по принципу "где светлее".

Когда в руках молоток, все вокруг кажется гвоздями. Зачем изобретать костыли если вся механика умеющая это и намного круче уже была?!

>> Окей, а там можно откатиться на FAT если NTFS тебе не понравился?
> нет, зачем он мне если мы от него пытаемся уйти?

Eval сделать - с возможностью передумать.

> Что-то мне подсказывает что ТАКОЙ мне бы точно не понравился.

А я таки проперся таким импользованием механики фс. Норм сбитие вертолета автомобилем. Ну и откат такой технологии должен быть достаточно прост и мало что может обломаться. Если не создавать себе проблем "точками отката" и проч, не придется их героически решать.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру