The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

В ядре Linux 6.3 всплыла проблема, приводящая к повреждению метаданных ФС XFS, opennews (??), 26-Май-23, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


64. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +6 +/
Сообщение от beck (??), 27-Май-23, 10:31 
Прочитал обсуждение.
Xfs - дерьмо, etx4 - дерьмо, btrfs - дерьмо, zfs - дерьмо.

Причём у всех рассказывающих либо потери данных, либо тормоза, либо и то, и другое.

Возникает резонный вопрос, а под линукс есть хоть одна нормальная файловая система,  которая просто работает? Как например NTFS?

Ответить | Правка | Наверх | Cообщить модератору

80. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +4 +/
Сообщение от Аноним (73), 27-Май-23, 11:06 
> Прочитал обсуждение.
> Xfs - дерьмо, etx4 - дерьмо, btrfs - дерьмо, zfs - дерьмо.
> Причём у всех рассказывающих либо потери данных, либо тормоза, либо и то,
> и другое.
> Возникает резонный вопрос, а под линукс есть хоть одна нормальная файловая система,
>  которая просто работает? Как например NTFS?

Да, EXT4 стабильнее всех работает, а те кто про неё пишут гадости, подсосы бутерфс от красношляпы либо просто полезные идиоты, либо на зряплате. А ты вообще жирный MS-тролль, так-то.

Ответить | Правка | Наверх | Cообщить модератору

82. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от DEF (?), 27-Май-23, 11:09 
>подсосы бутерфс от красношляпы

Сосайтник, бутерфс от оракла.

Ответить | Правка | Наверх | Cообщить модератору

109. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (109), 27-Май-23, 12:30 
Ой извините подсосы бутерфс от оракцле.
Ответить | Правка | Наверх | Cообщить модератору

81. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  –1 +/
Сообщение от DEF (?), 27-Май-23, 11:08 
>Как например NTFS?

Вот это рили дерьмо.

>а под линукс есть хоть одна нормальная файловая система

Конечно есть - Btrfs.

Ответить | Правка | К родителю #64 | Наверх | Cообщить модератору

410. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (-), 04-Июн-23, 01:04 
> Вот это рили дерьмо.

Подтверждаю - рекаверил убиты в хлам нтфсы юзерам у которых все прекрасно работало до момента когда ВНЕЗАПНО развалилось вдрызг и перестало маунтиться. В основном это из-за сбойной оперативы. Но чексуммы и такое хайлайтят, потому что в таком случае несовпадения периодически лезут и это заметно.

Ответить | Правка | Наверх | Cообщить модератору

83. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +3 +/
Сообщение от n00by (ok), 27-Май-23, 11:10 
На zfs не каждый местный эксперт сможет установить систему, так что это их экспертное мнение скопировано у других таких же экспертов. Вероятно, в случае остальных ФС экспертиза проводится точно так же.
Ответить | Правка | К родителю #64 | Наверх | Cообщить модератору

86. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +1 +/
Сообщение от Читатель сайта (?), 27-Май-23, 11:15 
Сейчас придут и расскажут и почему NTFS тоже дерьмо. :)

А IMHO - вся беда в том, что серебряной пули так и не сделали. Каждая из этих FS хороша для употребления в своих условиях. Но это ж думать надо...

Ответить | Правка | К родителю #64 | Наверх | Cообщить модератору

102. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от birdie (ok), 27-Май-23, 11:52 
> etx4 - дерьмо

Используется на более чем 2х миллиардов Android телефонах и сотнях(!) тысяч серверов.

Более надёжной ФС в Линукс нет и не было.

Самый большой косяк - не умеет делать дефрагментацию свободного места, но с приходом SSD проблема перестала быть актуальной.

Вторая по надёжности, я не шучу, vfat, но она не подходит для хранения файлов Linux.

Ответить | Правка | К родителю #64 | Наверх | Cообщить модератору

105. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  –2 +/
Сообщение от DEF (?), 27-Май-23, 11:58 
>Используется на более чем 2х миллиардов Android телефонах и сотнях(!) тысяч серверов.

И чо? У одного только Фейсбука, btrfs юзается в хвост и в гриву на более миллиона серверов.

>Более надёжной ФС в Линукс нет и не было.

Ложь. ФС, которая не умеет чексумить данные - не может быть надежной априори.

>Вторая по надёжности, я не шучу, vfat, но она не подходит для хранения файлов Linux.

Укатайка...

Ответить | Правка | Наверх | Cообщить модератору

114. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от birdie (ok), 27-Май-23, 12:39 
> Ложь. ФС, которая не умеет чексумить данные - не может быть надежной априори.

Есть решения без этого, начиная от dm-integrity, заканчивая тупо md5sum.

Проблема не настолько серьёзная, чтобы говорить, что без этого ФС не ФС.

Я бы назвал data checksum nice to have фичей, но никак не crucial/essential.

Ответить | Правка | Наверх | Cообщить модератору

124. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +2 +/
Сообщение от DEF (?), 27-Май-23, 13:45 
>Есть решения без этого, начиная от dm-integrity, заканчивая тупо md5sum.

Это не решения, а днищенские костыли. Гарантия целостности данных должна обеспечиваться на уровне ФС.

Ответить | Правка | Наверх | Cообщить модератору

126. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от birdie (ok), 27-Май-23, 13:58 
> Это не решения, а днищенские костыли.

Кто это решил? Я использую файлы с checksums более 20 лет. Проблем не было.

Кроме этого, OK, у вас есть data checksumming на уровне FS, данные на носителе похерились по разным причинам. Чем вам это поможет? FS вам выдаст пустой блок вместо данных (кажется, это так сейчас работает в ZFS). Приехали?

Я скажу ещё более страшную вешь - checksumming без recovery бесполезен буквально полностью. Всё, отдыхайте. А вот тут решений на уровне FS я не знаю вообще. Есть PAR2, но это бесконечный геморрой, который я заменил на RAR.

> должна обеспечиваться на уровне ФС

Кто кому должен? Почему должен?

Я сейчас скажу, что вы мне должны $1M, потому что так "правильно". Всё? Приехали?

Не надо свои хотелки превращать в status quo.

Ответить | Правка | Наверх | Cообщить модератору

201. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +2 +/
Сообщение от пох. (?), 28-Май-23, 00:20 
> Кроме этого, OK, у вас есть data checksumming на уровне FS, данные на носителе похерились по разным причинам.
> Чем вам это поможет?

копий данных на современных fs может быть, внезапно, не одна. И даже носителей тоже может быть не один.

> FS вам выдаст пустой блок вместо данных (кажется, это так сейчас работает в ZFS).

когда кажется - помогает креститься. zfs (как и любая другая с контролем целостности) ничего не выдаст, вернет ошибку чтения, если не имеет второй копии. И ты хотя бы узнаешь что файл поврежден (возможно копии нет у fs, а ты был умный и у тебя она есть где-то еще).
Если копия есть и валидна - молча вернется правильный блок, а битый при scrub будет перезаписан, без необходимости тебе лично участвовать в этом процессе.

Раз ты даже этого не знаешь - чего стоит твоя "экспертиза"?

Ответить | Правка | Наверх | Cообщить модератору

219. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  –3 +/
Сообщение от Sw00p aka Jerom (?), 28-Май-23, 10:34 
>копий данных на современных fs может быть, внезапно, не одна.

И какой копии доверять? Как доказать целостность? Где гарантии, что копии целые? Человек до сих пор не придумал этого механизма.

Ответить | Правка | Наверх | Cообщить модератору

280. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Прохожий (??), 29-Май-23, 11:01 
Тебе ж написали:контрольные суммы.
Ответить | Правка | Наверх | Cообщить модератору

282. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Sw00p aka Jerom (?), 29-Май-23, 11:36 
> Тебе ж написали:контрольные суммы.

а где храним эти контрольные суммы? и в каком количестве?

Ответить | Правка | Наверх | Cообщить модератору

400. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (400), 03-Июн-23, 19:38 
> а где храним эти контрольные суммы? и в каком количестве?

Ну вот в файлухе например можно, если это не блочный а "файловый" дизайн был. В количестве копий блока разумеется - если это нечто типа RAID1. А что, чексуммы мало места vs блок занимают, оверхеда не так уж много, ценой очень скромного оверхеда знаем какая копия верная и возможности (авто)рекавери сильно возрастают. Для штук типа RAID5 парити для блоков чексум можно и не хранить по математическим причинам, для блоков данных ессно чексумы надо.

Ответить | Правка | Наверх | Cообщить модератору

404. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Sw00p aka Jerom (?), 03-Июн-23, 21:26 
> знаем какая копия верная

откуда знаем? как понять чек-сумма битая или блок данных? разве не на том же устройстве они хранятся? кто дает гарантии "небитости" чек-сумм?


Ответить | Правка | Наверх | Cообщить модератору

411. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (411), 04-Июн-23, 01:15 
> откуда знаем? как понять чек-сумма битая или блок данных?

ИМХО пофиг: если не совпадает -> проблемная копия, просто берем из другой. И какая разница чексум в копии порушился или сам блок? Если у нас исправная копия есть, мы как раз и отрекаверим и блок и его чексум.

Эта логика на имеющихся у меня текучках и сыпучках работает изумительно, круто разворачивая теорвер в совсем другую сторону. Теперь даже на 1 неидеальном девайсе я проигрываю не "когда бэд попал под что-то важное" а "когда бэды совпали так что накрыло обе копии". И выиграть в такой джекпот при относительно редких сбоях и относительно большом числе секторов не очень реально за обозримое время. ИМХО так теорвер намного прикольнее ощущается. А всего лишь критерии проигрыша немного пересмотрели.

> разве не на том же устройстве они хранятся?

Вот как раз и пофиг, чексумы отъехали или блок, отрекаверить из исправной версии и дело с концом.

> кто дает гарантии "небитости" чек-сумм?

Стопроцентные конечно только страховой полис. Но если у вас глючное железо, на фс с чексумами это как раз очень хорошо видно когда расчитаное при записи не сходится с расчитаным при чтении, так что идут матюки фс в логи - и мы знаем что железо гунявое. У меня так целая мини коллекция глюкастиков образовалась, там и флехи, и карточки, и ссд, и мамка и проц и рама и даже шнурки сата :). Шнурки кстати в смарте видно но это ж надо явно лезть туда, а тут вот готовые матюки в логах...

Ответить | Правка | Наверх | Cообщить модератору

202. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  –1 +/
Сообщение от DEF (?), 28-Май-23, 00:52 
>Кто это решил?

Это решили логика и здравый смысл.
>Я использую файлы с checksums более 20 лет. Проблем не было.

Никого не интересует твой опыт использования костылей.

>Кроме этого, OK, у вас есть data checksumming на уровне FS, данные на носителе похерились по разным причинам. Чем вам это поможет?

Я запущу scrub. Если у меня зеркальный RAID, то Btrfs автоматически восстановит поврежденные данные и метаданные из уцелевшей копии. Если у меня сингл, то ФС как минимум сообщит мне, какие блоки поврежденны и на каких файлах. И я как минимум не допущу попадания битых файлов в новый бэкап и восстановлю их из старого бэкапа.

>Кто кому должен? Почему должен?

За целостность данных в реляционной БД отвечает именно БД, а не какие-то костыли за пределами БД. Точно также и с ФС. ФС для этого и создана, чтобы обеспечивать целостность данных. Это ее прямая зона ответственности.

Ответить | Правка | К родителю #126 | Наверх | Cообщить модератору

223. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  –2 +/
Сообщение от birdie (ok), 28-Май-23, 12:56 
*ля, стыдно всё это читать.

Если у вас есть RAID, куча копий данных, да на кой хрен вам вообще checksums?

Или вы реально думаете, что домашние пользователи все побежали делать RAID и хранить копии данных в трёх географических разделённых местах?

У вас г*вно в голове, уважаемый - вы считаете априори, что

1) Все данные - это безумно важно!
2) Нужно убиться потратить денег, чтобы их не потерять даже в случае атомной зимы!

Почему вы cpaный enterprise уровня банка навязывайте всем - непонятно.

Вы так бы и начали: "вот я работаю там и там, у нас такие критерии, нам только ZFS подходит".

Вместо этого: "ВСЕ ФС Г*ВНО, ПОТОМУ ЧТО НЕТ DATA CHECKSUMMING".

*ля. Ржу. Корона не жмёт?

Ответить | Правка | Наверх | Cообщить модератору

237. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от dasd (?), 28-Май-23, 17:34 
>Если у вас есть RAID, куча копий данных, да на кой хрен вам вообще checksums?

Начните уже думать, а не только троллить.
RAID защищает немножко от другого.
Куча копий данных - как выбрать верную? (Битовые ошибки - существуют)

Ответить | Правка | Наверх | Cообщить модератору

317. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от DEF (?), 30-Май-23, 17:10 
Мда. С тобой все ясно. Таблетки не забывай принимать вовремя, которые тебе назначил твой лечащий психиатр.
Ответить | Правка | К родителю #223 | Наверх | Cообщить модератору

401. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (-), 03-Июн-23, 19:53 
> Если у вас есть RAID, куча копий данных, да на кой хрен
> вам вообще checksums?

А откуда мы знаем которая из копий на райде правильная когда на отличия налетели? Ну вот для этого чексумы и надо :). Кроме того чексумы проверяют работу железа end to end.

И если сбойное железо не отлавливать - оно и кучу копий может прекрасно загадить. Счет и верификация чексум выступают неплохой такой "канарейкой" сильно демаскирующей это все.

> Или вы реально думаете, что домашние пользователи все побежали делать RAID и
> хранить копии данных в трёх географических разделённых местах?

Если нет, они тогда бегут вооон туда, в лабу по дата рекавери и облегчаются на круглые суммы, после чего те кто поумнее обычно начинают делать бэкапы, уважать райды и вообще.

> 1) Все данные - это безумно важно!
> 2) Нужно убиться потратить денег, чтобы их не потерять даже в случае
> атомной зимы!

А прелесть btrfs как раз в том что можно заметно улучшить свойства, используя то что есть, без безумных затрат или энтерпрайзных требований. А так по жизни вовремя детектить глюки железа это очень полезная идея. Одно дело если я глюкастик в фоне заменю и другое если у меня рабочий проект развалится или глюкастик взбрыкнет в самый ответственный момент, как это по законам мерфи и случается.

> Почему вы cpaный enterprise уровня банка навязывайте всем - непонятно.

В btrfs это все может быть в виде когда этим можно даже простому юзеру пользоваться и не париться. Схему DUP на ноутбучном диске вкатить - 1 команда в командлайне. Зато рандомный бэд раз в эн лет под метаданными прекрасно пережило, парировало и вместо ВНЕЗАПНОЙ переустановки оси в мыле я занимаюсь моими проектиками. Ну а с вашими технологиями я бы вместо этого полдня пыхтел с наруливанием операционки. Что занимает сильно больше времени чем 1 команду btrfs было скроить.

> Вместо этого: "ВСЕ ФС Г*ВНО, ПОТОМУ ЧТО НЕТ DATA CHECKSUMMING".

А таки реально - гно. Я встречал довольно много юзеров у которых ВНЕЗАПНО разлетелась файлуха до немоунтабельного состояния (чаще всего NTFS). Резко и без предупреждения. Еще вчера они свои проекты делали. Сегодня винда в бсод улетает при попытке диск прицепитьб и вообще ни 1 файла не достать. А оказывается у них там оперативочка битая, процик глюкавенький, шнурок гнилой, но они узнали об этом только когда наконец какие-то метаданные фатально накрылись и драйвер ушел в страну вечной охоты. Это кстати баг драйвера, но если вам ваш проект было надо, бодаться с сапортом майков на эту тему вам вовсе не с руки. Как и выяснять почему chkdisk это не чинит. Врядли у вас есть полгода с сапортом майков переписываться, поэтому зачастую народ юзает альтернативные планы. Так я и узнал что это бывает. Потому что внезапно, я могу и с таким подарком справиться.

> *ля. Ржу. Корона не жмёт?

Пока вы тупили, штуки типа btrfs сделали продвинутые фичи довольно доступными и ненапряжными. Представляете, в конце XIX века поездку на авто приходилось готовить почти как экспедицию. А в XXI веке мы просто плюхаемся в кресло и поехали. Хотя действо то же самое. И да т.к. отсутствие чексум ведет к резким развалам без предупреждения, это реально хреново. Так что имхо у того субъкта есть пойнт. Но да, я тоже испорчен btrfs. Зато, вот, мою коллекцию глюкастиков пополнил. Несколько флех, sd-карта, тертый калач^W ссд, гнилые шнурки, мамка с кривым чипсетом, паленый проц... нормальненько так :) можно вам из этого комп свинтить, а вы и не заметите так сразу :P.

Ответить | Правка | К родителю #223 | Наверх | Cообщить модератору

417. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от onanim (?), 04-Июн-23, 08:45 
> Несколько флех,
> sd-карта, тертый калач^W ссд, гнилые шнурки, мамка с кривым чипсетом, паленый
> проц...

мне китайский переходник SATA-USB наделал в ссд кучу Uncorrectable ошибок и даже один Reallocated, и дико тормозило чтение-запись. я думал, что диск помирает, пока не попробовал другой переходник.

Ответить | Правка | Наверх | Cообщить модератору

191. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +1 +/
Сообщение от Kuromi (ok), 27-Май-23, 23:07 
Именно поэтому Гугль потихоньку переводит Андроид на f2fs для RW (хотя тут неточно) и EROFS для RO (вот тут уже решение принято).
Ответить | Правка | К родителю #102 | Наверх | Cообщить модератору

327. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (324), 31-Май-23, 01:59 
> Используется на более чем 2х миллиардов Android телефонах и сотнях(!) тысяч серверов.

Математика не нужна. Миллионы школьников не могут ошибаться.

Ответить | Правка | К родителю #102 | Наверх | Cообщить модератору

106. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от ptr (??), 27-Май-23, 12:06 
При форматировании флешки или внешнего HDD в NTFS проблемы с потерями данных я встречал намного чаще, чем при форматировании их в ext4. Само собой, почти все проблемы возникали после выдергивания на горячую. И если на NTFS умирали целые директории, то на ext4 - лишь записанные непосредствено перед выдергиванием файлы.
Когда в мае 2005 года в ряде ЦОД сервера аварийно отрубали во избежании перегрева (в тот день было жарко и солнечно), ext3 проблем при включении серверов не доставляло, чего не скажешь об NTFS.

xfs - для десктопа или ноута не лучший выбор. А вот для дисков многотерабайтной БД - самое то. Особенно если эта БД сама контрольные суммы страниц считает.
ext4 - наборот, когда не нужны многотерабайтные диски для БД.
btrfs - претендует на универсальность, но, на практике, проигрывает в производительности xfs, если диск используется для БД. Проверяли на PostgreSQL с выключенным CoW. С включенным - вообще молчу.
zfs - навороченный комбайн. Но на практике то нужна производительность и надежность, а не 100500 фич.

Ответить | Правка | К родителю #64 | Наверх | Cообщить модератору

110. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (109), 27-Май-23, 12:33 
NTFS игрушечная ФС.
Ответить | Правка | Наверх | Cообщить модератору

185. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (8), 27-Май-23, 21:53 
NTFS просто старенькая и глючная, слишком много напихали поэтому регулярно находятся 1000 способов её развалить. Адово фрагментируется и деградирует, плоховато скалируется, например, видно, когда используешь какой-нибудь msys2 и линуксовый софт в нём, эта куча мелких файлов весьма плохо работает по сравнению с линуксом. Да и вообще адок с вендософтом тоже, особенно, как туда моно с метро запихали. Отключаешь суперфетч и наслаждаешься. Поэтому, файлы приложения должны быть упакованы в большие архивы и подгружаться стримингом ресурсов, а не лежать на диске. Но, в целом, использовать можно, просто не серверная ФС. А игрушечная ФС, это у Эпла. SSD конечно многие проблемы нивелирует в значительной мере.
Ответить | Правка | Наверх | Cообщить модератору

225. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от birdie (ok), 28-Май-23, 13:01 
Практически всё в этом ответе - наглая ложь, и непонимание работы: "куча мелких файлов весьма плохо работает".

По поводу: "1000 способов её развалит" - дикая ложь. Ради прикола во время распаковки тысяч мелких файлов делал reset 15 раз подряд, ни разу не делая chkdsk - забавно, но всё работало.

Единственное в тему - это фрагментация, но это перестало быть важным во времена SSD.

Ответить | Правка | Наверх | Cообщить модератору

226. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (8), 28-Май-23, 13:28 
Хорошо, давай вместо твоего пустословия я приведу самый надёжный способ её уничтожить, который работал на протяжении многих лет. Включаешь сжатие какого-нибудь бесполезного каталога вроде Windows/Fonts и ещё лучше квоты, после чего забиваешь место на системном разделе в ноль, нтфс приплыла (да, я знаю, что _сейчас_ нормально реагирует, но из года в год это самая частая причина для утраты данных). Ситуация, благодаря сомнительным апдейтам, не такая уж фантастическая. По поводу "распаковки тысяч мелких файлов" вообще не понятно, к чему упомянуто, я разве где-то говорил что она от этого рассыпется? Доступ к файлам тормозит из-за кучи абстракций и мелкие файлы тормозят особенно ощутимо.
Ответить | Правка | Наверх | Cообщить модератору

232. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от birdie (ok), 28-Май-23, 16:57 
> Хорошо, давай вместо твоего пустословия я приведу самый надёжный способ её уничтожить,
> который работал на протяжении многих лет. Включаешь сжатие какого-нибудь бесполезного
> каталога вроде Windows/Fonts и ещё лучше квоты, после чего забиваешь место
> на системном разделе в ноль, нтфс приплыла (да, я знаю, что
> _сейчас_ нормально реагирует, но из года в год это самая частая
> причина для утраты данных). Ситуация, благодаря сомнительным апдейтам, не такая уж
> фантастическая. По поводу "распаковки тысяч мелких файлов" вообще не понятно, к
> чему упомянуто, я разве где-то говорил что она от этого рассыпется?
> Доступ к файлам тормозит из-за кучи абстракций и мелкие файлы тормозят
> особенно ощутимо.

VirtualBox поставить и записать видео - делов на полчаса. Увы, не верю ни слову, пока не увижу видео доказательства. Желательно на свежей версии Win10/11, которые скачиваются за 10 минут с оф сайта: https://www.microsoft.com/software-download/windows10

Test case вымученный до ужаса: сжатие + нулевое свободное место, надо признать. Случается примерно у одного человека из миллиарда.

Большинство Linux FS не поддерживают сжатие вообще, в такой ситуации и ваши хвалёные ZFS BTRFS встанут колом поди.

Ответить | Правка | Наверх | Cообщить модератору

235. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (8), 28-Май-23, 17:22 
Ну нет, тебе надо, ты и экперементируй. Лет 5 назад в очередной раз пофиксили. Ещё с шифрованием можно поиграться. Она выполняет недопустимые фоновые операции над метаданными, для которых ресурсов нет, и от это всё разлетается. Я чёт сомневаюсь, что линуксовые ФС будут иметь такую логику, разносящую суперблок, или выполнять подобные операции. А на виртуалке не обязательно прокатит, в них логика работы с данными всё же отличается от реального железа (хотя именно это -- вполне вероятно).

Учитывая, что winsxs в венде всегда разрастался на сотни гигабайт, занимая системный раздел любого объёма, а очередной драйвер звуковой карты после обновления установит десятки гигабайт веб-серверов на все порты и забудет ещё сотню гигабайт временных файлов на системном диске (и это ещё студию и офисы устанавливать не начали), то тут ничего необычного как раз. Система дельта-обновленений венды тоже иногда интересно работает, устанавливая новую ОС вместо кучи старых пакетов.

Ответить | Правка | Наверх | Cообщить модератору

241. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от birdie (ok), 28-Май-23, 17:57 
>[оверквотинг удален]
> разносящую суперблок, или выполнять подобные операции. А на виртуалке не обязательно
> прокатит, в них логика работы с данными всё же отличается от
> реального железа (хотя именно это -- вполне вероятно).
> Учитывая, что winsxs в венде всегда разрастался на сотни гигабайт, занимая системный
> раздел любого объёма, а очередной драйвер звуковой карты после обновления установит
> десятки гигабайт веб-серверов на все порты и забудет ещё сотню гигабайт
> временных файлов на системном диске (и это ещё студию и офисы
> устанавливать не начали), то тут ничего необычного как раз. Система дельта-обновленений
> венды тоже иногда интересно работает, устанавливая новую ОС вместо кучи старых
> пакетов.

Вы сделали громкое заявление о кривизне NTFS. The burden of proof лежит на Вас, уважаемый.

Пожалуйста, не увиливайте. Инструменты у Вас есть. Примерно час на то, чтобы продемонстрировать бесконечный поток пока что голословных обвинений.

Ответить | Правка | Наверх | Cообщить модератору

115. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от gleb (?), 27-Май-23, 12:44 
> xfs - для десктопа или ноута не лучший выбор.

ну почему-же. Если хозяин балуется монтажом видео, например, то наилучший. Да и вообще, почти всегда прекрасный выбор.

Другое дело, что в последнее время стала вытесняться btrfs, несмотря на падение производительности -- снэпшоты и лёгкость бэкапа часто перевешивают.

> btrfs - претендует на универсальность, но, на практике, проигрывает в производительности xfs,

это обратная сторона универсальности. с другой стороны, btrfs-ные снэпшоты, это очень сладко, в случае БД тоже.

Ответить | Правка | К родителю #106 | Наверх | Cообщить модератору

120. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от ptr (??), 27-Май-23, 13:09 
> Если хозяин балуется монтажом видео

В этом случае различия между xfs и ext4 он просто не заметит.

> btrfs-ные снэпшоты, это очень сладко, в случае БД тоже

Зачем они тому же PostgreSQL, который и так на снапшотах живет? В лом pg_export_snapshot/SET TRANSACTION SNAPSHOT использовать, когда это надо?
Это даже не считая того, что снапшот на уровне БД и на уровне ФС - очень разные вещи. В БД, до фиксации транзакции, модифицированные страницы могут быть только в оперативке. А снапшот на уровне файловой системы, если WAL и tablespace на разных дисках, как рекомендуется, - вообще бессмыслен.

Ответить | Правка | Наверх | Cообщить модератору

121. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от gleb (?), 27-Май-23, 13:19 
>>Если хозяин балуется монтажом видео
>В этом случае различия между xfs и ext4 он просто не заметит.

проверено -- заметит. особенно, если паралелльно сборки проекта не ждать и плевать в потолок, а заниматься другой полезной деятельностью.

> Это даже не считая того, что снапшот на уровне БД и на уровне ФС - очень разные вещи.

это всё совершенно очевидно, но иногда нужно быстро получить полную копию базы, которая в дальнейшем будет жить своей жизнью. И btrfs'ные снапшоты тут очень вкусное решение, даже если и на разных дисках (при остановке базы, конечно).

Ответить | Правка | Наверх | Cообщить модератору

122. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от ptr (??), 27-Май-23, 13:29 
> при остановке базы, конечно

Понял. Мы с разных планет. На моей, остановка БД - чрезвычайное событие, граничащее с катастрофой. А плановые остановки для обновления СУБД планируются исключительно на ночь перед длинными выходными.

Ответить | Правка | Наверх | Cообщить модератору

123. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от gleb (?), 27-Май-23, 13:33 
> На моей, остановка БД - чрезвычайное событие

это тоже понятно. но когда остановка -- снэпшот -- перезапуск посгресса занимает, примерно, 15 сек и юзер даже не отваливается, почему бы нет?

конечно, у меня задачи совсем ласковые и игрушечные, на остановку и на 15 минут ругани почти не будет.

Ответить | Правка | Наверх | Cообщить модератору

125. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от ptr (??), 27-Май-23, 13:49 
А если юзер ждет завершения обучения модели, которое длится уже часов 30? На моей планете, БД без единой активной транзакции - чудо или последствия катастрофы.

> 15 сек

Cнапшот через pg_export_snapshot делается моментально (<1 mc) на активной СУБД.

> юзер даже не отваливается

Расскажите подробней, как Вам удается восстанавливать открытые клиентом курсоры при перезапуске СУБД?

Ответить | Правка | Наверх | Cообщить модератору

136. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +1 +/
Сообщение от Аноним (8), 27-Май-23, 14:39 
Просто у тебя реальный мир, а у него мир смузихлёбов с докером в проде, где пара часов случайного даунтайма ничего страшного. Вот и снапшоты на уровне фс из той же оперы.
Ответить | Правка | Наверх | Cообщить модератору

137. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от gleb (?), 27-Май-23, 14:44 
> Расскажите подробней, как Вам удается восстанавливать открытые клиентом курсоры при перезапуске СУБД?

никак :)

и тем не менее, технология имеет право на жизнь в своих граничных условиях.

Ответить | Правка | К родителю #125 | Наверх | Cообщить модератору

190. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +1 +/
Сообщение от Kuromi (ok), 27-Май-23, 23:04 
Если хозяин балуется монтажем видео ему надо в сторону SSD смотреть, может даже f2fs пощупать...(осторожно правда).
Ответить | Правка | К родителю #115 | Наверх | Cообщить модератору

206. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от gleb (?), 28-Май-23, 06:50 
спасибо, кэп.

но вот у мне, например, в голову не придёт покупать ссд большого объёма под эти задачи: монтаж для дома и семьи в жизни не окупится.

и кстати, на "моих" ссд -- xfs и btrfs, смысла в камасутре с f2fs как-то не вижу.

Ответить | Правка | Наверх | Cообщить модератору

234. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Kuromi (ok), 28-Май-23, 17:06 
> спасибо, кэп.
> но вот у мне, например, в голову не придёт покупать ссд большого
> объёма под эти задачи: монтаж для дома и семьи в жизни
> не окупится.
> и кстати, на "моих" ссд -- xfs и btrfs, смысла в камасутре
> с f2fs как-то не вижу.

Ну на самом деле обычно всякие "топовые" NVME с 3-7 гигабайта в секунду записи (и SLC mode на треть накопителя, чтобы из кэша не вылететь) под штуки вроде видеомонтажа и покупают, ибо иначе смысла в таких линейных скоростях просто нет (ну читаете вы гигабайтный файл не треть секунды, а одну седьмую, разница уже незаметна). Так что сам дохтур прописал.

Что же до f2fs, то я вот сколько лет пользую (успешно), столько наблюдаю странно предвзятое отношение к ней, одна половина говорит "нестабильно", другая "ненужно". Мол, зачем нам ФС с оптимизацией под Flash\SSD если SSD прекрасно сами выравнивают износ, значит ненужно, хотя оптимизации f2fs никак НЕ УВЕЛИЧИВАЮТ износ, так что неясно почему тогда условная ext4 не "не нужно".
При этом багфиксы и новые фичи f2fs прилетают в ядро регулярно, развитие есть(+шифрование +сжатие +атомарные операции, даже объединение нескольких устройств в одну ФС завезли), а производительность - отличная. Но нет, оно "ненужно", зато целых три новые SSD-friendly файловые системы - bcachefs, NOVA и SSDFS, на подходе. Вот они точно будут "нужно", наверное.

Ответить | Правка | Наверх | Cообщить модератору

314. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от n00by (ok), 30-Май-23, 09:05 
У f2fs была проблема с GRUB. Если создать ФС с опцией -O extra_attr, загрузчик не может её читать. То есть надо создавать отдельный раздел под boot. А это может быть не каждому эксперту под силу, что и объясняет недовольство.
Ответить | Правка | Наверх | Cообщить модератору

315. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Kuromi (ok), 30-Май-23, 15:48 
> У f2fs была проблема с GRUB. Если создать ФС с опцией -O
> extra_attr, загрузчик не может её читать. То есть надо создавать отдельный
> раздел под boot. А это может быть не каждому эксперту под
> силу, что и объясняет недовольство.

Есть такая проблема, да.

Ответить | Правка | Наверх | Cообщить модератору

402. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (-), 03-Июн-23, 20:15 
> У f2fs была проблема с GRUB. Если создать ФС с опцией

Такие проблемы бывают с много чем. С btrfs или zfs на это тоже можно нарваться. Загрузчик использует минимальную облегченную реализацию и то что она ВСЕ фичи - особенно новые - особенно в не очень свежей версии загрузчика рюхает - совсем не факт. Да даже наверное с EXT4 выпендриться можно - врядли grub умеет в fscrypt какой.

Скажем, если с старым grub поюзать zstd сжатие на btrfs, он честно скажет "unknown compression" при попытке читать кернел/инитрд/что там еще. Что логично, старая версия просто не знала про такое сжатие. Но можно и не жать кернел zstd. На btrfs могут сосуществовать файлы жатые разными сжатиями и никто не обязывает жать кернел именно zstd.

В лично моем случае я натыкался на куда более жирные прецеденты с f2fs - плохо к перезагрузкам и слетам питания относится, вплоть до полной кончины. В моих конфигах он вообще оказался одним из самых хлипких по этому аспекту.

И так то если кто думает что это только там бывает - а вон NTFS, в современных диалектах кучу алгоритмов сжатия приделали. Старая реализация загрузчика или кого там опять же их не прожует. А может и актуальная. Полный NTFS3 конечно их рюхает. Если воооон там в конфиге кернела это включть еще специально. Как и fuse. Надеюсь это объясняет почему появился kexec(). Если кто хотел странного и продвинутого, кернел, так то, тоже бутлоадер. Крутой и мощный. С полными реализациями. Которые несколько проще до актуальных версий подтягивать.

Ответить | Правка | К родителю #314 | Наверх | Cообщить модератору

142. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от пох. (?), 27-Май-23, 14:52 
> Возникает резонный вопрос, а под линукс есть хоть одна нормальная файловая система,  которая просто работает?
> Как например NTFS?

Ну я пользуюсь, просто работает, брат жив.
Но обратите внимание, нюанс: ntfs-3g

Если тебе линейный доступ к средних размеров файлам и все больше по чтению - и больше ничего вообще не надо, ни сложных прав доступа, ни EA, ни, Б-же упаси, виндовых штук - просто работает, да.

Нормальные еще разработчики писали, а в силу изоляции от стабильного нонсенса - не смогли поломать.

Ответить | Правка | К родителю #64 | Наверх | Cообщить модератору

301. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (-), 30-Май-23, 02:46 
> Xfs - дерьмо, etx4 - дерьмо, btrfs - дерьмо, zfs - дерьмо.

...
>  которая просто работает? Как например NTFS?

Она умеет разваливаться в хлам ничуть не лучше и не хуже остальных. Да так что не монтируется и не чинится chkdisk'ом иной раз. В силу природы ФС это еще и без предупреждений зачастую. Т.е. все выглядело ЗБС - а сегодня оно не маунтится или драйвер в бсод летает.

Но если что в линух завезли ядерный полноценный драйвер этсамого, так что кто NTFS хотел может его и юзать. Хоть я и не понимаю прелести в тормозной файлухе из 90х которая требует условный "fsck" и не демонстрирует вообще совсем ничего выдающегося.

Ответить | Правка | К родителю #64 | Наверх | Cообщить модератору

316. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Kuromi (ok), 30-Май-23, 16:42 
>[оверквотинг удален]
>>  которая просто работает? Как например NTFS?
> Она умеет разваливаться в хлам ничуть не лучше и не хуже остальных.
> Да так что не монтируется и не чинится chkdisk'ом иной раз.
> В силу природы ФС это еще и без предупреждений зачастую. Т.е.
> все выглядело ЗБС - а сегодня оно не маунтится или драйвер
> в бсод летает.
> Но если что в линух завезли ядерный полноценный драйвер этсамого, так что
> кто NTFS хотел может его и юзать. Хоть я и не
> понимаю прелести в тормозной файлухе из 90х которая требует условный "fsck"
> и не демонстрирует вообще совсем ничего выдающегося.

NTFS конечно ФС старая и на сегодняшний день не предлагает ничего такого что не было в других ФС (деревья, экстенты, журнал - все это давно есть), хотя на момент своего создания это был прогресс.

Однако тот факт что разрабы BTRFS не осилили сделать нормальный btrfs.fsck не значит что это норма...

Ответить | Правка | Наверх | Cообщить модератору

342. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  –1 +/
Сообщение от maximnik0 (?), 31-Май-23, 22:26 
>предлагает ничего такого что не было в других ФС (деревья, экстенты, журнал - все это давно есть)

Экстенты ??? Откуда HTFS взяться экстентам,будь они там она не была такой тормозной,но теряла бы файлы гораздо чаще, мда...Она как и фат (почему конвертация возможна) использует кластеры и карту свободного пространства.Кластер это что то типа инода  в юних спецификации.Может не совпадать по размерам с сектором жесткого диска.Есть фича фс -может пространство заполненное нулями упаковывать.

Ответить | Правка | Наверх | Cообщить модератору

344. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Kuromi (ok), 31-Май-23, 22:41 
>>предлагает ничего такого что не было в других ФС (деревья, экстенты, журнал - все это давно есть)
> Экстенты ??? Откуда HTFS взяться экстентам,будь они там она не была такой
> тормозной,но теряла бы файлы гораздо чаще, мда...Она как и фат (почему
> конвертация возможна) использует кластеры и карту свободного пространства.Кластер это
> что то типа инода  в юних спецификации.Может не совпадать по
> размерам с сектором жесткого диска.Есть фича фс -может пространство заполненное нулями
> упаковывать.

Чтож, закапываться в спеки лень, но условная Википедия (да простят меня боги) уверена что экстенты в NTFS есть.
С другой стороны та же Википедия не знает что у F2FS есть поддержка нескольких устройств, так что...

Кстати конвертация из FAT ни о чем не говорит. EXT3 прекрасно конвертируется в EXT4, вот только старые файлы остаются битмаповыми (не-экстентами) до тех пор пока их не перезапишешь или явно не сделаешь chattr -e файлу.

Ответить | Правка | Наверх | Cообщить модератору

347. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от maximnik0 (?), 31-Май-23, 23:21 
В журнале Системный администратор приводилась статья по устройству ntfs, достаточно подробная.Не слова об экстентах.А проблема фрагментации ? При использовании экстентов и карты свободного места -файл писался бы крупным куском.Если только сейчас не добавили в виндовс  10-11.Кстати в русской версии вики тоже не слова об экстентах.На странице http://www.vsokovikov.narod.ru/New_MSDN_API/File_system/ntfs... тоже насчёт экстентов помалкивают,упоминают только что может выделять непрерывную область,но логически все равно это блок кластеров.
Ответить | Правка | Наверх | Cообщить модератору

414. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (414), 04-Июн-23, 01:49 
У них вроде изначально свободное место битмапом аллокации маркировалось и потом для совместимости они так и таскали это как я понимаю. Это ж делалось в лохматые 90х.

И даже если потом какие-то индексы для более быстрых операций навесить, это не отменит нужды жевать битмап как минимум при записях, если он все еще есть. Совсем его удалить они врядли смогут или захотят т.к. совместимость. А в битмапе метить занятые большие регионы ой как не быстро. У экстентов есть свои дурацкие стороны, но в целом это обычно работает лучше.

Ответить | Правка | Наверх | Cообщить модератору

424. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от maximnik0 (?), 05-Июн-23, 22:20 
> У них вроде изначально свободное место битмапом аллокации маркировалось и потом для
> совместимости они так и таскали это как я понимаю. Это ж
> делалось в лохматые 90х.

Ну и получается объединенная группа кластеров - это не экстент.В лучшем случае экстент имеет всего лишь 2 записи (основном и резервном) блоке (метаданные или таблица (дерево) размещение файлов) -с указанием это начало файла а это конец . Единый файл -да,быстро работает да,легко потерять -тоже да,чем и страдали XFS и райзер. Вот COW и добавила надежность для экстентов,но плата фрагментация,в самом худшем случае  таблица экстентов приближаеться к карте битманов......

Ответить | Правка | Наверх | Cообщить модератору

333. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от maximnik0 (?), 31-Май-23, 10:27 
> Она умеет разваливаться в хлам ничуть не лучше и не хуже остальных.
> Да так что не монтируется и не чинится chkdisk'ом иной раз.
> В силу природы ФС это еще и без предупреждений зачастую.

Зато инструментов для вытаскивания данных до хрена и больше,а если еще и образ был MFT так в 80% починишь.С нее реально если сжатие не включено хорошо инфа вытаскиваеться,а бсод это вин проблемы.(Было уже - на 7-10 обнаружена проблема с альтернативными потоками проблема-определенное название файла,бсод,диск поврежден,правда в 90% случаев исправлялась ошибка). В 50% где не работало под виндовс-  монтировалось под дос или linux.А придупреждения есть - но кто будет заглядывать в администрирование,просмотр событий .А в журнале есть частенько сообщения о проблемах с бад блоками,MFC (используеться копия) или бад миссинг с непонятными номерами -источник сообщения драйвер ntfs//

Ответить | Правка | К родителю #301 | Наверх | Cообщить модератору

326. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  –1 +/
Сообщение от Аноним (324), 31-Май-23, 01:55 
Нтфс говорите? Это которая гибнет после каждого третьего выключения света? Где Папка и папка это одна директория, открывающие случайные данные? Это та фс, где нет нормальных симлинков? Которая поддерживается примерно нигде (несколько кривых версий в винде, несколько кривых версий в линухе)? Эта та самая одна из медлительнейших ФС? Ну если она просто работает, то любая из ФС покажется вам вершиной технологий.
Ответить | Правка | К родителю #64 | Наверх | Cообщить модератору

334. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +1 +/
Сообщение от maximnik0 (?), 31-Май-23, 10:50 
> Нтфс говорите? Это которая гибнет после каждого третьего выключения света? Где Папка
> и папка это одна директория, открывающие случайные данные? Это та фс,
> где нет нормальных симлинков? Которая поддерживается примерно нигде

Сейчас с 64 мгб кэша на жестких любая фс при резком выключение может сказать -да ну его на "буй". Но обычно это не происходит,единственно что пишущие файлы вылетят в битые файлы.И симлинки и хардлинки данная фс поддерживает,софт не поддерживал,вот в этом беда.Даже больше скажу-ее можно было (хр,виста) под виндой монтировать если вы не знали.Да да,монтировать,а не буквой обозначать (кроме диска с). И не особо она медлительная-замечательно тюненгуеться,если стальные яйца можно даже журнал отключить.А с коммерческими драйверами спокойно под линь и 60 мгб выжимали.

Ответить | Правка | Наверх | Cообщить модератору

403. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (-), 03-Июн-23, 20:30 
> Сейчас с 64 мгб кэша на жестких любая фс при резком выключение
> может сказать -да ну его на "буй".

Вообще-то нет. Там есть команды для предсказуемой работы с кешированием и информирование хоста о фактическом завершении записи. И только после этого файлуха маркирует вон то как записаное а до этого оно считается "in flight" и на это нельзя уповать для критичных нужд.

Более того - в RAM хоста еще и не такой буфер и при слете питания или внезапном ребуте ТАМ пролюбится еще и не столько. Если fsync не делать, например. Самое интересное что даже чисто апликушный софт не может игнорить этот аспект под страхом мощной потери данных. Поэтому есть характерная семантика, а девайсы должны следовать определенным требованиям в реализации кеширования. Иначе файлухи имеют полное право неконтролируемо развалиться. На слет произвольных 64 мегов в любом месте никто корректно не реагирует. Если вы потеряете большой кус допустим метаданных - это достаточно критично.

> Но обычно это не происходит,единственно что пишущие файлы вылетят в битые файлы.

Это происходит потому что файлуха не журналила данные файла, инфо для undo/redo хватало только на метаданные и консистентность вида ФС в лучшем случае, а что там стало с файлом внутри - это очень отдельный вопрос. Потому и битый. Не будет произвольно взятая программа жрать наполовину старый, наполовину новый файл. А у виндовых ФС как я понимаю и оглавление диры иногда может пострадать, так что часть файлов оказывается как бы на месте, но как бы безымянными - потому что их дира разнесена вдрызг тем разлетом. Так что фс знает что аллокации есть но не знает как это называлось и где лежало, например.

> И симлинки и хардлинки данная фс поддерживает, софт не поддерживал, вот в этом беда.

От софта по логике вещей никакой особой поддержки и не надо в простых случаях.

> буквой обозначать (кроме диска с).

А у ядра NT унутрях вообще сильно другие пути так-то. Но вот совместимость...

> И не особо она медлительная-замечательно тюненгуеться,

Не выдерживает никакого сравнения с современными файлухами. Скиньте 50K-100К файлов в диру, ребутанитесь чтобы кеш очистить. А теперь попробуйте в эту диру на холодненькую зайти. И как вам времена чтения оглавления такой диры, хоть в какой проге?! Не нравится эксплорер, можно фар, или что там еще - на результат не влияет.

А теперь то же самое в линухе с какойнить иной фс. Ну там btrfs, ext4, etc. Почему там времена сильно более культурные? И тот же миднайт за весьма обозримое время это отрисовывает вот.

> если стальные яйца можно даже журнал отключить.

Никак не поможет при чтении списка 50К файлов на холодную. Вот и потюниговали :)

> А с коммерческими драйверами спокойно под линь и 60 мгб выжимали.

Под линь сейчас NTFS3 есть. Это как раз бывший коммерческий драйвер парагона как я понимаю. Ну а что, похвально, все бы так.

Ответить | Правка | Наверх | Cообщить модератору

423. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от maximnik0 (?), 05-Июн-23, 22:02 
>Вообще-то нет. Там есть команды для предсказуемой работы с кешированием и информирование хоста о фактическом завершении записи.

То то в новых ядрах 1,5 сек задержку перед выключением пришлось возвращать (1,5 года назад). Есть команды но нет гарантии  что эти команды выполнены- очень разработчики ext4 с этим мучились, особенно на ноутбучных винтах был этот гемморой. Сейчас просто производителей жестких -на пальцах можно посчитать, но все равно глюки случаются,особенно с флэш дисками , а про аппаратное стирание на флэшках и говорить нечего.

Ответить | Правка | Наверх | Cообщить модератору

426. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (-), 06-Июн-23, 00:42 
> То то в новых ядрах 1,5 сек задержку перед выключением пришлось возвращать
> (1,5 года назад). Есть команды но нет гарантии

Да, вы знаете, фирмвары у девайсов бывают забагованые и кривые. Но это баг и нарушение спеков стандарта - и в этом случае предъявлять что либо ядру, фс и проч не айс. Если кто купил глюкало, пусть его MFRу и пеняет.

В кернеле воркэраундят популярные глюки, конечно, если это возможно, по мере возможности - потому что работать приходится в идеальном мире, в том числе и на откровенно гунявом железе с индусскими фирмварами. Они вон даже спектры у процов заворкэраундили.

Но тут стоит понимать что воркэраунд в ядре - не решает проблему нарушения девайсом семантики на которую файлухи закладывались. Практически все ФС при журналинге и проч уповают на то что вон те операции с сбросом кеша - работают. Если это не так, крахи и слет питания ведут к UNDEFINE с практически любой ФС. Что там дальше будет - да что угодно в принципе. Это факап за пределами допущений ФС. Против лома нет приема.

> что эти команды выполнены- очень разработчики ext4 с этим мучились, особенно на ноутбучных
> винтах был этот гемморой. Сейчас просто производителей жестких -на пальцах можно
> посчитать, но все равно глюки случаются,особенно с флэш дисками ,

Более того - такие приколы и у SD-card были. Нокия в свое время агресивно снимала питание с карт после команды шатдауна, как по спекам писано. И тут оказалось что как минимум Transcend спекам не соответствует и - отлично разлетается если так делать. И пришлось им ажно слать патчи в mmc подсистему ядра.

> а про аппаратное стирание на флэшках и говорить нечего.

Там максимальное время операций трекается машиной состояний и больше чем в спеках не будет, как максимум erase/program error в статусе чипа будет. Но пока до этого всего дойдет, там еще чертова куча кода фирмвары писаной хзкем. И у нее могли быть какие-то сильно свои идеи. Как показал пример допустим самса с EVO, иногда эти идеи бывают странные и они вот например TRIM нормално не смогли в некоторых девайсах, да так что девайс чуть не харакири себе делает с определенными сочетаниями запросов. Пришлось и это воркэраундить, заведя список гамняшек, с точностью до девайса и версии FW, их quirks, и явно избегать проблемные операции для таких.

У особо голимых флешастых устройств может FTL вообще в такой ситуации развалиться - и тут вообще ничего вы не сделаете, там вместо данных их нарезка на полосочки из стоража идет. Это уже только специализированая лаба смогет прочитать вообще.

И все же, по спекам так быть не должно. И ФС пишутся все же с опорой на эти спеки. Потому что ВСЕ мыслимые глюки ВСЕХ девайсов учесть на фазе дизайна не получится. А дальше уж пытаться воркэраундить в меру талантов. И вот тут оно может прокатить а может и нет. Разумеется новый дизайн на этапе проектирования может пытаться учесть траблы предшественников, но на 100% это нереально.

Ответить | Правка | Наверх | Cообщить модератору

428. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от maximnik0 (?), 06-Июн-23, 13:45 
>Против лома нет приема.

Не знаю как в 10,не пробывал,а в старых версиях офтопика в настройках управления накопителя была опция запрета использования дискового кэша для записи. Там еще можно было другие алгоритмы кэширования сменить.Правда на скорости под офтопик это сказывается ощутимо, может из-за этого ходят байки о слишком сильной тормознутостьи ntfs, потому что драйвера (иногда биос) ряд чипов обнаружив ошибки записи принудительно отключали кэш на запись,и в некоторых случаях DMA доступ.(я знаю что с мелкими файлами в одном каталоге ext поведет себя гораздо лучше,но все равно если кэш пуст и она тупить будет).В linux тоже у hdparm была опция для отключения кэша диска для записи, так что не все так фатально.

Ответить | Правка | Наверх | Cообщить модератору

338. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от n00by (ok), 31-Май-23, 16:02 
> Нтфс говорите? Это которая гибнет после каждого третьего выключения света? Где Папка
> и папка это одна директория, открывающие случайные данные?

Вы путаете ФС и ОС. В NTFS это разные директории. В NTFS даже 0 (байт значения 0) может быть в середине имени.

Ответить | Правка | К родителю #326 | Наверх | Cообщить модератору

405. "В ядре Linux 6.3 всплыла проблема, приводящая к повреждению ..."  +/
Сообщение от Аноним (373), 04-Июн-23, 00:01 
> Вы путаете ФС и ОС. В NTFS это разные директории. В NTFS
> даже 0 (байт значения 0) может быть в середине имени.

Зато удачи там создать файл с именем "С:\CON", как минимум через WinAPI. А в линухе это валидное имя файла. И что-то мне кажется что 0x0 в человекочитаемых вещах встречается сильно реже чем ":" или "\" например.

И тут еще можно поспорить насколько все это именно фичи. Ничерта не подозревающий софт будет довольно интересно реагировать что на C:\ что на 0x0, 0xd, 0xa, "|" и все такое прочее. Можно даже пробовать атаки в архивах, скажем файло "C:\WINDOWS\TROLOLO.DLL" - это всего лишь файл. В топе иерархии. Если в терминах *никса. Зато если его попробовать втрамбовать на винде "как есть" может выйти интересно. Аналогично с \..\..\..\..\windows\wtf.dll каким-нибудь. Для линукса вон то тоже валидное имя файла. В топе плоской иерархии. И кстати исторически это юзерам винды икаолсь, через тот же гит допустим.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру