The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Автор Bcachefs представил патчи для исправления ФС, разрушенных недавней ошибкой, opennews (??), 08-Апр-24, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


1. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +4 +/
Сообщение от Аноним (1), 08-Апр-24, 09:52 
Ближайшие 2-3 года пока сидим на Btrfs. Сыровата новинка пока.
Ответить | Правка | Наверх | Cообщить модератору

3. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +17 +/
Сообщение от Аноним (3), 08-Апр-24, 10:08 
Btrfs сама ещё похлеще портит данные.
Ответить | Правка | Наверх | Cообщить модератору

10. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  –7 +/
Сообщение от Аноним (10), 08-Апр-24, 10:18 
Это описался в слове zfs.
Ответить | Правка | Наверх | Cообщить модератору

28. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 08-Апр-24, 12:15 
> Это описался в слове zfs.

Интересно за что ему 2 минуса? Только недавно эта штука била данные на рефлинках. При том в отличие от кента - инструментов для фиксов для побитого пула так вроде и не выкатили, только пообещав, не? А этот вот - подрасперся, и, вот - извольте получить. Все же более приятный вариант чем "а теперь пересоберите свой пул с ноля!"

Ответить | Правка | Наверх | Cообщить модератору

72. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +1 +/
Сообщение от Минона (ok), 08-Апр-24, 23:26 
Ну куда ты со своим звездолетом да в калашный ряд!
> "а теперь пересоберите свой пул с ноля!"

Балбес, не пересобрать, а восстановить из бэкапа.

Ответить | Правка | Наверх | Cообщить модератору

76. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 09-Апр-24, 05:29 
> Ну куда ты со своим звездолетом да в калашный ряд!

Да вы погодите - ща вам покажут чудеса телепортации фиги из кармана. Оставайтесь на связи. Вон там уже одним господам iXsystem показал немного магии. По сути задропав фрю к хренам.

>> "а теперь пересоберите свой пул с ноля!"
> Балбес, не пересобрать, а восстановить из бэкапа.

Ну я очень приблизительно следил что там у вас в вашей помойке случается. Мне она не интересна, ни эксплуатационно, ни технологически. Гитхаб конечно интересно было почитать, на его фоне кент, пожалуй, за продакшн может сойти :)

Ответить | Правка | Наверх | Cообщить модератору

81. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Минона (ok), 09-Апр-24, 08:19 
>> Ну куда ты со своим звездолетом да в калашный ряд!
> Да вы погодите - ща вам покажут чудеса телепортации фиги из кармана.
> Оставайтесь на связи. Вон там уже одним господам iXsystem показал немного
> магии. По сути задропав фрю к хренам.

Да причём фря то?
Один хрен они в своих SCALE ZFS юзают, а не твой подбитый звездолёт.

>>> "а теперь пересоберите свой пул с ноля!"
>> Балбес, не пересобрать, а восстановить из бэкапа.
> Ну я очень приблизительно следил что там у вас в вашей помойке
> случается. Мне она не интересна, ни эксплуатационно, ни технологически. Гитхаб конечно
> интересно было почитать, на его фоне кент, пожалуй, за продакшн может
> сойти :)

Да ты мануалы то читать не умеешь, куда тебе до кода.

Ответить | Правка | Наверх | Cообщить модератору

95. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 09-Апр-24, 09:59 
> Да причём фря то?

Хотя-бы при том что тут iZEN в соседнем топике отжог, спросив "поддерживает ли Linux ZFS". Было бы круто если пох ему объяснил на каких деревьях те булки ща растут. Я сам не смогу с нужным колоритом.

> Один хрен они в своих SCALE ZFS юзают, а не твой подбитый звездолёт.

ZFS это такой же звездолет, только он еще древний как г-но, управление вызывает лулзы, навигация доисторическая, судя по гиту - все уже наполовину забыли как это вообще работает. Да, еще летает, но почему-то желающие делать именно это, именно так - закончились пару столетий назад. Он конечно чем-то напоминает btrfs и сабж но видно что на пару поколений более древняя итерация технологии.

А еще - в линухе существующая инфраструктура под ЭТО уже не приспособлено. Никто не парится. И это ваши проблемы как вы свою древность будете парковать вон там на базе.

> Да ты мануалы то читать не умеешь, куда тебе до кода.

Вполне умею, но это касается только интересных мне технологий. ZFS с его сочетанием энетрепрайзности с out of tree мне - просто не уперся. Как категория. Я себе не враг, пусть пох вон какой самым сложным способом все делает. Ему полезно. А я буду за простой и логичный менеджмент моих систем и минимум возни при эксплутатации.

Ответить | Правка | Наверх | Cообщить модератору

130. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от iZENemail (ok), 10-Апр-24, 20:26 
Ты не отмораживайся, а ответь прямо: поддерживает ли линукс 6.9-rc3 "древнюю" ZFS (zfs-2.1.15)?
Ответить | Правка | Наверх | Cообщить модератору

132. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 11-Апр-24, 00:14 
> Ты не отмораживайся, а ответь прямо: поддерживает ли линукс 6.9-rc3 "древнюю" ZFS
> (zfs-2.1.15)?

Я не знаю насчет "древней", но так, FYI, ты не отмораживайся и подумай о том что бсдюки берут свой ZFS из проекта ... ZFS On Linux. Прости за спойлер, я очень хотел чтобы пох донес это до тебя в его незабываемом стиле. Он бы что-нибудь придумал, чтобы это звучало правильно. С реверансами что "других разработчиков у меня для тебя нет" и все такое.

А то что это внемайнлайновая пакость, на правах выкидыша? А вы не гордые и даже такое вот кюшаете с наших задворков. Ну вот какие-то такие соотношения.

Ответить | Правка | Наверх | Cообщить модератору

150. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от iZENemail (ok), 12-Апр-24, 22:46 
>> Ты не отмораживайся, а ответь прямо: поддерживает ли линукс 6.9-rc3 "древнюю" ZFS
>> (zfs-2.1.15)?
> Я не знаю насчет "древней", но так, FYI, ты не отмораживайся и
> подумай о том что бсдюки берут свой ZFS из проекта ...
> ZFS On Linux.

Ну зачем мне думать об этом, если на это я повлиять ну никак не могу?


> А то что это внемайнлайновая пакость, на правах выкидыша?
> А вы не
> гордые и даже такое вот кюшаете с наших задворков. Ну вот
> какие-то такие соотношения.

Мы-то не гордые, кушаем что придётся и давно согласны на это. А вот тру-линуксойды горды настолько, что презирают собственный проект и не могут включить его в ядро Linux — не даёт более "неправильно-свободная" лицензия. Это как чемодан без ручки: вроде нести неудобно, да бросить жалко.

Ответить | Правка | Наверх | Cообщить модератору

151. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 14-Апр-24, 15:23 
> Ну зачем мне думать об этом, если на это я повлиять ну никак не могу?

На чисто концептуальном уровне - забавные рассуждения. А с практической точки зрения - странно спрашивать такое, тягая сорц с zfs-on-linux.

На столь же концептуальном уровне: если допустить что линукс совсем перестанет поддерживать ZFS, окей, мне то пофиг, а вот ты откуда будешь брать сорц этой штуки и кто ее девелопать бу? Получается что ты шкурно заинтересован в ... существовании линуха и ZFS под него :D. Да, вселенная умеет прикалываться. И иногда это доставляет немало лулзов, скажу я вам.

> Мы-то не гордые, кушаем что придётся и давно согласны на это.

А мы более гордые. И понимаем что будущее само не создадится. Поэтому пытаемся создавать его таким каким хотелось бы видеть. В том числе впрягаясь в работы в результате которых мы заинтересованы. Мне вот интересен сабж и btrfs, я с ними взаимодействую и на моем счету эн успешно загашеных багов. Это приближает меня к цели "современная фичастая ФС в моих окружениях" и потому стоит затрат времени и сил. А в вашей экосистеме у ее обитателей в ходу какие-то иные принципы. От которых я далек.

> А вот тру-линуксойды горды настолько, что презирают собственный проект и не могут
> включить его в ядро Linux — не даёт более "неправильно-свободная" лицензия.

Это сделали господа из Sun Microsystems. При том - специально. Проблема только в том что где теперь сан, а где линух. Так что на твоем месте я бы молился чтобы статус-кво таким и оставался. Иначе тебе вообще будет негде брать сорц.

> Это как чемодан без ручки: вроде нести неудобно, да бросить жалко.

Лично мне пофиг: у меня btrfs - и я немного экспериментирую с сабжем. Я для себя решил что мое будущее - такое. А что случится с вон теми - лично мне все-равно. Для меня в этом мире ничего не изменится.

Ответить | Правка | Наверх | Cообщить модератору

153. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от iZENemail (ok), 14-Апр-24, 21:42 
>> Ну зачем мне думать об этом, если на это я повлиять ну никак не могу?
> На чисто концептуальном уровне - забавные рассуждения. А с практической точки зрения
> - странно спрашивать такое, тягая сорц с zfs-on-linux.

Исходники ZFS "тягают" и адаптируют разработчики FreeBSD — я к ним не отношусь.

> На столь же концептуальном уровне: если допустить что линукс совсем перестанет поддерживать
> ZFS, окей, мне то пофиг, а вот ты откуда будешь брать
> сорц этой штуки и кто ее девелопать бу?

Linux никакого отношения к проекту ZoL не имеет. Это отдельный проект.

> Получается что ты
> шкурно заинтересован в ... существовании линуха и ZFS под него :D.

Мне откровенно пофиг на Linux. Я не заинтересован в его развитии и функционировании.

> А мы более гордые. И понимаем что будущее само не создадится. Поэтому
> пытаемся создавать его таким каким хотелось бы видеть. В том числе
> впрягаясь в работы в результате которых мы заинтересованы. Мне вот интересен
> сабж и btrfs, я с ними взаимодействую и на моем счету
> эн успешно загашеных багов. Это приближает меня к цели "современная фичастая
> ФС в моих окружениях" и потому стоит затрат времени и сил.
> А в вашей экосистеме у ее обитателей в ходу какие-то иные
> принципы. От которых я далек.

Вот именно.

>> А вот тру-линуксойды горды настолько, что презирают собственный проект и не могут
>> включить его в ядро Linux — не даёт более "неправильно-свободная" лицензия.
> Это сделали господа из Sun Microsystems. При том - специально. Проблема только
> в том что где теперь сан, а где линух. Так что
> на твоем месте я бы молился чтобы статус-кво таким и оставался.
> Иначе тебе вообще будет негде брать сорц.

Аминь.

>> Это как чемодан без ручки: вроде нести неудобно, да бросить жалко.
> Лично мне пофиг: у меня btrfs - и я немного экспериментирую с
> сабжем. Я для себя решил что мое будущее - такое. А
> что случится с вон теми - лично мне все-равно. Для меня
> в этом мире ничего не изменится.

Для меня — тем более.

Ответить | Правка | Наверх | Cообщить модератору

135. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от нах. (?), 11-Апр-24, 07:39 
так это не к линуксу вопросы, а к zfs. Раз древняя - значит она шибкомодный стабильный нонсенс-  не поддерживает. Уговаривай разработчиков, лучше - имея на кармане очень веские аргументы.

Что, впрочем, касается не только линуксов - я бы и был бы рад вернуть в 14ю фрю обратно оригинальную реализацию из 11й, но, увы...

Ответить | Правка | К родителю #130 | Наверх | Cообщить модератору

69. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от DEF (?), 08-Апр-24, 22:37 
>Btrfs сама ещё похлеще портит данные.

Наглое безапеляционное вранье. Btrfs уже как 5 лет стабильна как скала и используется в корпоративном продакшене.

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

77. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 09-Апр-24, 05:36 
>>Btrfs сама ещё похлеще портит данные.
> Наглое безапеляционное вранье. Btrfs уже как 5 лет стабильна как скала и
> используется в корпоративном продакшене.

Ей мордокнига пару миилиардов юзерей обслуживает. Постоянно. Чартерными рейсами. На этом фоне вон те клоуны - админы локалхоста. У скольких из них БД на 30 терабайт вообще есть как у фэйсбука?

А в результате протестированость и вообще качество ZFSного кода - походу дно, как показал инцидент с рефлинками. Баг влепленый "гуру" жил себе дохрена лет, всем пофиг. А вылез когда - в кои-то веки - от cow захотели чтобы он умел cow, надо же какая неожиданная хотелка! Только пот не понятно - с фига он ломаться от этого должен?! :)

Ответить | Правка | Наверх | Cообщить модератору

80. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от maximnik0 (?), 09-Апр-24, 08:15 
>На этом фоне вон те клоуны - админы локалхоста

Объясняю почему так происходит -у мордокниги железо наверное понадежнее,жёсткие и Флэш диски с усиленной контрольной суммой.Наверняка использует раиды с комбинерованной схемой и  кластерные решения- если где то и произошел сбой,автоматом сбойный сектор (да даже и диск с стойкой) помечается и подтянется исправный.Да и память тоже с 2-Q4  
ECC .Вот и весь секрет, несмотря на объемы математика работает в пользу корпорации. А народ и меня бесит что в однодисковой конфигурации в 90 % повредилось 2-3 файла,но ФС не ремонтируется.Нету режима ремонта с потерями данных, да есть откат COW дерева,но не всегда помогает да и мягко говоря ошибиться вплоть до game over легко.

Ответить | Правка | Наверх | Cообщить модератору

82. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +1 +/
Сообщение от User (??), 09-Апр-24, 08:30 
Неее... для применения решений фейсбука - надо быть примерно фейсбуком. Иметь кучу данных на которые тебе настолько "пофиг", что просто "пофиг", реплицировать это все с определенной избыточностью на уровне сильно выше ФС по всему шарику, иметь возможность любую сбойнувшую железку выкинуть к чертям собачачьим и заменить на вот точно такую же - ну и так далее.
В противном случае "решения фейсбука" вам ну вот примерно до лампочки и применить их у себя сколько-нибудь осмысленным образом вы не сможете.
Ответить | Правка | Наверх | Cообщить модератору

98. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Минона (ok), 09-Апр-24, 10:19 
> Неее... для применения решений фейсбука - надо быть примерно фейсбуком. Иметь кучу
> данных на которые тебе настолько "пофиг", что просто "пофиг", реплицировать это
> все с определенной избыточностью на уровне сильно выше ФС по всему
> шарику, иметь возможность любую сбойнувшую железку выкинуть к чертям собачачьим и
> заменить на вот точно такую же - ну и так далее.
> В противном случае "решения фейсбука" вам ну вот примерно до лампочки и
> применить их у себя сколько-нибудь осмысленным образом вы не сможете.

Почему это не сможет?
Берёшь батарею из писюков, набиваешь дисками, накатываешь какую нибудь кластерную ФС.
И вуаля, ты "подкроватный Фейсбук ".
Можешь складывать туда свои фоточки.

Ответить | Правка | Наверх | Cообщить модератору

106. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от User (??), 09-Апр-24, 12:33 
>[оверквотинг удален]
>> данных на которые тебе настолько "пофиг", что просто "пофиг", реплицировать это
>> все с определенной избыточностью на уровне сильно выше ФС по всему
>> шарику, иметь возможность любую сбойнувшую железку выкинуть к чертям собачачьим и
>> заменить на вот точно такую же - ну и так далее.
>> В противном случае "решения фейсбука" вам ну вот примерно до лампочки и
>> применить их у себя сколько-нибудь осмысленным образом вы не сможете.
> Почему это не сможет?
> Берёшь батарею из писюков, набиваешь дисками, накатываешь какую нибудь кластерную ФС.
> И вуаля, ты "подкроватный Фейсбук ".
> Можешь складывать туда свои фоточки.

Не, ну попробовать можно, да. У меня даже ведерочко попкорна есть....

Ответить | Правка | Наверх | Cообщить модератору

133. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 11-Апр-24, 03:22 
> Почему это не сможет?
> Берёшь батарею из писюков, набиваешь дисками, накатываешь какую нибудь кластерную ФС.
> И вуаля, ты "подкроватный Фейсбук ".

Зачем вам кластерная ФС в самопальном фэйсбуке? Там балансировка, отказоустойчивость и проч делается на другом уровне. И выгорание плюс-минус пары серверов просто похрен - запрос уйдет соседним, а юзер ничего не заметит даже.

Ответить | Правка | К родителю #98 | Наверх | Cообщить модератору

136. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от нах. (?), 11-Апр-24, 07:44 
там репликация не для избыточности, а для распределения нагрузки. Если при этом получается и избыточность - хорошо, если нет или недостаточная - поооофиг!

Котиков оно УЖЕ несколько раз теряло прям массово, и... правильно, им - пофиг. Да и юзверькам  в общем-то тоже, попищали-попищали и новых накачали, да и то только те пол-процента что что-то такое заметили - большинство крутят ленточку на час назад и то много, не успевают полайкать. Они исчезновения позавчерашнего котика вообще не заметят. А двухлетнего можно просто архиватором del паковать.

А твой relations graph будь уверен хранится не на бырбырфесе, и еще и бэкапается регулярно. Товар ценный, на продажу британским учоным. (На самом деле нет, и по той же причине - ты же сам его и обновишь с максимальной скоростью, как только механизм подбора сбойнет из-за недостатка данных о тебе. Незачем заморачиваться, совсем. НЕТ у фейсбука ценных данных вообще.)

Ответить | Правка | К родителю #82 | Наверх | Cообщить модератору

140. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от User (??), 11-Апр-24, 08:31 
Нооо... как же... бырбырфысы? Фейсбук? Прод? Н-надежность?! Гаражные ворота?!!
Вы что, хотите сказать, что местный эксперт за-зря поверх вот этого вот всего postgresql (Джва года без сайлент дейта коррупцьён - как тебе такое, Илон Муск?) разворачивал?!!!
Да чего этот "нах" знать-то может? Бырбырфысы! Фейсбук! Гаражные ворота! Прод! Три-года-без-разрывов!!! 10 рерабайт в коробке из под тапочек - и можно даже одиннадцатый добавить, если винт скотчем примотать! А вот в NTFS ваще!
То-то.

Ответить | Правка | Наверх | Cообщить модератору

84. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Минона (ok), 09-Апр-24, 08:51 
>>На этом фоне вон те клоуны - админы локалхоста
> Объясняю почему так происходит -у мордокниги железо наверное понадежнее,жёсткие и Флэш
> диски с усиленной контрольной суммой.Наверняка использует раиды с комбинерованной схемой
> и  кластерные решения- если где то и произошел сбой,автоматом сбойный
> сектор (да даже и диск с стойкой) помечается и подтянется исправный.Да
> и память тоже с 2-Q4
> ECC .Вот и весь секрет, несмотря на объемы математика работает в пользу
> корпорации.

Память у них действительно ЕСС ибо железо серверное.
А вот диски обычные так как это расходник и должен быть дешевым.
А надёжность обеспечивается распределённой кластерной ФС.

> А народ и меня бесит что в однодисковой конфигурации в
> 90 % повредилось 2-3 файла,но ФС не ремонтируется.Нету режима ремонта с
> потерями данных, да есть откат COW дерева,но не всегда помогает да
> и мягко говоря ошибиться вплоть до game over легко.

Ты о чем, какой ремонт?
Если повредились метаданные, то они там не в одном экземпляре.
Если сами файлы, то восстанавливаешь из бэкапа.

Ответить | Правка | К родителю #80 | Наверх | Cообщить модератору

105. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от maximnik0 (?), 09-Апр-24, 11:19 
>Ты о чем, какой ремонт

Пишет тебе такие то файлы не корректные (+ может быть и методанные) , ладно поченить не получается -откатываешься по COW .Есть шанс что теперь методанные не сойдутся ,т.к эти данные были в методанных (мелкие файлы)- режим RO ,и пару повреждённых файлов которые не удалить не можешь, не поченить.Из за 4 мгб данных (к примеру)  переустанавливать на 10 Гб , так себе решение.Нету fsck которые эти некорректные данные снёс с разрешения юзера, сейчас именно упакованные мелкие файлы в метаданных есть слабое место btrfs в однодисковой конфигураци.

Ответить | Правка | Наверх | Cообщить модератору

96. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +1 +/
Сообщение от Аноним (-), 09-Апр-24, 10:10 
> Объясняю почему так происходит -у мордокниги железо наверное понадежнее,

Ну как бы откровенное г-но они не берут, но - установите кучу систем, погоняйте эн лет, и таки увидите, сбои будут. Они хвалили отлов глючных контроллеров и железа. А помойка типа EXT4 будет тихо глюкать, пока совсем не развалится.

> жёсткие и Флэш диски с усиленной контрольной суммой.

У btrfs у самого чексумы есть. Поэтому какие там на накопителе - в общем то похрен, если избыточность есть. Даже если что и проскочит - будет зарублено. При том это проверяет все end to end, от проца и рамы до шин, накопителей и чего там еще. В чем фича и состоит.

> Наверняка использует раиды с комбинерованной схемой и  кластерные решения-

Нахрена оно им? Чтобы денег выкинуть побольше? С их масштабом - жаба удушит. Такие обычно делают резервирование и рекавери на другом уровне. Так что плюс-минус пару серваков в ауте никто вообще не заметит.

> сектор (да даже и диск с стойкой) помечается и подтянется исправный.Да
> и память тоже с 2-Q4 ECC

Не, конечно можно глюкавить с просевшими 5V и памятью с алика, а потом плакаться на ФС... все  правильно сделали :))

> корпорации. А народ и меня бесит что в однодисковой конфигурации в
> 90 % повредилось 2-3 файла,но ФС не ремонтируется.

Ну я и воткнул его в DUP на такие штуки местами. Пару случайных бэдов раз в эн лет и проч стало переживать на ура, вообще без потерь. И глюки железа хайлайтит изумительно.

> Нету режима ремонта с потерями данных, да есть откат COW дерева,но не всегда помогает да
> и мягко говоря ошибиться вплоть до game over легко.

Зато допустим DUP есть. Да, половину места потеряет. И записи тормознее. Зато - если что починится без потерь. А кент хочет вообще erasure coding забацать своей штуке, это поэффективнее по месту может быть. Пока не допилено.

А починка с потерями - круто, ога, у меня libc6 и попортился случайным бэдом. И какой у вас на этот случай план, маэстро? Отношаться полдня с починкой тазика? Это голимый план!

Ответить | Правка | К родителю #80 | Наверх | Cообщить модератору

104. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от maximnik0 (?), 09-Апр-24, 11:07 
>И какой у вас на этот случай план, маэстро? Отношаться полдня с починкой тазика

Самый плохой бэд ,это вы правильно заметили.Но если из диагностики фс известно что этот файл того- я его вытащу в первую очередь..... Из кэша Deb пакетов.2 или 3 команды чтобы узнать какому пакету принадлежит файл и его переставить.Внезапно,опыт был- не пропьешь.Снесло когда то на ровном месте- ещё ext3 полдиска при плановой проверке fsck - 200 мгб файлов.Как не Удивительно ,но система ещё грузилась, т.к я сделал лайв загрузку аварийную :-) Но бэкапы были только на пользовательские данные ,так мне подсказали скрипт для проверки на битые файлы и восстановление с пакетного менеджера.Да,был бы бэкап за полчаса управился ,а так на 2 часа удовольствие растянулось :-( Система заработала.

Ответить | Правка | Наверх | Cообщить модератору

114. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 10-Апр-24, 07:53 
> Самый плохой бэд ,это вы правильно заметили.Но если из диагностики фс известно
> что этот файл того- я его вытащу в первую очередь.....

Я предпочту чтобы ЭТО мне не требовалось, если данные и работающие системы нужны. В этом случае речь уже идет о профаченой доступности систем и мануальных запрыгах. А оно мне надо?

> Из кэша Deb пакетов.2 или 3 команды чтобы узнать какому пакету принадлежит
> файл и его переставить.

Btrfs вообще при проблемах в dmesg пишет к чему сбоящий блок относился. Только это намного лучше с уточнением что сие - fixed. Так что вместо того запрыга нормальное продолжение работа. Со своей стороны я рад что Кент считает как-то так же. А вы можете выковыривать побитые файлики.

> месте- ещё ext3 полдиска при плановой проверке fsck - 200 мгб
> файлов.Как не Удивительно ,но система ещё грузилась,

Вот это все - ниоткуда не следует. И весь этот ваш fsck при старте систем - я тоже в гробу видал, скажем прямо. Особенно - с современными емкостями накопителей. Тупиковый путь эволюции ФС, уже дошел до своих логических пределов.

> пакетного менеджера.Да,был бы бэкап за полчаса управился ,а так на 2
> часа удовольствие растянулось :-( Система заработала.

А я таки придушил в ряде мест жабу и сделал DUP или, где можно, RAID1 - и так не очень крутые случайные взбрыки просто заруливаются в фоне. Автоматически. Без моего участия. Так намного прикольнее. Ну да, если годами гонять на глюкавой системе с рушеной RAM, просевшим 5V или чем там еще - может что и произойдет. Но я начну дергаться с выяснением что у меня за проблемы после первых нескольких "csum failed". Стабильно работающее железо - спасет меня от чертовой кучи неприятных сюрпризов.

Ответить | Правка | Наверх | Cообщить модератору

122. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от maximnik0 (?), 10-Апр-24, 11:43 
>А я таки придушил в ряде мест жабу и сделал DUP

К чести btrfs при всех ее глюках я важные данные не разу терял.Тоже хоть и ворчу перешёл на нее, вкусностей у нее много,даже при консервативном использование.

Ответить | Правка | Наверх | Cообщить модератору

126. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 10-Апр-24, 13:45 
>>А я таки придушил в ряде мест жабу и сделал DUP
> К чести btrfs при всех ее глюках я важные данные не разу
> терял.Тоже хоть и ворчу перешёл на нее, вкусностей у нее много,даже
> при консервативном использование.

На самом деле - серебряных пуль не бывает. У всех дизайнов есть свои приколы и особенности. Если их немного понимать - тогда все будет норм.

С btrfs'ом - не стоит юзать древние ядра, и забивать на вопли типа "csum error". Если они есть, окей, железо дурит и с этим - надо разобраться. И не только из-за btrfs, а вообще. На SSD иногда бывают "запроектные" аварии - типа потери очень большого сегмента. Но даже при этом обычно кто-то из суперов все же выживает. Остальное при наличии избыточности - чинябельно. В этом смысле - как минимум метаданные должны всегда быть RAID1 или DUP.

Ну и если данные капец как нужны, а планы A, B и C обломались, их можно попытаться вынуть офлайн читалкой. Единственное что до резких движений типа пуска fsck с исправлением - лучше проконсультироваться с девами на тему то ли вы хотите сделать.

А так - вон та ининциатива кента мне определенно нравится. Перестроить убитое дерево таки по своему красивая идея.

Ответить | Правка | Наверх | Cообщить модератору

90. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Минона (ok), 09-Апр-24, 09:09 

> Ей мордокнига пару миилиардов юзерей обслуживает. Постоянно. Чартерными рейсами. На этом
> фоне вон те клоуны - админы локалхоста. У скольких из них
> БД на 30 терабайт вообще есть как у фэйсбука?

У церна больше.

А вообще у меня файлохранилище на 20 тб, видеоархивы на 200+ тб.
Сейчас ждём поставку дисков по 20 тб, вместо 4 и 6, так что эти 200+ вырастут до 1000+ тб.

Ответить | Правка | К родителю #77 | Наверх | Cообщить модератору

115. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  –1 +/
Сообщение от Аноним (115), 10-Апр-24, 08:00 
>> БД на 30 терабайт вообще есть как у фэйсбука?
> У церна больше.

"Completely missed point". Меня в том контексте больше интересует даже не база и не сам ее размер - сколько факт что пару миллиардов хомяков дружно и активно вытаптывают поляну. При этом они обречены прозвонить даже очень экзотичные закоулки кодовой базы.

А у церна может быть - что угодно. Но это - с каким количеством юзеров и их уровнем активности? И как это с миллиардами юзерей книги относится? Ну вон они и тестят рефлинки прям на пользаках в проде в результате.

> А вообще у меня файлохранилище на 20 тб, видеоархивы на 200+ тб.
> Сейчас ждём поставку дисков по 20 тб, вместо 4 и 6, так
> что эти 200+ вырастут до 1000+ тб.

А вот именно баз - чего именно активно эксплуатируемых - на 30 Тб у вас таки врядли есть. Довольно экзотичнай штука. Поэтому разваливается ли у вас что-то на 25-м терабайте - ну, кому оно надо тот прям своей тушкой и узнает, фигли.

Ответить | Правка | Наверх | Cообщить модератору

137. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от нах. (?), 11-Апр-24, 07:52 
> Меня в том контексте больше интересует даже не база и не сам ее размер - сколько факт что пару
> миллиардов хомяков дружно и активно вытаптывают поляну.

лолшта? Прям не покидая своих беговых колес вытаптывают?

Поляна распахана, размечена колышками и обрабатывается комбайном по раз навсегда установленной линеечке. Шаг влево-вправо не предусмотрен конструкцией. Вот в этих пределах - все и чинно-благородно проверено и настроено.

При сбое сервера - причем не полном отказе а выходе 99процентного персентиля за положенные границы - никто не будет разбираться ни в каких csum, его выводят из эксплуатации сразу, весь, и включают следующий. А этот - reset/reinstall/test - и если тест сбойнет - вынимают из стойки и выкидывают. И нет, там никаких деллов с леновами, там собственная наколеночная платка в корпусе из картона и грязи.

А у церна эксперименты стоят очень дорого и повторить их в обозримом будущем никто не даст.
И это с юзерами которые нет-нет да и захотят странного, и необычного - они во превых вчоные, им по должности странного хотеть положено, а во-вторых никакие админы не угадают что им сегодня захочется.

> И как это с миллиардами юзерей книги относится?

никак. Точно так же как твои поделки. Ты - не мордокнига. (впрочем и не церн, ничего у тебя там нет ценного)

Ответить | Правка | Наверх | Cообщить модератору

141. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 11-Апр-24, 15:48 
>> миллиардов хомяков дружно и активно вытаптывают поляну.
> лолшта? Прям не покидая своих беговых колес вытаптывают?

Хома у соседа в тему затестил: дизайн с багом! Ось перетерлась и крякнула! А ты гришь! Это работает! :)

> линеечке. Шаг влево-вправо не предусмотрен конструкцией. Вот в этих пределах -
> все и чинно-благородно проверено и настроено.

У них там вероятно есть несколько разных сценариев. При том судя по багам - весьма нагруженных, чем они и интересны. Стресстестит GC и проч по полной -> то что надо.

> При сбое сервера - причем не полном отказе а выходе 99процентного персентиля
> за положенные границы - никто не будет разбираться

Тебе не приходило в голову что я выводы делал глядя на git log майнлайна и характер фиксов? Наблюдаемое отличалось от той теории. Т.е. некий анализ отказов есть. Суммируется, агрегируется, выводы делаются, проблемы заруливаются. Норм рабочий процесс. Это нормально, часть процесса минимизации обслуги систем. Даже я научился в азы failure analisys, жизня заставила.

> ни в каких csum, его выводят из эксплуатации сразу, весь, и включают следующий.

Если железо - да. Если софт - анализируют, твикают, чинят, улучшают. Csum error им нравится как раз ранним детектом проблем железа.

> собственная наколеночная платка в корпусе из картона и грязи.

Да и какая разница... в конечном итоге подобная проблематика есть много у кого.

> А у церна эксперименты стоят очень дорого и повторить их в обозримом
> будущем никто не даст.

Церн это нишевая штучная фиговина. Может оно и по своему круто, но нужно именно это, именно так, очень узкой касте маргиналов. Это знание может и не быть релевантно на более приземленных сценариях.

> а во-вторых никакие админы не угадают что им сегодня захочется.

У них активность рядом не стояла с миллиардом фэйсбучных хомяков. А интересуют не рекорды а вытоптаная поляна. Прозвон механики ФС в всех закоулках, с самыми дурацкими сочетаниями. В случае CoW например вопрос как gc работает достаточно актуален. В том смысле что при постоянной нагрузке он должен успевать подгрести за writer'ом, иначе будет фэйл.

> никак. Точно так же как твои поделки. Ты - не мордокнига. (впрочем
> и не церн, ничего у тебя там нет ценного)

Спасибо кэп, и как я сам не догадался? Однако общий стресс тест механики улучшает состояние дел и для меня. Миллиард юзеров в этом смысле сильно полезнее пары рекордных но куда менее нагруженых хранилок. Чисто статистически больше всякой странной хни вытопчут.

Ответить | Правка | Наверх | Cообщить модератору

143. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от нах. (?), 11-Апр-24, 16:06 
> У них там вероятно есть несколько разных сценариев.

есть. Только твоих среди них - нет.

> Тебе не приходило в голову что я выводы делал глядя на git log майнлайна и характер фиксов?

лучше б ты делал выводы на основе опыта работы в фейсбуке. Он, в принципе, общедоступен при некотором усилии, чужой - необязательно самому продаваться.

> Церн это нишевая штучная фиговина.

мои поделки - что дома, что на работе - сплошь нишевые штучные фиговины. Потерям данных в них при этом я рад совершенно не буду и возне с восстановлением тоже - у меня жизнь вообще всего одна.
Поэтому опыт церна мне иногда может быть интересен, а опыт фейсбука - совершенно нет, ровно ноль точек пересечения

Нет, миллиард юзеров с совершенно одинаковым и ни шагу в сторону юзпаттерном полезны только тем странным кто построил себе дома фейсбук в натуральную величину. Чисто статистически у тебя ровно ноль шансов попасть в ту же колею.

Ответить | Правка | Наверх | Cообщить модератору

148. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 12-Апр-24, 14:51 
>> У них там вероятно есть несколько разных сценариев.
> есть. Только твоих среди них - нет.

Да ну ладно, там что, инопланетяне чтоли работают? Вот в CERN - я еще поверю. У них там специфичные задачи, которые с моими врядли пересекутся. Зато многие аспекты которые мастхэв для беспилотных штук - ученых не волнуют. Они то если что - посчитают свое добро и на месяц позже, куда им спешить? А это проблемка, будут хотеть другого. Не, приставлять к каждой байде с кредитку размером - и даже серваку - по энтерпрайз-админу в мои планы совершенно точно не входит. И мне нужен менедмент ОС и ее частей который с этой идеей дружит, соответственно.

Поэтому чем проще управление и меньше внимания вот это все требует в run time тем оно более ЗБС в моих глазах. Это довольно приоритетный критерий для меня. Фейсбук в этом смысле мало чем отличается.

> лучше б ты делал выводы на основе опыта работы в фейсбуке. Он,
> в принципе, общедоступен при некотором усилии, чужой - необязательно самому продаваться.

Я думаю что у разных тушек этот опыт очень ... разный. К питоняше можно относиться как к г-ну, вышибив его с треском и заменив на нового из очереди за забором. А файлушников например хрен так заменишь. Ну их и ценить будут - сильно иначе, соответственно. Туда же и гранды сжатия типа Cyan/Przemislaw Skibinsky и тому подобные. Штучный товар.

> мои поделки - что дома, что на работе - сплошь нишевые штучные фиговины.

Тут проблема в том что характер нагрузки и проч - сильно другие. И то что CERN что-то там - не очень релевантно вообще. А фэйсбук что, они ничего супер-экзотичного с ФС AFAIK не делают.

> Потерям данных в них при этом я рад совершенно не буду и возне с восстановлением
> тоже - у меня жизнь вообще всего одна.

Это как бы разумно. Просто у CERN все будет сильно отличаться от твоего сетапа, да и врядли у них вот именно активность на хранилке - ломовая и сравнима с миллиардом юзерей мордокниги на большом парке серверов. Который чисто статистически прозвонит почти все мыслимые code paths в результате.

> Поэтому опыт церна мне иногда может быть интересен, а опыт фейсбука -
> совершенно нет, ровно ноль точек пересечения

А я считаю что результат теста хомячками мне окажется полезнее чем ученых из CERN с нишевыми кейсами.

> Нет, миллиард юзеров с совершенно одинаковым и ни шагу в сторону юзпаттерном
> полезны только тем странным кто построил себе дома фейсбук в натуральную
> величину. Чисто статистически у тебя ровно ноль шансов попасть в ту же колею.

С чего такие сведения? Они ФС вроде юзают без какой-то особой экзотики, а ломовая нагрузка на куче серверов - прозванивает code path в самых разных закоулках. И все что может отвалиться - отваливается. В этом и смысл пуска хомяков на поляну.

Ответить | Правка | Наверх | Cообщить модератору

4. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +3 +/
Сообщение от КО (?), 08-Апр-24, 10:08 
Шило на мыло
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

6. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +3 +/
Сообщение от Werenter (ok), 08-Апр-24, 10:13 
Я вот пару дней назад поставил систему на bcachefs. Посмотрим, сколько продержится.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

22. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (22), 08-Апр-24, 11:39 
Прошлым летом сильно обжёгся об Btrfs. Пока посижу на ReiserFS. Благо, что ядро 6.1 обещают сильно долго LTS.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

29. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +1 +/
Сообщение от scriptkiddis (?), 08-Апр-24, 12:25 
Лучше на fat32 сиди.
Ответить | Правка | Наверх | Cообщить модератору

48. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +1 +/
Сообщение от Аноним (22), 08-Апр-24, 17:41 
UNIX Rights, Extendet attributes, POSIX ACL?
Ответить | Правка | Наверх | Cообщить модератору

79. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от maximnik0 (?), 09-Апр-24, 07:40 
>POSIX ACL?

Был когда то костыль, называется UMSDOS если по названию память не подводит.Но это именно костыль, приклеенный к тому же скотчем.Легко ломался и обходился, достаточно было хитро переименовать файл.

Ответить | Правка | Наверх | Cообщить модератору

34. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 08-Апр-24, 13:40 
> Пока посижу на ReiserFS. Благо, что ядро 6.1 обещают сильно долго LTS.

fsck еще не забывай запускать, особенно если виртуалки на диске хранятся. Тебе понравится, ибо чужие деревья эта штука может укатать в ФС одной левой. А вот потом - это таки не bcachefs, и информации для рекавери в этом случае уже таки - нет.

Так что если данные вдруг нужны - познаете прелести testdisk и photorec как раз.

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

49. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (22), 08-Апр-24, 17:45 
--rebuild-tree ни разу не подвёл.
Ответить | Правка | Наверх | Cообщить модератору

52. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 08-Апр-24, 18:00 
> --rebuild-tree ни разу не подвёл.

А ты пару RAW образов виртуалочек на файлуху разложи! Заодно потом и посмотришь как тебе такой NOTABUG/WONTFIX. И в этом месте начнешь догадываться почему в современном мире рейзера за что-то не лю. Эти клоуны не догадались валидацию "чье это дерево вообще?!" делать. Могут чужое в файлуху раскатать - с понятным результатом.

Ответить | Правка | Наверх | Cообщить модератору

83. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от User (??), 09-Апр-24, 08:38 
На всякий случай - есть какая-то необходимость использовать именно raw формат?
Ответить | Правка | Наверх | Cообщить модератору

97. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (97), 09-Апр-24, 10:18 
> На всякий случай - есть какая-то необходимость использовать именно raw формат?

Да мало ли, может скачали такое. Или было transient при какой-то работе с виртуалками. Я например генерю себе виртуалки, RAW файло создать и взять в оборот мне тупо проще! По занимаемому месту - fallocate же. А потом я его может и прогоню конвертором qcow. Но структуры ФС от той штуки - в недрах стоража останутся же! И вот круто то будет если fsck втолкает в ФС хоста деревья с виртуалки. Эти дятлы были не в курсе что проверять FS UUID при таких операциях хорошая идея.

Это как раз 1 известный способ получить "F...k you reiserfs!". Закрытый как notabug/wontfix. Видимо структуры не содержат нужного инфо и поздно пить боржоми. Зато остальных эта вермишель таки научила прихранивать вон то. Вот как раз поэтому.

Ответить | Правка | Наверх | Cообщить модератору

107. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от User (??), 09-Апр-24, 12:34 
>[оверквотинг удален]
> взять в оборот мне тупо проще! По занимаемому месту - fallocate
> же. А потом я его может и прогоню конвертором qcow. Но
> структуры ФС от той штуки - в недрах стоража останутся же!
> И вот круто то будет если fsck втолкает в ФС хоста
> деревья с виртуалки. Эти дятлы были не в курсе что проверять
> FS UUID при таких операциях хорошая идея.
> Это как раз 1 известный способ получить "F...k you reiserfs!". Закрытый как
> notabug/wontfix. Видимо структуры не содержат нужного инфо и поздно пить боржоми.
> Зато остальных эта вермишель таки научила прихранивать вон то. Вот как
> раз поэтому.

Ну оооок. У меня зубов в труднодоступных местах нет - но я верю, что эти конкретные - острые весьма.

Ответить | Правка | Наверх | Cообщить модератору

117. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от Аноним (-), 10-Апр-24, 08:24 
>> Зато остальных эта вермишель таки научила прихранивать вон то. Вот как
>> раз поэтому.
> Ну оооок. У меня зубов в труднодоступных местах нет - но я
> верю, что эти конкретные - острые весьма.

Ну вот народ периодически нарывается характерным паттерном: "readonly fs" -> fsck -> "f...k you reiserfs!!!1111". Вон то 1 из известных способов проследовать тем маршрутом. Ну я и подсказал челу которому нравится рейзерский fsck как добавить остроты ощущениям при его работе :)

Ответить | Правка | Наверх | Cообщить модератору

125. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +1 +/
Сообщение от Аноним (125), 10-Апр-24, 13:24 
Клоуны - это те, кто не читает документацию прежде чем что-то делать. А потом визжит.
Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

147. "Автор Bcachefs представил патчи для исправления ФС, разрушен..."  +/
Сообщение от maximnik0 (?), 12-Апр-24, 11:56 
>Эти клоуны не догадались валидацию "чье это дерево вообще?!" делать.

Странно, в самой райзер по описанию валидация есть .
>Ключи используется в качестве...а также определение положение записей.Ключ состоит....Id родительского каталога,Id  объекта, смещения объекта и его типа .

Похоже при восстановление дерева на ключи забивается болт,а потом народ орет а чужое дерево присоеденило с RAW формата виртуалки.Недоработкв fsck , а рук починить не нашлось.Тем более выкидывать ещё 5 лет назад собирались.Нету CRC,и не вкорячиешь,т.к нет версионности фс в традиционном смысле.

Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

42. "Сырость Btrfs"  +/
Сообщение от qweoemail (?), 08-Апр-24, 15:58 
На чём обжёгся?
Избегаю это поделие, но полагал, что за 15 лет довели кодовую базу до вменяемого состояние. Преждевременно?
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

54. "Сырость Btrfs"  +/
Сообщение от Аноним (54), 08-Апр-24, 18:11 
Оказалось, что маловато напряжение по 5 В (4.76), хотя, считал, что этого достаточно. До этого использовались ReiserFS, тоже иногда повреждались, но reiserfsck --rebuild-tree всегда отрабатывала безотказно, как автомат Калашникова. Сервисная утилита Btrfs после такого сказала, что на разделе ФС отсутствует, точка. Вернулся к использованию ReiserFS. Теперь на Uпит. больше обращаю внимания, но от btrfs.fsck неприятный осадочек остался. Теперь знаю, что если что, не вывезет.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру