В репозиторий, развивающий изменения в Btrfs для будущих веток ядра Linux, принят набор...Подробнее: https://www.opennet.me/opennews/art.shtml?num=62407
А этого не было? Ну хорошо, что теперь будет. Значит, мне не казалось, что raid1 не даёт ускорения.
raid1 и в mdadm не ускоряется by design. Можно сделать degraded raid10 (с половиной дисков), чтобы зафорсить параллельное чтение.
погоди, они ж лет десять назад с пафосом это чинили?
(или я путаю и они героически чинили 2x performance hit на write? Потычьте кто-нить палочкой, я боюсь.)
> погоди, они ж лет десять назад с пафосом это чинили?Надо этот вопрос финишному историку задать.
Где ты был комментатор 10 лет назад, когда я работал с Western Digital? Ты бы мне на проекте очень был бы нужен. Они в упор не хотели понимать проблему, потому что железо уже наклепали и софт под него не хотели менять. А мне только API можно было использовать.
> Можно сделать degraded raid10 (с половиной дисков), чтобы зафорсить параллельное чтениеРазве raid10 с половиной дисков это не то же самое, что и raid0? Может тогда лучше сразу raid0 собрать?
Нельзя. Нужно брать RAID6 или, на худой конец, RAID10. Иначе счастья в жизни нет.
> Разве raid10 с половиной дисков это не то же самое, что и raid0?Зависит какие диски считать половиной, ([1-3], [2-4]) или ([1-2], [3-4]). В первом случае если дегрейднуть одну группу [2-4] то получится raid0 то есть данные все еще целые. А вот во втором случае, если дегрейднуть группу [3-4], то потеряем целостность.
>Разве raid10 с половиной дисков это не то же самое, что и raid0?Для типичного raid10 - да. Но у md raid есть три типа raid10:
https://web.archive.org/web/20230324162214/https://www.ilsis...
Чеееееегоооооо?
RAID 10 is a stripe of mirrorsвсе правильно, если убрать два диска не из разных зеркал, то массив развалится
а если из разных, то это обычный RAID0 c точки зрения надежности
Про mdadm не поторопился?
Btrfs не даёт ускорения. И ещё и не даёт ускорения в рейде и этим кто-то в серьез пользовался...
ну замедление же ж дает! (не удивлюсь если там и 2x performance hit по записи, как у дедов в их md1)На самом деле не дает только при linear read, а если у тебя мильен мелких процессов (мля, а что это такое может быть? cp раздаваемая апачом с prefork mpm?) то все же должно быть не 2x, но побыстрее чем одинарный диск.
Ноетанеточна, и я бы рекомендовал потестировать если всерьез закладываться на эту недофичу.
"недо", потому что серьезные выигрыши от параллельных операций начинаются когда шпинделей не два, а двадцать два, а у нас raid6 данные портит.
> Ноетанеточна, и я бы рекомендовал потестировать если всерьез закладываться на эту недофичу.Оно пока экспериментальное и не активировано по дефолту, это ж не ZFSники вывалить не тестированый крап с лопаты.
> "недо", потому что серьезные выигрыши от параллельных операций начинаются
> когда шпинделей не два, а двадцать два, а у нас raid6 данные портит.RAID6 для ускорения - это конечно тоже забавная идея. Хотя на 22 наверное даже прокатывает.
> RAID6 для ускорения - это конечно тоже забавная идеяобхохочешься. Производители san'ов прям животики надрывают глядя на таких как ты.
(а сервис-инженеры, кстати, плачут. Типичная жалоба заказчика - "мы купили .... а оно и половины завленной производительности не выдает, за что тыщи нефти плочено?!". Угадаешь, почему?)
>> RAID6 для ускорения - это конечно тоже забавная идея
> обхохочешься. Производители san'ов прям животики надрывают глядя на таких как ты.При том одни, кажется, уже даже и надорвали. Sun, кажется, этот лопнувший от трупных газов кадавр назывался. И, вот - разобрали его на запчасти.
> (а сервис-инженеры, кстати, плачут. Типичная жалоба заказчика - "мы купили .... а
> оно и половины завленной производительности не выдает, за что тыщи нефти
> плочено?!". Угадаешь, почему?)Ворклоад какой-нибудь дурацкий, RMW вызывает и если там парити например не распределенный а одним диском - в него все и утыкается поди?
Sun лопнул, поскольку уж очень дифференцированно свой бизнес строили. И собственный процессор Spark, и собственная ОС, и собственные ФС - ZFS и NFS, и собственный формат лент, и собственная среда исполнения кода. Не все перечислено.
Когда IBM понял, что не справляется, начал избавляться от менее доходных направлений, передав бытовые ПС и линейку серверов X к Lenovo, сохранив за собой более прибыльные линейки I, P и Z. HP смогла сбросить с себя бремя HPUX. Oracle отказался от собственного формата лент. А Sun продолжал тужиться, тягая сразу все лямки. Не смог, в итоге, надорвался.
Хотя, объективности ради, надо признаться, что Sun поправу можно с гордостью отнести к самому "кровавому ынтырпрайзу". В этом они оказались даже честнее IBM.
> Sun лопнул, поскольку уж очень дифференцированно свой бизнес строили.
> И собственный процессор Spark, и собственная ОС, и собственные ФС - ZFS и NFS,Предел мечт корпа: тотал контрол над ВООБЩЕ ВСЕМ!
И козью морду кастомеру: "куда ты денешься с НАШЕЙ подводной лодки?!". Изначально план катил, но x86 победил, пингвин обошел на повороте, без zfs можно и пережить, для БД он смерти подобен, ораклбиэм аж NOCOW для btrfs'а для БД затребовали архитекту.
> и собственный формат лент, и собственная среда исполнения кода. Не все
> перечислено.О это сладкое слово vendorlock. Хорошо быть богом. Вечно. Куда ж ты... эээ, что значит - перешли на линукс?! Уволили носителей сакрального знания?! Списав технику в убыток?!
Так можно было?! Ааа, погодите, мы не плохие парни, любим опенсорс, нате на лопате! Что значит - комьюнити нет а админы с раздутым чсв кодить не умеют? Мы тут типа-альтернатива пингвинам, ых, ых, ых...
> Когда IBM понял, что не справляется, начал избавляться от менее доходных направлений,
IBM вообще так по жизни на мелочи не любил размениваться.
> HP смогла сбросить с себя бремя HPUX.
Кому оно нужно когда Linux появился. Открытый. Сommodity. С толпой тех кто шарит в нем. Все то же самое но в разы дешевле, на commodity железе, без вендорлоков.
> Sun продолжал тужиться, тягая сразу все лямки. Не смог, в итоге, надорвался.
Как поется, "мир оказался сильней".
> Хотя, объективности ради, надо признаться, что Sun поправу можно с гордостью отнести
> к самому "кровавому ынтырпрайзу". В этом они оказались даже честнее IBM.И поэтому они сделали себе харакирю^W^W^W померли с голода, продав остатки за бесценок :)
А чего тогда Apple всё не лопается и не лопается ?
Наверное всё же дело в другом.
> А чего тогда Apple всё не лопается и не лопается ?Вообще-то пару попыток они таки предприняли. Достаточно успешных, но - немного не хватило. Это когда джобса из его же фирмы ушли на мороз - и чуть не сдохли.
> Наверное всё же дело в другом.
А таки когда поплохеет и этому вендорлокеру - адепты его монокультуры с единственным правильным способом делания всего - вылетят на мороз точно так же. И если для хомы это не проблема, купил андроид или что там - и фиг с ним - то для айтигников это уже полный задник. Поскольку те знания более не реюзабельны - нигде, ни для чего.
san, не sun
парити одним диском - это древнющий raid4 (который разве что лет 30 назад был актуален)Проблема, обозначенная выше, обусловлена тем, что взята железка, в которую можно воткнуть десяток и более дисков с рейд6, а воткнуто два диска в зеркале. Потому что от железки кусок не отрежешь, а вот дисков можно выбрать - два или двадцать. С очевидным проседанием пропускной способности массива в разы.
Просвещайся, товарищ, и апломбу поумерь (мушку спили).
> Потому что от железки кусок не отрежешькак раз и отрежешь. Никто не покупает эти железки без дисков, "на вырост", они, мягко говоря, дороговаты для этого. А вот понаделать partitions по шесть-восемь слотов - это наше, "низя же ж складывать все яйца в одну корзину, а то вдрухъ". (а ничего что это просто полка и корзина как была одна так и есть и вы даже на вторую голову пожабились?)
И такая дребедень - у каждого второго местного ентер-прайса.
Лол я одного такого продвинутого видел, он на нетапе рейд6 из 22 дисков nlsas замутил.Этот рейд трое суток ребилдился после замены диска.
(Хотя там все по ходу продвинутые были, и продаван, который, чтоб влезть в требования по объёму, такую разбивку предложил, и покупатель, который думал, что nlsas - это sas, только nl. Сэкономили, в общем)
Бимеровские инженеры на семинарах хоть сразу говорили про свои сторвайзы, что мдиски с четностью длинные делать, конечно, можно, но вот _лично_ он, например, больше 8-9 не советует, и рожу такую озабоченную делали.
> больше 8-9 не советует,больше 8-9 шпинделей
я поэтому специально оговорился про ib..novo, что они особняком - у них в сторвайсе все очень, очень хреново.
Просто не надо в 2k25м году пользоваться их решениями из 2001го когда нужна производительность.Впрочем, с надежностью там тоже последние годы так себе. Пока глобально не наворачивалось, но подозрительный шелест в траве уже слышен.
> это ж не ZFSники вывалить не тестированый крап с лопаты.У ZFS с параллельным чтением с mirror всё отлично.
> RAID6 для ускорения - это конечно тоже забавная идея.
У меня с 8 шпинделей в raidz2 линейное чтение ~ 1 Гбайт/с.
>> это ж не ZFSники вывалить не тестированый крап с лопаты.
> У ZFS с параллельным чтением с mirror всё отлично.А ваш девиз, видимо, "смотрю в книгу - вижу фигу". Потому что вон та претензия к общему выкатыванию релиза. Какая разница сколько там шпинделей, если релизеры перепутали пафосных админов типа вас с бетатестерами, и вывалили с лопаты рефлинки вообще не тестировав? Не понимаю как от такого факапища релизеров гиг в секунду помогает.
>> RAID6 для ускорения - это конечно тоже забавная идея.
> У меня с 8 шпинделей в raidz2 линейное чтение ~ 1 Гбайт/с.Да и хрен с ними. Меня проблемы внемайнлайн выкидышей в принципе не интересуют.
> Да и хрен с ними.Ой, кисо обиделосЪ :-)
> Меня проблемы внемайнлайн выкидышей в принципе не интересуют.
И поэтому ты крапаешь сюда уже который пост как под копирку? :-)
PS: А качество сейчас у всех ниже плинтуса :( Даже RH с которым довольно жЁсткий SLA ... как поголубели вот прямо "этими" только и называю :(
То есть Вас не интересуют Ваши собственные проблемы?
> То есть Вас не интересуют Ваши собственные проблемы?То-есть свои проблемы я в рамках майнлайна решать - как раз умею. А внемайнлайн хня никогда не будет первым сортом в Linux и обречена быть куском головняка. Зачем мне принципиально неизлечимый головняк? Я мазохизмом не страдаю - за этим к админам уровня бох^W пох, эти научат как прострелить себе коленку на ровном месте - и еще расскажут что это хорошо: ведь можно же и две прострелить, во смотрите!
>>> это ж не ZFSники вывалить не тестированый крап с лопаты.
>> У ZFS с параллельным чтением с mirror всё отлично.
> А ваш девиз, видимо, "смотрю в книгу - вижу фигу". Потому чтоЭто твой девиз, причём не раз подтверждённый.
> вон та претензия к общему выкатыванию релиза. Какая разница сколько там
> шпинделей, если релизеры перепутали пафосных админов типа вас с бетатестерами, и
> вывалили с лопаты рефлинки вообще не тестировав? Не понимаю как от
> такого факапища релизеров гиг в секунду помогает.Так я не использую ZFS на линуксе, мне пофигу чего они там релизят.
>>> RAID6 для ускорения - это конечно тоже забавная идея.
>> У меня с 8 шпинделей в raidz2 линейное чтение ~ 1 Гбайт/с.
> Да и хрен с ними. Меня проблемы внемайнлайн выкидышей в принципе не
> интересуют.У меня ZFS как раз в мейнлайне и все виды рейдов работают отлично.
В отличии от твоего звездолета.
>> А ваш девиз, видимо, "смотрю в книгу - вижу фигу". Потому что
> Это твой девиз, причём не раз подтверждённый.Судя по развитию ситуации и где такие как вы носители парадигм с своими сказками оказались - это мы будем посмотреть. Лучший диагност на этом глобусе - время.
> Так я не использую ZFS на линуксе, мне пофигу чего они там релизят.
На BSD - тоже нынче ZoL, если что. Тот же самый. От того же DreamTeam. Это все что BSDшники реально могут в области файлух. Есть конечно шанс что вы вымирающий вид каких-нибудь сан-админов, но какое мне дело до мамонтов?
> У меня ZFS как раз в мейнлайне и все виды рейдов работают отлично.
Вот себе такое отлично и оставьте, имхо. Вместе с вашим майнлайном.
> В отличии от твоего звездолета.
Мой звездолет так то - next gen по сравнению с теми кусками крапа. Это удобная и приятная в использовании штука, в отличие от ваших ржавых железок которые вот-вот крякнут там и тут.
>>> А ваш девиз, видимо, "смотрю в книгу - вижу фигу". Потому что
>> Это твой девиз, причём не раз подтверждённый.
> Судя по развитию ситуации и где такие как вы носители парадигм с
> своими сказками оказались - это мы будем посмотреть. Лучший диагност на
> этом глобусе - время.Мы как сидели в энтерпрайзах так и сидим.
>> Так я не использую ZFS на линуксе, мне пофигу чего они там релизят.
> На BSD - тоже нынче ZoL, если что. Тот же самый. От
> того же DreamTeam. Это все что BSDшники реально могут в области
> файлух. Есть конечно шанс что вы вымирающий вид каких-нибудь сан-админов, но
> какое мне дело до мамонтов?Этот "мамонт" в отличии от твоего некстгена отлично работает.
>> У меня ZFS как раз в мейнлайне и все виды рейдов работают отлично.
> Вот себе такое отлично и оставьте, имхо. Вместе с вашим майнлайном.Так мы и оставляем.
Зачем нам кривой звездолет.>> В отличии от твоего звездолета.
> Мой звездолет так то - next gen по сравнению с теми кусками
> крапа. Это удобная и приятная в использовании штука, в отличие от
> ваших ржавых железок которые вот-вот крякнут там и тут.Ты опять всё перефорсил.
Удобная и приятная штука это как раз у нас.
А в твоём некстген звездолете как оказалось даже миррор не оптимизированный.
> Мы как сидели в энтерпрайзах так и сидим.Я рад за вас, только потом оказывается что сапожник - без сапог, и для себя вообще чуть ли не нтфсом высокоинновационным пользуется, задвигая про "серверные операционки".
Ну а мне такой хоккей - я его в гробу видал. Продвигаемые мной технологии должны нормально работать хотя-бы для меня, чтоли. Иначе ну вот вы там и бороздите в большом театре, сидючи с голым окороком на своих компах, ноутах и проч и лобызая ботинки больших дядь. А без этих дядь вы вообще - ничто. Void.
> Этот "мамонт" в отличии от твоего некстгена отлично работает.
Этот мамонт никогда не сможет в нормальный современный менеджмент. И мой некстген отлично работает. Для меня. И еще пары миллиардов пользаков на планете. А ZFS ни на что кроме энтерпрайзных файлопомоек по большому счету и не заточена. Энтерпрайзный переросток с неудобными доопущениями.
>> Вот себе такое отлично и оставьте, имхо. Вместе с вашим майнлайном.
> Так мы и оставляем.
> Зачем нам кривой звездолет.Да я совсем не против - только потом не нойте что вон те, с конкурентными преимуществами, опять обставили ошибок эволюции. Ветеранюниксадмины вместе с своими офигенными юниксами уже познали как это работает. И вы там будете.
>> крапа. Это удобная и приятная в использовании штука, в отличие от
>> ваших ржавых железок которые вот-вот крякнут там и тут.
> Ты опять всё перефорсил.
> Удобная и приятная штука это как раз у нас.Кажется у нас сильно разные понятия о удобстве и приятном использовании. Я вообще не хочу делать мозг вопросами размера девайсов и их количества. И удобно - когда можно переиграть конфиг, если что-то в существующем не понравилось. Особенно если это без рисков.
Удобно это "btrfs device add" -> +N места. Ну или remove, тогда -N. Вот это - управление сторажами как оно должно было быть с самого начала.
А то что "вы так привыкли" плясать кан-кан над хранилками - ваши проблемы!
> А в твоём некстген звездолете как оказалось даже миррор не оптимизированный.
Как видите, в моем звездолете - проблемы решают. А вон то - обречено помереть кривым уродом с неудобными допущениями и так и сяк.
постгрес тот же до сих пор процесс на запрос или вот мускуль - там треды, а процесс один..или какой-нибудь qemu может образа вмок под одним пидом туда-сюда читает
Дык о чём и речь! - пЫонеры-дЫзигнеры btrfs вместо дизайна сделали костыль, Ё - какая неожиданность :)
C балансировкой IO по PID - только так, оно же не предсказуемо :(
А по людски делать начали через 10+ лет... ну да ладно - всё равно удачи им, хоть я бтр и не пользую.
> Btrfs не даёт ускорения. И ещё и не даёт ускорения в рейде
> и этим кто-то в серьез пользовался...Гонево. В raid0 даёт ускорение почти равное теоретическому.
btrfs + RAID0 ...Это же практически /dev/null 8-\
МьсЁ знает толк!(С)
Не, ну а че - если там все равно какой-нибудь докер в докере под докером живет - оно так и так doomed to die.
Вполне возможно, кстати, что это именно то что на самом деле использует мордокнига.Ей твоих котиков не жалко, а упавшая полка (даже если упадет полка, а не просто compute node, вычисляющая какую еще рекламу тебе забахать в ленту) просто переустанавливается и переформатируется заново за пятнадцать-двадцать минут, подумаешь, фокус.
Я бы, правда, опеннетовским опросам анонимов не особо доверял, и вместо этого - померял бы, если бы мне понадобилась подобная производительность дешево и криво.
> btrfs + RAID0 ...
> Это же практически /dev/null 8-\
> МьсЁ знает толк!(С)Вовсе не /dev/null. У друга несколько лет работало, пока хдд не навернулся. Потом стим сам перекачал все дистрибутивы.
> Вовсе не /dev/null. У друга несколько лет работало, пока хдд не навернулся.ну вот, а чем по вашему мордокнига хуже? Кому в общем-то нужны твои котики трехлетней свежести, когда новых полно?
Так далеко ленту и не крутит никто. Мышь раньше развалится.
мне не нравится как сделан RAID в BTRFS я юза dm-raid, а уже на md можно накатывать FS
> А этого не было? Ну хорошо, что теперь будет. Значит, мне не казалось, что
> raid1 не даёт ускорения.На однозадачной нагрузке - не дает. Ибо привязка к PID. Для разных процессов одновременно - дает. Просто на 1-задачных сценариях PID один и тот же и счастье не наступало.
Этот ваш новомодный btrfs ещё и дефрагментировать надо? 🤦
Так это ж CoW.
П.с. Можно дефрагметировать отдельные директории/файлы.
ты лучше спроси, откуда у них при этом аж более чем двухкратный рост производительности, если суть "дефрагментации" - linear read (допустим, теперь с этим ок) + linear write того что мы только что прочитали. Причем второе в лучшем случае занимает столько же времени, сколько первое, и никак не должно было измениться от того что они _чтение_ пооптимизировали. А "лучший случай" крайне маловероятен в фс где и читать-то параллельно не умеют толком.
> откуда у них при этом аж более чем двухкратный рост производительностиТут всё просто -- они сложили скорость чтения и записи 😏
> П.с. Можно дефрагметировать отдельные директории/файлы.При желании - можно. Но стоит почитать на тему unsharing экстентов до того как это безбашенно фигачить. Впрочем, никто не мешает дефрагнуть и потом дедубликатор натравить.
да я смотрел стату по дедупликации на своих дисках, если ты не срешь копиями типа виртуальных машин при условии что они почти не меняются, то смысла особо нет, много не потеряешьхранение одинакого контента это скорее случайность, у меня и нескольких процентов не соберется
> да я смотрел стату по дедупликации на своих дисках, если ты не
> сpешь копиями типа виртуальных машин при условии что они почти не
> меняются, то смысла особо нет, много не потеряешьНу я вот таки "cpу" мультиреференснутыми на образ жаблона VM. Это удобно и эффективно для системных эспериментов, респинов ос и изоляции сервисов. А заодно при случае еще и образами дисков при дата рекавери, терабайтов на эн. Потому что хранить 2N емкости, чтобы на копии оперировать - в 2 раза дороже, ВНЕЗАПНО! А когда оно рефлинк и fsck там несколько мегов переворошил - но абстракция как будто это 100% независимый образ, это круто. А если не понравился результат FSCK, взял да стер рефлинкнутую "копию" и попробовал еще раз, иначе. Так право на ошибку есть - и стоит сильно дешевле чем в классических технологиях.
Поэтому я таки довольно активный юзер рефлинков - как и дедупа RAM, я оверселлю себе ресурсы, это чертовски выгодно.
> хранение одинакого контента это скорее случайность, у меня и нескольких процентов не
> соберетсяНу вон там примеры случайностей. А еще - например снапшоты ОС. То-есть при каком либо факапе я не буду мумукаться с порушеной копией и просто отмотаю на known good снапшот, в этой точке времени факапов еще не было - и можно попробовать еще раз. Восстановив рабочее окружение за пару минут если результат системной операции типа масс-апгрейда не понравился.
Да, эта трабла есть не у всех. Ну и я в курсе что оно вот так. И умею в тематичные дедупалки на случай если все же надо.
> Этот ваш новомодный btrfs ещё и дефрагментировать надо? 🤦Да так то даже для EXT4 дефраг есть. Просто не особо эффективный, я видел EXT4 которым даже и он не помогал особо. На механике у них все свободное место было фрагментировано в гамно и - что хотите то и делайте.
У сабжа дефраг субъективно несколько эффективнее EXT4'го но тоже не предел мечтаний. На SSD нафиг надо, на механике - ну если сильно забить, и это торенты какие - сами понимаете.
> На SSD нафиг надоА вот это не факт. Когда-то в сети уже поднималась https://www.overclock.net/threads/yes-file-system-fragmentat.../ тема о влиянии фрагментации на скорость работы ssd, где как раз и была показана https://imgur.com/vrdwHTe зависимость скорости линейного чтения от числа фрагментов.
Но позвольте это же ntfs и 9 лет назад. Тогда ещё мамонты по земле ходили.
> Но позвольте это же ntfs и 9 лет назадКакое это имеет значение? ССД с тех пор как-то принципиально изменились? Или может файловые системы с тех пор как-то по особому располагать данные научились (про ZNS И FDP слышал, но они даже в серверном сегменте пока не получили широкого распространения, что уж о бытовых системах говорить)? А у cow-фс (ZFS, BTRFS) так-то дела с фрагментацией обстоят ещё хуже, чем у NTFS...
> ССД с тех пор как-то принципиально изменились?Да вообще кардинально изменились ... Если раньше у нас MLC для кеша вылетали раз в 3-4 года, то теперь новомодных TLC хватает максимум на год.
А нечего по китайским помойкам побираться. Нормальные ssd на tlс памяти помногу лет служат. Вот хранить на них что-то при выключенном питании действительно не стоит, этого они не любят.
> А нечего по китайским помойкам побираться. Нормальные ssd на tlс памяти помногу
> лет служат. Вот хранить на них что-то при выключенном питании действительно
> не стоит, этого они не любят.Добро пожаловать в мир флеша который уже не совсем энергонезависимый - и нуждается в периодической регенерации как DRAM. Тоже по причине утечек заряда.
> А вот это не факт. Когда-то в сети уже поднималась https://www.overclock.net/threads/yes-file-system-fragmentat.../
> тема о влиянии фрагментации на скорость работы ssd, где как раз
> и была показана https://imgur.com/vrdwHTe зависимость скорости линейного чтения от числа
> фрагментов.Не, ну понятно что в целом уменьшение лоскутного одеяла, метаданных и запросов по кусочкам улучшить состояние дел - может. Но не так критично как механике, которая жесточайше обваливается по скорости из-за метаний туда сюда во многие и многие разы.
А шо такого, сидишь такой важный и показываешь начальству. Вот! Дефрагментируроваю, а не балду гоняю.
Главное гуй по-загадошнее нарисовать.
Как только автора BcacheFS выкинули на мороз, а качество его ФС на практике оказалосл далеко от заявленных, так тут-же стали усердно коммитить в Btrfs. Суда по коммитам, скоро RAID5/6 заработает.
Совпадение ли, что тушатся именно наработки из бкэшфс?
Оливеру хотят показать его место?
> Совпадение ли, что тушатся именно наработки из бкэшфс?
> Оливеру хотят показать его место?Немного конкуренции еще никогда и никому не вредило. Не было бы bcache и кто б знает активизировались ли по части RAID эти. Не было бы btrfs - и жрали б мы ZFS с кривым управлением памятью и каким там еще трахом выраванивания размера девайсов, наслаждаясь отвалами при апгрейде кернелей. Не очень прогрессивно, да?
ZFS прекрасен, не гони
на фоне этого вот "а мы гланды научились вырезать, через вот это вот место..." - действительно, прекрасен.Причем научились через 10 лет.
> ZFS прекрасен, не гониУ нас разные понятия о прекрасном. После btrfs'а - пересесть получится разве что на bcachefs, все остальное будет вызывать ощущение что покушал чего-то не того. За счет непотребного управления местом и дико кривых, костыльных операций менеджмента, с кучей неудобных допущений.
>> ZFS прекрасен, не гони
> У нас разные понятия о прекрасном. После btrfs'а - пересесть получится разве
> что на bcachefs, все остальное будет вызывать ощущение что покушал чего-то
> не того. За счет непотребного управления местом и дико кривых, костыльных
> операций менеджмента, с кучей неудобных допущений.Поддержу. Раньше думал, что zfs не хуже, чем btrfs. Но попробовав, понял, насколько там всё плохо.
> Поддержу. Раньше думал, что zfs не хуже, чем btrfs. Но попробовав, понял,
> насколько там всё плохо.Сложное это дело - пересесть из звездолета с бортовыми компьютерами и гипердрайвом обратно в керосиновую ракету, убеждая себя что оно дескать не настолько уж и хуже. Таки - это другой уровень технологий.
Аллокация места девайсов чанками - EPIC WIN на уровне архитектуры. Кент тоже об этом догадался. Чтобы получить те же свойства. Кажется теперь next gen'ы будут делать - так. А вот чтобы не бегать по ларям в поисках нужных дисков и не бодаться с подгоном их размеров и проч, чтобы уметь отманеврировать в любую сторону "as needed" и все такое.
ZFS и прочие - не будут уметь это без достаточно радикальной переделки дисковых структур. А это слишком крутой натяг совы на глобус. Они и куда более простые рефлинки едва сделали, убив на это чуть не 10 лет и все равно жирно профакавшись. А такое... имхо - просто нет.
> Аллокация места девайсов чанкамиПольза от твой "аллокации места чанками" может быть только в случае, когда все диски в массиве имеют разный размер. Вот только кому такое может понадобиться кроме нищуков, отоваривающихся бэушным хламом на авито? Да и то надо будет прикидывать чтобы звёзды сошлись, иначе может получиться как в том твоём примере, когда raid5 на тех же трёх дисках дал мне столько же места, сколько и твой волшебный raid1.
>> Аллокация места девайсов чанками
> Польза от твой "аллокации места чанками" может быть только в случае, когда
> все диски в массиве имеют разный размер. Вот только кому такое
> может понадобиться кроме нищуков, отоваривающихся бэушным хламом на авито?Я думаю что это придется по вкусу - много кому. Ибо отсутствие нужды мумукаться с стоком однотипных девайсов и возможность переиграть конфиг - фичи и бенефиты. Далеко не только для тех. И уже показано что так можно было. Кент, вот, тоже идею усвоил.
У меня дежавю. Я все это уже слышал когда-то. От пафосных энтерпрайз админов правильных *никсов с правильным железом. И где они все теперь? А, ну и вот эти будут там же. С своими удобствами, таймингами операций и постоянной постановкой своих фирм на деньги и время (которое тоже деньги).
> Да и то надо будет прикидывать чтобы звёзды сошлись, иначе может получиться как
> в том твоём примере, когда raid5 на тех же трёх дисках
> дал мне столько же места, сколько и твой волшебный raid1.Угу, только если один из дисков вернет тебе труху - как ты потом будешь определять который из 3 дисков тебе стрындел, если это про обычный RAID? А у ZFS в малусе еще и то что он - внемайнлайн выкидыш, что гарантирует риск факапов при апдейтах. А судя по тому что я на гитхабе Dream Team-а увидел - кажется, риск факапов там далеко не только при апдейтах ядер. То что я увидел - называется совершенно непотребным управлением циклами релизов, а вот с этим не поздравляют.
> Ибо отсутствие нужды мумукаться с стоком однотипных девайсов и возможность переиграть конфиг - фичи и бенефитыНи у ZFS, ни у LVM, ни у mdraid нет никаких ограничений в отношении разнотипных устройств.
> Угу, только если один из дисков вернет тебе труху - как ты потом будешь определять который из 3 дисков тебе стрындел, если это про обычный RAID?
У ZFS с этим всё в порядке. Обычными RAID'ами не пользуюсь.
> А у ZFS в малусе еще и то что он - внемайнлайн выкидыш, что гарантирует риск факапов при апдейтах.
Риск если и есть, то не больший чем с любыми другими ядерными модулями. Я за всё время пользования ZFS ни с каким поломками ни разу не сталкивался. А если вдруг что-то подобное и произойдёт, то на этот случай есть снапшоты.
> То что я увидел - называется совершенно непотребным управлением циклами релизов, а вот с этим не поздравляют.
Парни из ZFS ошиблись один раз, а ущербная от рождения BTRFS пребывает в недоделанном состоянии всю свою жизнь. Тут уже заупокойную петь пора, а не поздравлять.
> Сложное это дело - пересесть из звездолета с бортовыми компьютерами и гипердрайвом обратно в керосиновую ракетуBTRFS это даже не керосиновая ракета, а тот автомобиль из "Ну погоди". Понаприкручивали проволокой и изолентой кучу всего и без какого-либо понимания как оно должно работать. Поэтому закономерно что ничего и не работает.
Тоже надеялся на то, что btrfs - достаточно хорошая fs для конкуренции с zfs. Куда там...
На данный момент, лучше просто нет.
> ZFS с кривым управлением памятьюТак это наоборот - в линуксе кривое управление памятью, а не у ZFS. Поэтому приходится тянуть своё.
> трахом выраванивания размера девайсов
Впервые слышу про необходимость выравнивания девайсов на ZFS. Это на BTRFS вечно надо что-то выравнивать/балансировать/дефрагментировать/проверять/исправлять, а на ZFS просто добавляешь устройство - и оно работает.
> наслаждаясь отвалами при апгрейде кернелей
Какие-то сказки венского леса. Никогда не слышал чтобы у кого-либо отваливались модули ZFS. И почему должны отвалиться именно эти модули, а не какие-то другие? Понаставят себе всяких Kali, а потом у них модули отваливаюся, мамкины хакеры...
>> ZFS с кривым управлением памятью
> Так это наоборот - в линуксе кривое управление памятью, а не унет. (оно там не сильно отличается от солярисного)
> ZFS. Поэтому приходится тянуть своё.
Не поэтому. А вот ровно чтоб не было 2x performance hit вместо 2x boost.
Как ты собрался получить ускорение за счет использования рэйдов, если у тебя память - системная? Вот идет у тебя linear read какими-то кусками. А на устройстве лежат - блоки. А читать меньше блока ... ну можно но только неэффективным образом, читается обычно не блок а целая группа. Ок. У нас шесть устройств. Мы можем заодно прочитать и еще следущих пять таких групп в ТОТ же квант, они на разных дисках и читаются одновременно (опустим беду с контроллерами, вдруг их у тебя тоже шесть). А КУДА мы их читать-то будем?! Программа-то еще до них не добралась, она предыдущее чтение заказала и ждет. Праааавильна - в prefetch cache! И он не может быть системным слепым block cache, иначе мы его мгновенно мусором забьем и хрен чего оттуда потом достанешь, все вымоется. Нам нужен кэш о котором знает фс. И нам неплохо бы иметь какую-то ручку чтобы система была о нем в курсе, но это было можно только в солярисе - потому что там над альтернативно одаренными "хозяевами" кода стоял менеджер с лопатой, и больно бил по горбам за отказ работать.>> наслаждаясь отвалами при апгрейде кернелей
> Какие-то сказки венского леса. Никогда не слышал чтобы у кого-либо отваливались модули
> ZFS. И почему должны отвалиться именно эти модули, а не какие-топотому что нормальные люди как поставили вендорское ведро, так и живут с ним, необходимое вендор сбэкпортит сам (а ненормальным стоило бы понимать что делают и уметь, да, да, попатчить свой кде, раз уж взялись лезть туда про что божок-с-пальцем сказал - "в вашем дистрибутиве!")
А так - да, могут сломать в очередном "next", потому что "А чтобы им не мешать - мы не договаривались!", разработчики ведра *намеренно* гадят окружающим.
> Как ты собрался получить ускорение за счет использования рэйдов, если у тебя память - системная?А ты точно понимаешь для чего придумали рейды? Они для отказоустойчивости, а не для ускорения. Хотя вот в будущей версии ZFS обещают чуть ли не трёхкратное ускорение за счёт DIRECT I/O...
>> Как ты собрался получить ускорение за счет использования рэйдов, если у тебя память - системная?
> А ты точно понимаешь для чего придумали рейды? Они для отказоустойчивости, апойди расскажи это netapp, hitachi, ib...len..тьфу..этим лучше не надо.
> не для ускорения. Хотя вот в будущей версии ZFS обещают чуть
> ли не трёхкратное ускорение за счёт DIRECT I/O...ничего что дырект йойо нужно в единичных случаях для которых вообще не очень нужна zfs, и вообще фс? (т.е. это способ что-то сделать в обход нее)
> это способ что-то сделать в обход нееНет, это способ что-то сделать в обход ARC. Учи матчасть.
> это способ что-то сделать в обход ARC.Его можно отключить.
>> это способ что-то сделать в обход нее
> Нет, это способ что-то сделать в обход ARC. Учи матчасть.в ext4, xfs и даже бырбырфесе нет никакого arc. А O_DIRECT в open - есть. Иди учи матчасть.
Вот поэтому они и быстрее в несколько раз на современных накопителях чем ZFS.
вот же неугомонный сказочник. Показатели достигли потолка, с которого и были первоначально взяты.Ты уже, смотрю, даже не заморачиваешься правдоподобием несомой тобой чуши.
Просто оставлю это здесь:https://github.com/openzfs/zfs/pull/10018
https://www.phoronix.com/news/OpenZFS-DirectIO-PerformanceИди колупай отваливающиеся модули на своей Kali, файловые системы это не твоё.
Матчасть, я смотрю, так и не изучена?
Ну так зачем ты наоставлял здесь то, чего не понимаешь даже?Повторяю: direct io существует даже в распрекрасной ext2. Без всякого arc.
Нужен - примерно никогда. Единичные исключения для очень специфического софта которому больше было бы пользы от просто raw раздела без всякой fs, но у авторов лапки.
>Нужен - примерно никогда.Ну, здрасьте. А как же СУБД типа Oracle? Вовсю рекомендуют включать direct io. А вот Postgress не умеет в direct io. До сих пор.
Ну вот это и есть печально известные неосиляторы raw devices. Им не нужна fs - но они ниасилили поддерживать собственную примитивную замену (понятно что им там нафиг не нужен ни позикс, ни сложные иерархии, просто несколько файлов - т.е. каких-то маркированных областей диска, и файловый кэш тоже не нужен, оно лучше знает что и как ему кэшировать)
Нишмагли. Точнее, сдулись - ранние, до восьмерки, использовали и (но не на линуксах) даже требовали для крупных инстансов именно raw partitions. А потом у них стали лапки и порт этого добра на линукс (с его очень странными, надо сказать, block devs, которые на самом деле char) нипалучилася.Пришлось изобретать разные костыли для обхода части сервиса фс, а потом заставлять всех разработчиков фс за собой эти костыли носить - а они не всегда заставляются, говорят что иди-ка ты орацл лесом, видь-ка там чудо.
Ему не нужны и все другие сервисы предоставляемые фс посовременней фата - ни снапшоты, ни управление томами, ничего вообще, у него там все свое, освященное вековыми традициями.
> А вот Postgress не умеет в direct io.
и возможно в чем-то правы. Т.е. не стоит разработчикам баз данных лезть в системное программирование. Тем более сейчас, когда из-за обилия странных накопителей оно стало очень нетривиальным.
Т.е. вполне можно пойти обратным путем, переложив заботу о целостности данных и восстановлении после сбоев - на фс. Она это умеет. Заодно с кэшированием и прочими фокусами.
Не уверен, конечно, что сумеет поцгрез.
Эксперименты с innodb в свое время давали странные результаты (теоретически - отключение ненужных буферизаций, double write и прочих кринжовых фич времен ext2 при наличии ZiL должно было давать ту же надежность при много меньших накладных расходах. Практика показала что, по крайней мере в тех, десятилетней давности, версиях - так нельзя. Но вполне возможно что это банально баги в том либо в другом. И даже возможно давно уже исправленные.)
Орацл еще с давних времен, когда трава была зеленее советовал юзать raw девайс.
>А ты точно понимаешь для чего придумали рейды? Они для отказоустойчивости, а не для ускоренияну вот у меня полно raid0 на nvme расскажи же мне про отказоустойчивость, а не скорость.
> raid0Это не RAID - избыточный(!) массив, это маркетинговый буллшит
Да пожалуйста. "RAID" переводится как "Избыточный Массив Независимых Дисков" (Redundant Array of Independent Disks). RAID-0 никакой избыточности не обеспечивает, а потому raid'ом не является. Рейдом такую схему объединения дисков называют лишь условно, по инерции, да и то лишь потому что raid0 используется совместно с другими типами рейдов для создания более сложных схем (raid10, raid50, raid100 и т.п.)
Классика жанра ...
Как же так Марьиианвна?!?! ( | ) - есть, а слова нет?!?!;-D
В данном случае именно так и есть. RAID -- Redundant Array of Independent Disks. Ключевое слово -- "Redundant" -- "Избыточный". А RAID0 не только не обладает таким свойством как избыточность, но избыточность такого массива даже отрицательна, если можно так выразиться. Надёжность такого массива даже ниже, чем у входящего в его состав одиночного диска, причём ровно во столько раз, сколько в массиве дисков. Если у тебя RAID0 из 4-х дисков, то и надёжность такого "рейда" будет в 4 раза ниже чем у одного диска.
> Да пожалуйста. "RAID" переводится как "Избыточный Массив Независимых Дисков"ога, а я ещё застал времена когда писали "redundant array of inexpensive disks"
прикинь да, а я дорогие использую, значит тоже не рейд )))
> Как ты собрался получить ускорение за счет использования рэйдов, если у тебя
> память - системная? Вот идет у тебя linear read какими-то кусками.
> А на устройстве лежат - блоки. А читать меньше блока ...А в чем собссно проблема - interleaved запросы к девайсам раскидывать?! Единственное что для этого надо - чтобы оно было явно aware, что можно вынуть с 2 разных девайсов. И только.
Это не про управление памятью как таковое - это про понимание что сие 1 и та же ФС, и что это 1 и те же данные, и 2 запроса на разные девайсы - идентичны по результату. Btrfs как видим имеет достаточно контроля над происходящим чтобы иметь такие возможности, используя при этом штатное управление ядра.
> хрен чего оттуда потом достанешь, все вымоется. Нам нужен кэш о
> котором знает фс. И нам неплохо бы иметь какую-то ручку чтобы
> система была о нем в курсе,Или, как вариант - ФС может просто информировать ядро какие блоки она хотела, делая interleave сама не особо тупо. Почему нет? Но да, это катит для ФС которая явно aware о своем лэйауте, вон то месиво типа XFS @ RAID под ним этим знанием не обладает by design. Абстракция такая.
> потому что нормальные люди как поставили вендорское ведро, так и живут с
> ним, необходимое вендор сбэкпортит сам (Это как раз зачотный выбор для "двое из ларца". Как как, грите, хозяин велел замесить и нарубить? :)
>> Как ты собрался получить ускорение за счет использования рэйдов, если у тебя
>> память - системная? Вот идет у тебя linear read какими-то кусками.
>> А на устройстве лежат - блоки. А читать меньше блока ...
> А в чем собссно проблема - interleaved запросы к девайсам раскидывать?! ЕдинственноеКакие еще interleaved? У тебя программа читает линейно. Кусками, чтоб в память влезло. Кусок прожевала, проглотила - пришла за следующим. В случае нормальных а не линуксных поделок - он вот он, уже в памяти лежит, потому что о нем позаботился prefetch. И еще двенадцать следующих. (И да, это так работает, мы это проверяли в свое время.)
А прочитались они все - когда появился запрос на первый - потому что оно почти бесплатно, в отличие от чтения по кусочкам.
> Какие еще interleaved? У тебя программа читает линейно. Кусками, чтоб в память
> влезло. Кусок прожевала, проглотила - пришла за следующим.Ну вон там и сделали - если у программы аппетит хороший, может на оба девайса запросы и отправить, по очереди. Вон там размер настраивается больше какого запроса врубать эту логику.
Не панацея - но работать будет.
> В случае нормальных а не линуксных поделок - он вот он, уже в памяти лежит,
Самое прикольное с пантеоном и чуваками на нем - если удалось к ним причапать, вместо попрошайничества на их задворках.
> потому что о нем позаботился prefetch. И еще двенадцать следующих.
> (И да, это так работает, мы это проверяли в свое время.)Я без понятия что вы и где проверяли - телепаты в отпуске. А ворклоады разные бывают.
>> ZFS с кривым управлением памятью
> Так это наоборот - в линуксе кривое управление памятью, а не у
> ZFS. Поэтому приходится тянуть своё.Вообще-то оно там такое - потому что у саней в их ос вообще нифига не было. И пришлось втянуть в ZFS половину фич ОС. Они ж изначально для себя это делали и вываливать остальным не планировали, а у них - вот так.
>> трахом выраванивания размера девайсов
> Впервые слышу про необходимость выравнивания девайсов на ZFS.Если не выравнивать - потери места будут. И нафиг надо, соответственно. Т.е. если у меня условно есть 2 винча x 2 тераьайта + 1 x 4 терабайта - ну и сколько RAID1 будет? На вон том будет 4 терабайта как делать нефиг. Вот прям из этих трех. Удачи так в вашем офигенном по менеджменту ZFS.
> Это на BTRFS вечно надо что-то выравнивать/балансировать/дефрагментировать
> /проверять/исправлять, а на ZFS просто добавляешь устройство - и оно работает.Угу. Даже просто зацепить фс - фиг. Надо какой-то "импорт пула". Фиг знает зачем. Просто лишняя операция во имя луны. А собрать вон тот конфиг на нем как я понимаю совсем нельзя - из-за педального управления местом в стиле блочных райдов.
>> наслаждаясь отвалами при апгрейде кернелей
> Какие-то сказки венского леса. Никогда не слышал чтобы у кого-либо отваливались модулиА я встречал минимум 2 человек которые на это налетели. И конечно теперь они куда прохладнее к этой штуке относятся. Один, кстати, руководитель жирного IT департамента на горе этого крапа.
> ZFS. И почему должны отвалиться именно эти модули, а не какие-то
> другие? Понаставят себе всяких Kali, а потом у них модули отваливаюся,
> мамкины хакеры...Угу, передам вон тому руководиле департамента что он с его кали не котируется. Хотя не, тратить время этого чела на опеннетчиков... ну... разве что если мы решим посмеяться над ZFSниками с их маркетинговым булшитом на пару.
> Т.е. если у меня условно есть 2 винча x 2 тераьайта + 1 x 4 терабайта - ну и сколько RAID1 будет? На вон том будет 4 терабайта как делать нефиг. Вот прям из этих трех. Удачи так в вашем офигенном по менеджменту ZFSВот жеж сказочник неугомонный... Тебя переклинило на 3-х дисках? Что мешает в дополнение к имеющтимся 3-м дискам докупить ещё один и собрать нормальный raid10? И на кой ляд мне твой мутировавший raid10 (raid 1E), если я на тех же 3-х дисках могу собрать нормальный raidz1 и получить те же самые 4 ТБ?
> Вот жеж сказочник неугомонный... Тебя переклинило на 3-х дисках? Что мешает в
> дополнение к имеющтимся 3-м дискам докупить ещё один и собрать нормальныйМешает нежелание наслаждаться таким менеджментом ФС, когда диктуют что я "должен" куда-то переться, что-то докупать и прочий брейнфак. Когда показано что можно и без всего этого brain damage просто зацепить что было и получить плюс-минус (total size / 2) места.
Ничерта я таким не должен. А вот осиновый кол в такие решения и практики я с удовольствием заколочу.
> если я на тех же 3-х дисках могу собрать нормальный raidz1
> и получить те же самые 4 ТБ?Угу, угу, тут уже господа рассказали как у zfs все круто с переконфигурацией всего этого. Btrfs к счастью значительно круче в этом аспекте. И не делает мозг "пойдите, докупите". Это неудобное допущение, оно должно умереть.
> господа рассказали как у zfs все круто с переконфигурацией всего этогоНе знаю что и какие господа тебе рассказали, но в действительности переконфигурация -- преобразование рейда одного типа в другой (ты же это имел в виду, да?) -- не сказать что очень уж необходима, ибо ничего кроме риска потери данных не даёт. Что касается возможности расширения массива, то в ZFS это уже, можно сказать, тоже есть. Только зачем всё это тебе нужно, если ты всё равно собрался сидеть на 3-х дисках до конца жизни? :)
>> господа рассказали как у zfs все круто с переконфигурацией всего этого
> Не знаю что и какие господа тебе рассказали, но в действительности переконфигурация
> -- преобразование рейда одного типа в другой (ты же это имел
> в виду, да?) -- не сказать что очень уж необходима,Нет, я имел в виду что в btrfs можно переиграть на ходу - почти все мыслимые аспекты. И формате RAID, и размеры, и число девайсов и в ту и другую сторону. И размеры девайсов в разумных пределах пофиг - из-за аллокации места чанками, и креативного подхода к критерию "должно быть 2 копии на разных девайсах".
И как правило это все просто (1-2 команды), быстро (ворочается только реально аллоцированое и есть backrefs чтобы знать чье это), и благодаря CoW - относительно безопасно, ибо in place дестроя не производится, а сам дизайн 100% ок с смесью разных типов чанков и даже возможен "мягкий" рестрайп когда то что было - в старой схеме, а новые записи - в новой.
Это просто другой уровень управления конфигурацией, свободным местом и проч, намного меньше делающий мозг. В ZFS этого в нормальном виде, имхо, не будет никогда. Его для этого слишком сильно перефигачить надо. Это тот случай когда оно должно быть на уровне архитектуры продумано. Мэйсон, вот, смог. Не зря архитектом называется.
> ибо ничего кроме риска потери данных не даёт.
Это на ваших педальных технологиях с сыкотными методами рестрайпа - риски. А вон то даже смесь уровней нормально переживает. Я како-то случайно проверил - пнул ЭТО на не особо ценной штуке, и тут упс, питание того. Ну оно потом - до финиша прекрасно доехало. Энное время пожило с 2 разными схемами хранения, в btrfs это ОК. Оно могло бы в крейсерском режиме так пахать, назначая разную избыточность разным файлам - если б кто-то расперся аллокатору и менелдменту всего этого логику приниятия решений и конфигурации накодить.
> Что касается возможности расширения массива, то в ZFS это уже, можно сказать,
Ну да, керосиновая ракета тоже в принципе на орбите повисеть - может. Но вон та штука с гипердрайвом намекает что уровень технологий в деталях разный. И все что вы можете - рассказывать что "вход в гиперпространство - не очень то и хотелось", и вообще, "может размазать на молекулы". Даже если это и правда, то что? Без этого вообще вон туда - не попадешь.
> тоже есть. Только зачем всё это тебе нужно, если ты всё равно собрался сидеть
> на 3-х дисках до конца жизни? :)Чтобы без гемора добавлять-расширять-убавлять это все, переиграв схему хранения если кажется что в изменившихся реалиях лучше будет - вон то. А вы там тряситесь как кощеи рассказывая что это стремные операции. Стремные они - у вас. Потому что нормально cow'ом и дизайном фс видимо - не подперты. И это фэйл.
> Это на ваших педальных технологиях с сыкотными методами рестрайпа - рискиНе, ну это комедия просто... Уважаемый, ты прежде чем рассуждать о рисках сделай сначала работающие raid5/6 и научи свою систему загружаться в degraded состоянии )) Конечно нет никаких рисков, когда изначально ничего не работает, а потому этим и не пользуется никто :)
> Не, ну это комедия просто... Уважаемый, ты прежде чем рассуждать о рисках
> сделай сначала работающие raid5/6 и научи свою систему загружаться в degraded
> состоянии ))Сейчас бы ZFSником у которых после апдейта ФС вообще никак не цепляется новым ядром про это все вещать. А комедия - это хорошо, ибо хорошо смеется тот кто смеется последним. И мы посмотрим кто в этой роли будет.
> Конечно нет никаких рисков, когда изначально ничего не работает,
> а потому этим и не пользуется никто :)Кроме штук размером с фэйсбук. А у вас наверное немеряный прод и 3 миллиарда юзеров, чтобы им нос утереть? Или... ?
> Сейчас бы ZFSником у которых после апдейта ФС вообще никак не цепляется новым ядром про это все вещать.У всех цепляется, у тебя не цепляется. Может стоит что-то в консерватории подправить?
> 2 винча x 2 тераьайта + 1 x 4 терабайта - ну и сколько RAID1 будет?И в чем проблема? Первые 2 страйпом в одно устройство на 4 тб, который затем в зеркало с натуральным 4 тб. Но эти выкрутасы не от большого ума, а от мало денег. Если денег таки нет, то правильней объеденить 3 по 2 тб в raidz (который по устойчивости эквивалентет франкенштейну свыше), а оставшиеся 2 тб на последнем заныкать под что-то другое. Если денег есть, то брать еще один диск на 4тб и объединять в схему суммирования двух зеркал.
>> 2 винча x 2 тераьайта + 1 x 4 терабайта - ну и сколько RAID1 будет?
> И в чем проблема? Первые 2 страйпом в одно устройство на 4
> тб, который затем в зеркало с натуральным 4 тб. Но эти
> выкрутасы не от большого ума, а от мало денег.В btrfs нет никаких выкрутасов, и деньги тут не при чем. Это просто удобный и логичный менеджмент, просто делаем btrfs device add <что у нас было> - и весь менеджмент.
Я за такой менеджмент. Когда можно просто подоткнуть что есть, без беготни по ларям и брейнфаков, и все в разумных пределах - работает. Парой простых, быстрых команд.
> Если денег таки нет, то правильней объеденить 3 по 2 тб в raidz
> (который по устойчивости эквивалентет франкенштейну свыше), а оставшиеся 2 тб на
> последнем заныкать под что-то другое. Если денег есть, то брать еще
> один диск на 4тб и объединять в схему суммирования двух зеркал.Вам правильнее? Вот ВЫ этим брейнфаком и занимайтесь. Вместе со своими "если" и доисторическим управлением местом и трахом мозга как именно там что выравнять и проч. А в btrfs этот трах во многом спихан на машину и аллокатор. Им пофиг - они железные. В отличие от меня.
Если "я нажала и не знаю как оно само там что-то сделало" - это удобно, ну тогда да. Непонятно, зачем тогда прокладка в виде воина опеннета.
Если же сохранность данных важнее чем "удобный менеджмент", то лучше полностью разбираться в том, что происходит после твоих действий, тогда и удивления вида "зачем еще и импорт пула?" пройдут быстрее.
> Если "я нажала и не знаю как оно само там что-то сделало"
> - это удобно, ну тогда да. Непонятно, зачем тогда прокладка в
> виде воина опеннета.Чтобы команды вводить. Машина должна работать, а человек - думать. Не, костылить лимиты допотопных пещерных технологий маппинга 1:1 - это не "думать". Это бессмысленные и беспощадные ритуалы, ставящие окружающих на время, деньги и удобство.
> Если же сохранность данных важнее чем "удобный менеджмент", то лучше полностью разбираться
> в том, что происходит после твоих действий, тогда и удивления вида
> "зачем еще и импорт пула?" пройдут быстрее.У меня все нормуль с сохранностью данных на btrfs. Такая вот ерунда. При том у меня его довольно много. И даже в довольно странных конфигах.
А весь этот FUD имени ZFS... выглядит забавно, глядя как те кадры рефлинки релизнули. Перепутав пользаков этой штуки с лабораторными морскими свинками. Мол, а как тестить фичу - если не активировать ее по дефолту?! Это я понимаю - практики релизов супернадежной ФС парящейся о сохранности данных. Ни добавить ни отнять.
> трахом мозга как именно там что выравнять и прочТак оно и у ZFS выравнивается автоматически... и у LVM, и у mdadm... Я даже больше скажу -- такого термина применительно к рейдам вообще не существует. Нормальные люди под "выравниванием" понимают выравние разделов на диске для правильного соответствия между физическими и логическими адресами, и то такой проблемы давно уже нет, потому что практически все существующие утилиты для работы с файловыми системами давно научились делать это автоматически. А проблему с каким-то выравниванием дисков при создании рейд-массивов ты сам придумал. Кроме тебя никто с такой проблемой больше не сталкивался.
>> трахом мозга как именно там что выравнять и проч
> Так оно и у ZFS выравнивается автоматически... и у LVM, и у mdadm...Только место теряет при этом - и соответственно нифига не бесплатно по сравнению с вон теми.
> Я даже больше скажу -- такого термина применительно к рейдам
> вообще не существует. Нормальные люди под "выравниванием" понимают выравние разделов на
> диске для правильного соответствия между физическими и логическими адресами, и то
> такой проблемы давно уже нет, потому что практически все существующие утилиты
> для работы с файловыми системами давно научились делать это автоматически. А
> проблему с каким-то выравниванием дисков при создании рейд-массивов ты сам придумал.
> Кроме тебя никто с такой проблемой больше не сталкивался.Ну да, ну да, сам не понимаю - чего Кент тоже механику с buckets развернул (примерно то же самое по смыслу) вместо всего вашего "беспроблемного" миндфака, который ни сконвертить в другую схему без ломовых рисков, ни расширить/убавить по человечески - например подтыканием 1 девайса - и надо делать мозги именно ограничениями схемы.
Т.е. btrfs - с RAID1, RAID5, etc - можно расширить добавив _один_ девайс. И это возымеет эффект. А вон то барахло...
> Только место теряет при этомНе больше чем на btrfs.
> сконвертить в другую схему без ломовых рисков
> сконвертить
> без ломовых рисков
> btrfs без ломовых рисковРжу в голосину )))
> ни расширить/убавить по человечески - например подтыканием 1 девайса
Да легко. Следи за руками: zfs add/remove rpool /dev/sdx
> btrfs - с RAID1, RAID5, etc - можно расширить добавив _один_ девайс
Уже 5-й релиз-кандидат на подходе, так что не долго тебе кукарекать осталось ;)
Вполне отваливается, если это Fedora например.
> наслаждаясь отвалами при апгрейде кернелейКрасиво тогда получилось - ага :-)
Ещё во фрюхе компиляция (не помню какого) пакета вылетала :-D
но пока что они за десять лет научились в парал...ой, нет, не научились. Научились в "балансировку" какую-то вместо параллельного чтения raid1.Ждите, ждите, вам непременно подвезут и raid6. Только данные на нем по прежнему хранить не стоит.
Ну хватит ныть. Ты бы уже предложил бы что-то дельное.
Я Я Я предложу !!! Купите netapp !!! Ну или плохой путь - дораду.
> Я Я Я предложу !!! Купите netapp !!! Ну или плохой путь - дораду.Спасиб, предложение облобызать корпоративные ботинки - это очень ценно. Но некоторым из нас хочется как раз чтобы все это делать было - не надо, и технологии были - у нас, а не у них.
> Спасиб, предложение облобызать корпоративные ботинки - это очень ценно. Но некоторым из
> нас хочется как раз чтобы все это делать было - не надо, и технологии были - у нас, а не у них.У вас ничего нет. Ты вот тут уже трижды целовал задницу мордокниге (это конечно куда круче чем нетапу-то, причем тот-то хоть за твои деньги - тебя обслуживает, а не тебя же и продаст).
Да и rhbm, оплачивающей твоего клоуна с пальцем, ни на каком языке уже двадцать лет не программирующего.А сам ты ничегошеньки исправить - не можешь. Вон выкатили на лопате аж почти работающий (неточно) raid1, а ты-то тут причем, у тебя-то что своего есть?
> У вас ничего нет.В смысле - нет? А вон те сотни инстансов btrfs'а - мой глюк? Да, я таки деплойнул это на некоторые выводки одноплатников. Это было улучшение.
> Ты вот тут уже трижды целовал задницу мордокниге
Сказать спасибо за общедоступную технологию - это еще не оно.
> (это конечно куда круче чем нетапу-то,
Вообще-то да. Btrfs с схемой DUP на вон те одноплатники неплозо зашел. Стоило мне $0. Прелесть General Purpose FS в чем-то таком и состоит. А чего мне твой нетапп предложит, на условиях не хуже, в эту тему? А, там за цену 1 железки можно - половину глобуса одноплатниками завалить? Ну, э, лол! :)
> деньги - тебя обслуживает, а не тебя же и продаст).
Боюсь что для вон той обслуги с столь кастомными запросами - мне даже продажа почек не поможет. Энтерпрайз переростки лично мне по жизни - не интересны. Я выбрал себе другое поле. Btrfs и на нем - игрок.
> Да и rhbm, оплачивающей твоего клоуна с пальцем,
...worksforme :), в отличие от еще более жалких позеров, вендорлокеров и неумех.
> А сам ты ничегошеньки исправить - не можешь.
Wrong. Я как раз гоняю валидацию этого добра на -RC и пару раз успешно зарубал попадание интересных плюх в релиз. Зато, в отличие от ZFSников - релизы, как раз, не профаченые :P. Да, я в вполне усвоил что в опенсорсе в моде - самообслуживание. Однако к моим услугам - помощь крутейшего зала.
>> У вас ничего нет.
> В смысле - нет? А вон те сотни инстансов btrfs'а - мойты опять начал вилять. У тебя ТВОЕГО в этих сотнях инсталлов - ровно ничего, все - дядино. Ровно как было бы если бы ты вместо этого использовал ntfs (как миллионы чужих инсталлов делают вполне успешно уже 30 лет). Гордиться своей причастностью тебе совершенно не с чего. Как и веровать что что-то там тебе принадлежит, а не будет завтра выброшено решением 6ожка с пальцем.
>> Ты вот тут уже трижды целовал задницу мордокниге
> Сказать спасибо за общедоступную технологию - это еще не оно.ntfs вполне общедоступна. Не забудь сказать спасибо сам знаешь кому.
> ...worksforme
ну так это и есть целование оппы вендора. А вовсе не повод для гордости.
> в отличие от еще более жалких позеров, вендорлокеров и неумех.
в чем отличие-то - works for me, и, между прочим - гарантировано будет. И неумеха тут только ты (я не ленюсь в очередной раз напомнить что ты не умеешь даже пользоваться инструментами для разработчиков ядра)
>> А сам ты ничегошеньки исправить - не можешь.
> Wrong. Я как раз гоняю валидацию этого добра на -RC и паругде тут про сам исправить?
Работаешь на дядю пре-альфа-тестером забесплатно? Ну гордись дальше.
> ты опять начал вилять. У тебя ТВОЕГО в этих сотнях инсталлов -
> ровно ничего, все - дядино.1) Это все _у меня_ в моих конфигах.
2) Таки, мы пахали, я и трактор - и моего там - тестирование интеграции и борьба с всплывающими в -RC факапами.Поэтому релизы btrfs (и майнлайна вообще) для меня - работают несколько лучше чем офигенные релизы тех красав на головы вон тех гентушников. И таки это не случается само по себе, качественные релизы не растут на деревьях.
Так что это тот случай когда дяди и я объединили усилия - потому что результат нам нужен обоим. И я имею наглость полагать что релизы btrfs стали получаться лучше чем тот булшит с рефлинками у вон тех, у которых "а как же тогда тестировать?"
P.S. идея тестировать фичи прямо на головах энтерпрайзадминов находит мое теплое понимание. Релизы которые вы заслужили.
> Ровно как было бы если бы ты вместо этого использовал ntfs
1) Масдайка не работает на одноплатниках а в лине это мучение.
2) Единственный бэд в MFT жестко завалит его с фаталити, DUP оно ж не умеет.
3) Майкрософту я и мои кейсы пофиг ибо 1) и 2) они никак не адресуют. И как они на фидбэк реагируют я видел. Имел возможность сравнить, спасибо.> (как миллионы чужих инсталлов делают вполне успешно уже 30 лет).
Ага, при том несколько из этого миллиона я отскребал хомам от асфальта. В смысле конечно не фс в нефиксабельном виде - а хотя-бы данные. И как бсод на битом томе сплошняком от винтукея до десятки - я тоже видел. Не, софт с таким качеством и таким оперативным фиксом багов мне ни к чему. Себе оставь.
> Гордиться своей причастностью тебе совершенно не с чего.
Вообще-то я и с btrfs'ной тимой поработал пару раз над всплывшими у меня факапами (в основном от рефакторов оного на новые апи). Весьма понравилось. А заодно спасло эн других тушек от профаченого релиза.
Для ZFS подобные работы я никогда не буду ворочать. Просто потому что это внемайнлайновый выкидыш, не заточенный на мои сценарии. Так что +100% к сложности, -50% к результату. Хреновые соотношения -> это шоу идет без меня.
> Как и веровать что что-то там тебе принадлежит, а не будет завтра выброшено
> решением 6ожка с пальцем.Кроме божка с пальцем, есть, например, LTS релизы ядер. Сделав нечто "сегодня" - я до 2030 года смогу думать как мне маневрировать в ответ на те или иные вызовы. За 5+ лет я что-нибудь совершенно точно придумаю.
>> Сказать спасибо за общедоступную технологию - это еще не оно.
> ntfs вполне общедоступна. Не забудь сказать спасибо сам знаешь кому.Я рад за них но там нет чексум, нет реакции на факап чтения, рутфс на этом вообще раскладывать изврат, fsck нет, да и нафиг fsck в автономных применениях где двуногих нет чтобы кнопы жать.
Так что с твоим "офигенным" советом - я потом буду дурацкие развалы кривой НЕХ разгребать. Без предупреждений заранее ором на чексумы. Оно мне надо? Сам и говори им спасибо если оно тебе надо. У меня нет томов в NTFS -> нет поводов.
>> ...worksforme
> ну так это и есть целование оппы вендора. А вовсе не повод для гордости.Которого из вендоров то? Нельзя ли уточнить? Не, редхат к btrfs вообще никак не относится. Конечно их Joseph Bacik тоже смыслся от них btrfs фигачить, только он не @redhat.com теперь, небольшой нюанс. А мне какая разница как @what он там назван, что так Bacik с характерным скилом, что сяк.
А ты можешь кушать - толи XFS от нонейм брахмапутр, толи ZFS от офигенных релизеров тестирующих рефлинки прям в релизе, на пользаках. Я пешочком постою без таких релизов и технологий. Мне это так - не надо.
>> в отличие от еще более жалких позеров, вендорлокеров и неумех.
> в чем отличие-то - works for me, и, между прочим - гарантировано будет.Что им гарантировано будет? Факап какой-нибудь, за кучу денег? Очень ценное приобретение.
> И неумеха тут только ты (я не ленюсь в очередной раз напомнить что ты не умеешь
> даже пользоваться инструментами для разработчиков ядра)Я так "не умею пользоваться инструментами" - что решил все известные мне системные проблемы вокруг конфиг как-то связанных со мной. Для меня критерий - это.
>> Wrong. Я как раз гоняю валидацию этого добра на -RC и пару
> где тут про сам исправить?Ты же понимаешь что если я просто приду к чувакам сказав что у меня в подполе что-то стучит, мои шансы дождаться фиксов - в районе плинтуса. Эффективное аннулирование багов требует несколько более радикальные и эффективные меры. Видимо - вот тут.
Впрочем мне даже и не обязательно самому чинить какой-нибудь mm/ например, достаточно показать автору комита где и с чем он профакался. Он сам починит в общем случае - лучше. Сказав спасибо - ибо одно дело ловить неведомый стук в подполе, и совсем другое если тебе подогнали репродусер, бисект, и вообще показали что воооот тут происходит вооооот это. В больших проектах есть много путей. А ты этого так и не понял, у тебя мышление джуна.
> Работаешь на дядю пре-альфа-тестером забесплатно? Ну гордись дальше.
Эти дяди на меня работают взамен. Вплоть до впрягания в фиксы лично моих траблов. Выглядит (взаимо)выгодно, учитывая что я технологию взял в оборот, задеплоил, и потому шкурно заинтересован чтобы релизы были качественными и не ломали актуальные мне конфиги.
А например внемайнлайн +100 к ЛИЧНО МОЕМУ гемору сразу... и как ты уже понял, в этом месте я циничный прагматик, и - жестко минимизирую ЭТО.
>> ты опять начал вилять. У тебя ТВОЕГО в этих сотнях инсталлов -
>> ровно ничего, все - дядино.
> 1) Это все _у меня_ в моих конфигах.конфиги ты и от windows nt мог бы хранить точно так же.
> Таки, мы пахали
молодец, теперь тебе ни вершков, ни корешков не причитается, все - дядино.
Захочет дядя - и завтра твой конфиг станет тыквой, потому что может. Ты на этот процесс повлиять не можешь никак. Что еще тебе неясно в отличии твоего фетиша от ненавистного энтерпрайза?> есть, например, LTS релизы ядер
а lts железо у тебя для них - есть?
И опять же - чем это лучше той же zfs о которой ты рассказываешь глупые страшилки? Есть даже не lts, а просто поддерживаемые ей релизы, длииииинный список (вдруг у тебя там драйвер который только в этой версии работает а дальше нинуна выпилить-выпилить). Они и будут дальше поддерживаться - еще лет десять. Им это не слишком дорого стоит - они-то умеют в переносимый код а не шта6ле нонсенсы.> Я так "не умею пользоваться инструментами" - что решил все известные мне системные проблемы
> вокруг конфиг как-то связанных со мной.для меня это критерий твоего неумения ни в какие сложные системы.
Героически победил целый локалхост. (что там было побеждать, и зачем пользовать такое что даже на локалхосте проблема - это к тебе вопросы)> Ты же понимаешь что если я просто приду к чувакам сказав что у меня в подполе что-то стучит,
> мои шансы дождаться фиксов - в районе плинтуса.мои соболезнования. Я вот пришел к чувакам с ntfsом и сказал что вот тут у них что-то странное получается. Получил в ответ фикс - они свой код знают и понимают, где надо искать эту проблему (это ж не бырбрыр в котором никто не разбирается и десять лет не могут починить raid).
А если бы не получил - пользоваться этим бы уж точно не стал.> Эти дяди на меня работают взамен.
эти дяди работают не на тебя, дурашка. Они на чужих дядей работают, за зарплату, и если те завтра скажут сломать в своих интересах что-то от чего ты зависишь, потому что ИМ надо по другому - твои жалобные писки никто не услышит.
Более того - могут и просто "потому что могут", а не потому что им так велели сделать.Они всего лишь любезно позволили тебе подбирать упавшее с их стола, пока оно им не нужно.
> Спасиб, предложение облобызать корпоративные ботинки - это очень ценно. Но некоторым из нас хочется как раз чтобы все это делать было - не надо, и технологии были - у нас, а не у них.- Опять весна и я опять хочу в Париж!
-- О! А вы уже бывали в Париже?
- Нет... уже хотела
Не облизывающий - давай линки на твои коммиты, да хоть чего-то что ТЫ САМ СДЕЛАЛ!
Жалостные посты на опеннет - увы не считаются :)
да ничего оно не сделало, кроме обмена секретным кодом с другим таким же васяном посредством пересылки гитовых блобов голубиной почтой. (нетрудно догадаться о впечатляющем количестве пользователей такого проекта)Судя по его писанине - там квалификации ровно ноль.
Причем он даже не в курсе инструментов, используемых в kernel dev. Потому что никакого отношения к нему не имеет.
> да ничего оно не сделало, кроме обмена секретным кодом с другим таким
> же васяном посредством пересылки гитовых блобов голубиной почтой. (нетрудно догадаться
> о впечатляющем количестве пользователей такого проекта)
> Судя по его писанине - там квалификации ровно ноль.Вот тут вы все же несколько неправы. Впрочем - спорить с экспертом уровня пох застрявшим в своем 2010 у меня нет ни времени ни желания. Предоставим времени быть судьей. И посмотрим какие технологии где будут. Я делаю ставку на тех - и впрягаюсь в их благо (потому что после такого выбора - это синоним и моего блага заодно). А тебе удачи с твоими NTFS, ZFS и прочими проприетарными юниксами и бсд, раз все это отфигенно для тебя работает. Для меня - будет офигенно работать вон то. Я уж постараюсь.
> Причем он даже не в курсе инструментов, используемых в kernel dev.
> Потому что никакого отношения к нему не имеет.Ты всегда ставил ритуалы и сферические знания в вакууме на первое место. А я ставлю на него - достижение результата. Небольшое отличие. А что, посмотрим какая из парадигм лучше работает в диком виде в реальном мире? :)
> Я Я Я предложу !!! Купите netapp !!! Ну или плохой путьпоставьте zfs. Пусть хоть под линуксом.
Поправил, не благодари.
Да, внезапно, это у нас лучшие из худших. При определенных поправках на ветер пользоваться для хранения ценных данных - можно.
> Да, внезапно, это у нас лучшие из худших.thumb_up.jpg
:)
PS: Но всё же аж до Старого Нового Года буду держать дули за опальную bcachefs... а вдруг Санта тоже из наших и закодит?!? ;-)
А толку? Чтобы получилось что-то чем правда можно пользоваться не на локалхосте - надо подождать еще лет пять (тем более при единственном разработчике, а не команде).Столько не живут.
А на локалхосте layered storage... ну такое себе. Чиа майнить? Так немодно ж уже...
А что не так с качеством BcacheFS?
> А что не так с качеством BcacheFS?Да в принципе то он работает - но багов в нем так то - намного больше. Можешь рассылку почитать, там как раз syzbot сейчас лютует. Его прикрутили недавно - так что Кенту будет чем заняться на скамейке запасных.
автор летает снаружи всех измерений и матюкается на окружающих вместо работы
Торвальдс не является автором BcacheFS.
Поэтому бкешфс скоро выкинут из ядра по причине отсутствия разработчика.
>так тут-же стали усердно коммитить в BtrfsОни бы занялись своей сервисной утилиткой btrfs-progs. А то в критических ситуациях она просто заявлвяет, что на разделе BTRFS не найдена. Сам становился жертвой такой ситуации.
>>так тут-же стали усердно коммитить в Btrfs
> Они бы занялись своей сервисной утилиткой btrfs-progs. А то в критических ситуациях
> она просто заявлвяет, что на разделе BTRFS не найдена. Сам становился
> жертвой такой ситуации.Если у вас супер слетел - используйте запасный супера, какие проблемы?!
Не нашла ни одного!
> Не нашла ни одного!Ну так где цитаты поюзаных команд и их выхлоп, чтоли? Предлагается угадать что вы там делали, и характер проблем - путем телепатии чтоли?
ИМХО пруфкопипасты - or GTFO. Если подгоните копипасты с фэйлом можно будет подумать чего кто делал, в чем факап, и что с этим можно делать.
Нормальная диагностика ессно включает в себя кусок dmesg с попыткой маунта, и выхлоп утилит. Без этого - разговор ни о чем.
Это было летом 2023. Вот специально тогда подумал, чтобы для тебя это на будущее сохранить.
> Они бы занялись своей сервисной утилиткой btrfs-progs. А то в критических ситуациях
> она просто заявлвяет, что на разделе BTRFS не найдена. Сам становилсянет ножек - нет варенья!
Bcachefs - даже с названием проблемы, не говоря уже обо всем остальном...
И да, это ответ на незаданный вопрос, почему zfs блочная и не надеется на системные кэши - есть тут один любитель верещать."ее покровители могут ... расстроиться", если полка ценой как крыло от боинга вдруг начнет читаться со скоростью одного диска.
> И да, это ответ на незаданный вопрос, почему zfs блочная и не надеется на
> системные кэши - есть тут один любитель верещать.
> "ее покровители могут ... расстроиться", если полка ценой как крыло от боинга
> вдруг начнет читаться со скоростью одного диска.Что самое интересное - я не понимаю как из одного всенепременно следует другое. А покровители таки - доиграются. Отсутствие интеграции с майнлайном - весьма годная мина замедленного действия.
> Отсутствие интеграции с майнлайном - весьма годная мина замедленного действияТак от этого наоборот одни только плюсы. Никто над тобой не стоит и не командует как и что тебе надо делать. Сам себе хозяин. И нет страха что какая-нибудь истеричка выгонит тебя только потому, что встала не с той ноги.
>> Отсутствие интеграции с майнлайном - весьма годная мина замедленного действия
> Так от этого наоборот одни только плюсы. Никто над тобой не стоит
> и не командует как и что тебе надо делать. Сам себе хозяин.
> И нет страха что какая-нибудь истеричка выгонит тебя только потому,
> что встала не с той ноги.Ух, да, только так получается что вот тут цирк уехал - а вот эти вот - остались. И поскольку они не трекали плотно все рефакторы вокруг файлух - нате на лопате, хотя не, нате прям лопатой по лицу. Когда оно там вообще не загружается например. Специальный бонус если это система была. А, да, представляете - там снапшоты нужнее всего!
А то что покусаные энтерпрайзом файлопомоеччники с своими полками клали на это все - так они весьма нишевой и маргинальный кейс, на котором мир не заканчивается. Половина этих "крутых админов" потом сидит на нтфсике, и переставляет системку по полдня. Сапожник без сапог - но в шляпе.
так как с фряхой у меня не задалось, то лично мне интересно попробовать получить root on btrfs, чтобы можно было делать снапшоты для отката. в таком кастрированном применении эта фс должна же сработать, да?
OpenSUSE "из каробки" делает то что тебе нужно.
Превращает данные в мусор.
> Превращает данные в мусор.При том в основном у тех кто ее даже на картинке не видел. Такой вот пространственно-временной парадокс опеннета.
Кажется это именно тот случай когда принято говорить "завидуйте уж молча, господа".
> При том в основном у тех кто ее даже на картинке не
> видел. Такой вот пространственно-временной парадокс опеннета.да нет, я и на форумах достаточно насмотрелся на посты-репорты "у меня все пропало!!!". но root на btrfs нормально. пропадет - и ладно, главное, чтобы основные данные не пострадали.
>> При том в основном у тех кто ее даже на картинке не
>> видел. Такой вот пространственно-временной парадокс опеннета.
> да нет, я и на форумах достаточно насмотрелся на посты-репорты "у меня все пропало!!!".Таких постов можно на что угодно найти. Недавно был целый всплеск такого, у юзерей ВНЕЗАПНО разлетались самые разные ФС (я в основном видел XFS и EXT4). Никто не понимал что за нафиг, но какой-то btrfs'ник в конце концов заметил что вгруз нвидийского драйвера ведет в ору "csum error" а при выгрузе - ор пропадает.
Т.е. нвидийские дрова - рушили RAM. Чексумы порой замечают даже и такой подарок, что и демаскирует злодея. И таки паре юзерей на виду fsck после ЭТОГО - доfsck'ил их EXT4 совсем. Они как раз очень удивлялись - как же так?! Видимо хорошо память рущило а дамп VRAM как метаданные фс не очень хорошо работает.
> но root на btrfs нормально. пропадет - и ладно,
> главное, чтобы основные данные не пострадали.Ну как бы бэкапы - штука полезная. Но если не делать чего-то откровенно дурацкого типа попыток глюкавить на откровенном кривом железе - или - вот - юзать драйверы рушащий RAM - то оно в общем то работает себе. У них в доках неплохо расписано про факапы железа и вообще. Да, с чексумами можно узнать много нового :)
> так как с фряхой у меня не задалось, то лично мне интересно
> попробовать получить root on btrfs, чтобы можно было делать снапшоты для
> отката. в таком кастрированном применении эта фс должна же сработать, да?Работает себе. Чего б ей не. На минималках - при использовании штук типа GRUB - этим можно даже загрузиться в вооон тот снапшот. Откатив факап по сути одним бутлоадером аж.
ZFS он тоже в принципе читать умеет, но во первых хз как там с снапшотами, а во вторых если zfs'а вообще не цепляет энный кернел из-за нестыковок по версиям VS ядро - это все же довольно несподручно.
не, ZFS на root нельзя, т.к. модули собираются DKMS, а для этого должно быть уже чтение fs. а что даже из бутлодера можно, я не подумал.да, минимальный варинт лучше всего. совершенно нет смысла использовать btrfs со всякими subvolums или как это называется. /var/log вынести на отдельный раздел, а с /tmp просто на отдельный раздел неэффективно, т.к. может занимать и ноль и гигабайты. видимо, симлинками после загрузки нужно что-то сделать.
zfs root в линуксе прекрасно возможен и работает. И нет, модули совершенно необязательно собирать именно dkms. Их вообще собирать необязательно.
(и перечитав последнюю прекрасную неновость - добавляю - и она автоматически загрузится без ручного вмешательства даже если в raid1 сдохнет один из дисков, без всяких вытанцовываний с ручным оверрайдом груба)
> zfs root в линуксе прекрасно возможен и работает. И нет, модули совершенно
> необязательно собирать именно dkms. Их вообще собирать необязательно.драйвера-то в ядре нет. о чем ты пишешь-то.
> не, ZFS на root нельзя,Проксмокс живет себе на root-on-zfs и не жужжит.
> не, ZFS на root нельзя, т.к. модули собираются DKMS, а для этого
> должно быть уже чтение fs.Я не знаю как это обыгрывают, может initrd? Системными перверсиями типа dkms я не занимаюсь.
> а что даже из бутлодера можно, я не подумал.
А так то прикольно. Даже если сразу не было предусмотрено, grub умеет читать subvol-ы (снапшоты btrfs тоже оно). Техниески, subvol "дира на стероидах". Точка входа в cow-иерархию с независимым снапшотированием.
Накрайняк придется покомандовать немного, чего откуда грузануть и какой subvol рутфс, есть и упрощалки добавляющие снапшоты в менюшки grub. Я понимаю технологию достаточно чтобы фигачить в direct mode без них.
У меня так: есть "уровень выше /" - в котором лежат снапшоты (subvols). Их парочка цепляется как текущий / и /home. Сам менеджмент снапшотов "на 1 уровень выше /" - его не видно текущей копии оси, если явно не монтировать дефолтную верхушку ФС без указания subvol=<what>. Идея не моя, первой убунта доперла. Понравилось, спер идею.
> да, минимальный варинт лучше всего. совершенно нет смысла использовать btrfs со всякими
> subvolums или как это называется.Subvolumes всего лишь - супер-директории, независимое cow-дерево. Их даже стиреть можно миднайтом или чем там при желании вместо утилс менеджмента, если хочется. Совершенно не страшная штука. Снапшоты - тоже subvolumes. Subvolume может быть чьим-то снапшотом, а может и не быть.
> /var/log вынести на отдельный раздел,
Я б в отдельный subvol выпихнул. И то, нужно ли - вопрос. Можно ворочать "system state" как _полной_ абстракцией. Т.е. - откат вместе с логами, считать ВСЕ это "system state". Как на виртуалке. Я привык в энтерпрайзах ворочать VM и оперировать "полным состоянием системы" и мне так удобнее, но можно и иначе. Исключение - хомяк, живеь с своими снапшотами. Ибо если я хотел откатить system - я мог и не иметь в виду "user data" вместе с моими проектами за неделю. Разбиение на 2 части позволяет гибкость в этом аспекте.
Например, уровень на 1 выше / может содержать (сабволы)
@system (цепляется как /)
@home (цепляется как /home)
@system-2024-12 (снапшот системы)
@system-2024-11 (снапшот системы)
@home-2024-12 (снапшот хомяка)
@home-2024-11 (снапшот хомяка)Уровнем ниже ос видит только / и /home - это цепляется как mount ... subvol=@system или mount ... subvol=@home. И поэтому по дефолту вообще случайно снести снапшоты - ну вот нет. Даже rm -rf не знает сам по себе о "на 1 уровень выше". Вон тот уровень при нормальном курсе действий как раз маунтить и не стоит, сохраннее будет.
А "откат снапшота" совсем мануально - это грубо говоря:
mv @system @system-old
mv @system-2024-12 @system
rebootПри ребуте mount ... subvol=@system подхватит ессно уже того, переименованого. Он ессно будет юзаться на запись.
Если нужно сохранить @system-2024-12 неизменным, можно или readonly его оформить, либо
mv @system @system-old
btrfs subvolume snapshot @system-2024-12 @system
rebootИ весь менеджмент системы, снапшотов и откат :). Если вы рулили виртуалками с снапшотами - или смотрели sci-fi где есть множественные версии будушего, то это просто и логично, это именно оно.
Заметьте: в примере старый @system не снесен. Можно потом изучать что сдохло.
На вид @system-2024-12 и @system независимы. Реально - большая часть блоков совпадает и это 2 референса на 1 набор блоков. Если не звереть с числом снапшотов - это просто и шустро, и места жрет только на "дельту".
> а с /tmp просто на отдельный раздел неэффективно, т.к. может занимать и
> ноль и гигабайты. видимо, симлинками после загрузки нужно что-то сделать.Рефлинки как абстракция веселее: cow претендует что оно независимые иерархии, а реально блоки реюзаются, покуда совпадают. Можно отращивать несколько состояний системы, место жрет только дельта.
Это иной подход к управлению системой, не обязательно аврально разруливать факап здесь и сейчас. Можно, вот, переименовать убитое состояние ос, зацепить нормальное, а потом неспешно разобраться с убитым, зацепив его сбоку. Если хочется. Или там сделать btrfs send оного в виртуалку и в более живом виде изучить, или чего там. Это так, то что "звездолеты" могут. Но ессно никто не обязывает так делать.
И что прикольно - можно и на ходу большую часть этого переиграть. Очень мало что выбито в камне. Можно передумать и сделать - потом.
> А "откат снапшота" совсем мануально - это грубо говоря:
> mv @system @system-old
> mv @system-2024-12 @system
> rebootНу и архаика, кошмар... В ZFS это делается одной командой: zfs rollback @system-2024-12. Как говорится, почувствуйте разницу.
> Ну и архаика, кошмар... В ZFS это делается одной командой: zfs rollbackну только ты забыл его предупредить, что в этом случае все его собственные изменения тоже превратились в тыкву. В предложенном траходроме с mv их можно потом посмотреть и вытащить поштучно.
Не то чтоб каждый день было надо (чаще полезней откатить вместе с самой системой) и не то чтоб нельзя было в zfs, но команд будет больше одной, потому что там снапшот не fs (и это очень правильно, потому что срез состояния отдельно, фс - отдельно, и ничего нельзя случайно перепутать и испортить необратимо. У бырбрфесе просто нет настоящих снапшотов - это на самом деле не снапшоты а новая фс, точная копия старой).
>> Ну и архаика, кошмар... В ZFS это делается одной командой: zfs rollback
> ну только ты забыл его предупредить, что в этом случае все его
> собственные изменения тоже превратились в тыкву. В предложенном траходроме с mv
> их можно потом посмотреть и вытащить поштучно.Да, я просто в восторге от идеи про#$%ть месяцок рисования печаток в каде. Заодно и желающие меня линчевать в очередь выстроятся. Вот уж мегафича.
Заметь - там для начала сплит на "system" и "userdata". Можно откатить только что-нибудь одно, если хочется. Такое комбо не _обязано_ гарантированно работать: скажем, старая версия программы в system при старом system может и взбрыкнуть на несокместимый новый конфиг из более нового юзерского хомяка.
...но в этом случае - можно таки - сделать как ты и сказал. Т.е. адресно вынуть конфиг проги из снапшота старой версии. При том все это - обычным миднайтом, таки замаунтив "уровень на 1 выше /" - и - вот - порулив.
> Не то чтоб каждый день было надо (чаще полезней откатить вместе с
> самой системой)Откат system и userdata одновременно ессно гарантированнее по результату. Но, увы, есть нюансы в виде возможного профака рабочих проектов и тому подобным ништякам.
> и не то чтоб нельзя было в zfs, но команд будет больше одной, потому что там
> снапшот не fs (и это очень правильно, потому что срез состояния отдельно, фс - отдельно,В btrfs снапшот - не ФС, а энной cow-иерархии. И де факто это такие "рефлинки на стероидах". Т.е. в дизайне изначально была возможность мультиреференса экстентов. Это дает на уровень менеджмента разные ипостаси, как - вот - subvols снапшотируемые всем чихом, так и возможность рефлинкануть пару файлов без выноса это на слой менеджмента, чисто для эффетивности.
Т.е. рефлинк 5 виртуалок с темплейта - это не "os management" а трюк для скорости и эффективности и ему незачем отсвечивать в уровень менеджмента. Это ничего не означает кроме того что я хотел поднять 5 VM со скоростью света, скипнув копирование цатигиговых дисков.
ZFS тоже пришел к этому - но через страдания и слезы, много лет, и даже так - профачился. В этом месте можно поспорить за удачность выбора абстракций, имхо. Кент содрал логику примерно в том же виде - а не из ZFS почему-то. Странно. Да, он уже зная проблемы - переделал наиболее слабые места дизайна, конечно.
> и ничего нельзя случайно перепутать и испортить необратимо. У бырбрфесе просто
> нет настоящих снапшотов - это на самом деле не снапшоты а
> новая фс, точная копия старой).И опять не угадал. Это всего лишь мультиреференс на экстенты. Энный экстент живет пока на него есть 1 или более референсов, если их стало 0 за ним придет GC при случае. Так просто и банально. По мере расхождения cow дописывает изменения в сторонку и апдейтит метаданные это отражать.
Сабвол с снапшотом - не копия, а лишь +1 референс на вооон те экстенты, что запрещает GC подгребать экстенты даже если вон там они стали не нужны. Это основа cow механики btrfs, по своему элегантно. Навесить +1 референс просто, быстро, ничем не грозит.
Точность копии - выбираема. Есть r/o snapshots, есть writable. То-есть, можно активно отращивать несколько таймлайнов, с разными "головами" - если ваш мозг готов к такой "шизе" у системы с параллельной эволюцией.
А бонусом - снапшотом-сабволом можно делать.... примерно то, что в винде VSS делал. Только в 100500 раз быстрее, эффективнее, и без диких клинов системы и тому подобных спецэффектов, ога!
> Да, я просто в восторге от идеи про#$%ть месяцок рисования печаток в каде.Так выдели под свои труды отдельный датасет и откатывай только то что нужно. В чём проблема? Поражают люди, которые ZFS в глаза не видели, но мнение имеют.
> ну только ты забыл его предупредить, что в этом случае все его собственные изменения тоже превратились в тыкву.Если тебе нужно сохранить изменения, то никто не мешает сделать ещё один снимок.
>> А "откат снапшота" совсем мануально - это грубо говоря:
>> mv @system @system-old
>> mv @system-2024-12 @system
>> reboot
> Ну и архаика, кошмар... В ZFS это делается одной командой: zfs rollbackЭто все круто но совсем не адресует...
1) Что я могу хотеть прихранить то состояние и потом в фоне посмотреть - а чего оно так?
2) А оно мне и мои месяц рисования в CAD тоже, извините, откатит? Вау, как круто и удобно! :)
> @system-2024-12. Как говорится, почувствуйте разницу.Ога. У убунты, вот, хватило ума - разобрать на составляющие: "system" и "user data". А операции с сабволами-снапшотами можно делать как просто файловые операции, кроме "sub snap" (subvolume snapshot). Да, вон то можно и стереть файловыми операциями.
При этом зная истинный лэйаут "top level" - вон там и grub'ом потом "если что" можно загрузиться в снапшот без особых проблем. Вплоть до того что сказать ему взять kernel из какого-нибудь /@system-2024-11/boot/vmlinuz... и потом маунт ОС как ... subvol=@system-2024-11 например. И вот уже - вуаля - прочитан кернель из снапшота системы. В виде когда все еще работало. Может так и с ZFS можно - но тут ваща очередь показать как grub пилотировать до такого состояния. Смогете?
Прикиньте, можно и прям из GRUB передумать во что грузиться. Есть даже скрипты-хелперы которые могут (например после инсталла ядра пакетником) так менюхи grub генерять - чтоб самому не печатать кастомные комады grub'а.
С subvolumes я уже наше проблему https://www.opennet.me/openforum/vsluhforumID3/135585.html#130если /tmp - subvolume, то в снапшоте слетают права с этой директории и при загрузки с этого снапшота в /tmp не удается писать.
> На минималках - при использовании штук типа GRUB - этим можно даже загрузиться в вооон тот снапшот.Да, нашел проект grub-btrfs. Отвык уже от этого ручного колхоза после фряхи:( Но да, работает.
Не понятна роль subvolume set-default, если grub все равно оперирует block id диска, а не block id томов btrfs.
c /tmp только что-то надо изобретать. после снапшотинга на /tmp слетают права, если это отдельный subvolume.так что, как я и написал выше, проще сделать симлинк /tmp на обычную fs и использовать btrfs только в самой упрощенной конфигурации.
>> На минималках - при использовании штук типа GRUB - этим можно даже загрузиться в вооон тот снапшот.
> Да, нашел проект grub-btrfs. Отвык уже от этого ручного колхоза после фряхи:(
> Но да, работает.Мне это пригодилось на ос (не моей) где так не было предусмотрено - и оно вообще не юзало ТУ структуру сабволов. На мое счастье там был btrfs и у меня хватило ума сделать снапшот ДО потуг жирного апгрейда - который - ых, ых, ых, не совсем прокатил.
После ребута вылезли жирные проблемы, и инструктирование grub просто вгрузить ядро, инитрд и рутфс из снапшота было самым простым, бысрым и радикальным вариантом из доступных, это эффективнее копания в полудохлой системе. Правда, я понимаю как Linux грузится и как btrfs сделан.
> Не понятна роль subvolume set-default, если grub все равно оперирует block id
> диска, а не block id томов btrfs.Определяет "дефолтный" вид фс - при монтировании без явного указания subvol=<what>. При желании можно собрать некую довольно странную структуру.
Как по мне удобно не трогать это и раскинуть в дефолтном "уровень менеджмента", "на уровень выше /" - сделав subvol системы/хомяка/прочего - и их снапшоты рядом. Но это не единственный возможный способ, он лишь частный случай более мощной абстракции.
> сделав subvol системы/хомяка/прочегоя уже так попробовал /tmp сделать. права слетают:( глюковатая btrfs.
# btrfs subvolume list /
ID 256 gen 13616 top level 5 path @rootfs
ID 260 gen 10116 top level 256 path snapshots
ID 264 gen 13616 top level 256 path tmp# ls -ld /tmp
drwxrwxrwt 1 root root 0 Dec 19 11:54 /tmp# ./snapshot.sh
# ls -ld /snapshots/20241219_1112/tmp
drwxr-xr-x 1 root root 0 Dec 19 11:55 /snapshots/20241219_1112/tmp
Её же вроде выбросили из ядра, недавно даже новость была. Передумали что ли?
ядро не равно кастратищу голубого гиганта, выкинули из шапки, в которой опять мастерят костыль из lvm+xfs
Так у них полная экспертиза по этому "костылю" + обязательства по поддержке перед клиентами.
Кому поддержка те юзают RAIDIX и Hyper FS
А разве RAIDIX не развалился на две половинки ?
Они поддержку в скрепной стране ещё осуществляют ?
Вы, должно быть, не в теме заключая слово "костыль" в кавычки в обсуждении btrfs. Ознакомьтесь, пожалуйста, с документацией к продукту.
Оно ещё живо что ли, это бтрфс? Его же вроде закопали уже все.
Кексперты опеннета только. А сама ФС жива, работает и вообще про них не в курсе.
Жива и работает там, где комп с ней вообще не включают.
Фейсбуку это расскажи.
Это рейзерфс закопали. Хотя эти фс все на одно лицо.
> Оно ещё живо что ли, это бтрфс? Его же вроде закопали уже все.Она четверть глобуса у мордокниги обслуживает. Чтоб меня так "закопали" по королевски!
>> Оно ещё живо что ли, это бтрфс? Его же вроде закопали уже все.
> Она четверть глобуса у мордокниги обслуживает. Чтоб меня так "закопали" по королевски!Мордокниге пофиг на твои данные. А у гугля вон до аж 2011го года весь глобус обслуживала ext2. (и ему не пофиг на ТВОИ данные) И заменена была на такую странную ext4, что тоже, хм...
Так что срочно ставь ext2, гугль круче мордокниги (и он действительно круче, потому что кое-что сам делал в области систем хранения)
> Мордокниге пофиг на твои данные.Правильно, поэтому часть кейсов тестируется мной, и я впрягаюсь в решение проблем если вон те это еще не сделали. Такова жизнь. А btrfs хорош тем что там можно то что я хотел. А fb мне интересны - вытаптыванием поляны в основной площади кода ФС.
> А у гугля вон до аж 2011го года весь глобус обслуживала ext2. (и ему не пофиг на ТВОИ
> данные) И заменена была на такую странную ext4, что тоже, хм...Ух да, но канительно самому распределенную мегаструктуру как у гугла собирать - навешивающую слои избыточности и selfheal - оверлеем. А без этого всего - гугл из тебя мягко говоря не получится.
Если вон то звездолеты, то это - сфера Дайсона. В сфере дайсона отдельному кубику не надо быть крутым звездолетом, ему надо быть простым, массовым и дешевым. То что он сам по себе печален компенсируется - на более высоком уровне струтуры, глобальной логикой. Но летать таким маршрутом если у тебя всей сферы нет - нафиг надо. Ибо оператору базы пофиг на пару кубиков с камнями и тушками неудачников сбившихся с курса.
И одноплатник потом с такой штуки не особо загрузишь - ну не для этого оно. Так что оно круто и эпично. Но таки - в своей нише. И без остальной мегаструктуры - это совсем другой опыт. Экспериенс кучи булыжников в транспортном контейнере с моторчиком - ну такое себе. Там даже жизнеобеспечения нет, но можно тусить весь маршрут в скафандре, во! Если конечно не про@#$ут контейнер мимо базы. Ext2 самому по себе на данные, как бы это...
> Так что срочно ставь ext2, гугль круче мордокниги (и он действительно круче,
> потому что кое-что сам делал в области систем хранения)Увы, увы, там есть нюансы. Не general purpose решение от слова вообще. И без остального оверлея - вообще ни о чем.
> Она четверть глобуса у мордокниги обслуживает.Мордокнига знает, какие части btrfs можно использовать. Откуда знает? У них работает создатель btrfs. А у остальных не работает. btrfs RAID1 они, кстати, не используют.
> We've been focusing on the single-drive use cases internally - https://www.spinics.net/lists/linux-btrfs/msg62315.html
Мне что-то подсказывает (с учетом обоих двух опенсорсеных мордокнигой прожектов, ни один из которых даже не компилируется) - она нихрена не знает, а просто надувает щеки. Так инвесторы несут больше денег.Mon, 23 Jan 2017 18:18:09 -0500
We've been focusing on the single-drive use cases internally. This year that's changing as we ramp up more users in different places. Performance/stability work and raid5/6 are the top of my list right now.
В с-ка блжд - 2017м году оно у него было "top of list", результата - ноль.
Вот такой вот офигенный уровень у "создателя" (не совсем, но причастного к) этого недоразумения.
Неисключено даже, что его поделку давно вынесли с основных серверов, но опять же инвесторам эта информация не очень полезна, а глупые фанаты продолжают транслировать лапшу со своих ушей.
В принципе, то что я знаю о внутренней кухне мордокниги - говорит о том что хорошие разработчики в эту помойку не пойдут никогда в жизни. Они паталогически, феноменально жадны, и условия работы там по современным меркам совершенно неконкурентные. Так что ничего удивительного.
Так погодите... Это что же получается, у BTRFS не только RAID5/RAID6 нерабочие, но и RAID1? А что ещё в ней работает неправильно? Огласите весь список, пожалуйста!
Зачем тебе список, просто не пользуйся. Снапшотики ещё никого до добра не доводили, побаловался и хватит.
> Снапшотики ещё никого до добра не доводилиКакие могут быть проблемы от снапшотиков?
> Так погодите... Это что же получается, у BTRFS не только RAID5/RAID6 нерабочие,
> но и RAID1? А что ещё в ней работает неправильно? Огласите
> весь список, пожалуйста!бжад, давайте хотя бы список что точно работает (мне что-то подсказывает, что он будет короче)
> А что ещё в ней работает неправильно? Огласите весь список, пожалуйста!Была статья-обзор в 2021[1].
Осторожно, в сообществе btrfs на критику обычно отвечают, что с тех пор уже всё исправили. Отвечают, не читая. А btrfs до сих пор автоматически не монтируется в degraded-состоянии[2]. То есть умирает диск в RAID1, ты однажды перезагружаешь компьютер и получаешь сюрприз. Или не сюрприз, если внимательно читал устаревшую неверную критику.
[1] https://arstechnica.com/gadgets/2021/09/examining-btrfs-linu...
[2] https://www.reddit.com/r/btrfs/comments/1h2rrav/is_raid1_pos...
Что-то я подозреваю, что это вообще не функция файловой системы - реализовывать RAID.
по непонятной причине хитрецы со времён начала продвижения zfs на рынок называют программную схд с raid, lvm, iscsi, nfs, cifs — фс. Будто это должно принести больше денег.
> Что-то я подозреваю, что это вообще не функция файловой системы - реализовывать RAID.В виде когда оно интегрировано с ФС как и btrfs или bcachefs - оно намного проще рулится и приобретает новые свойства. Как то - намного меньше запар по части размеров девайсов, их добавления только парами или по сколько там, и проч.
В этих 2 можно грубо говоря подоткнуть девайс, получить +N места с этого - и весь "менеджмент".
> В этих 2 можно грубо говоря подоткнуть девайс, получить +N места с этого - и весь "менеджмент".И в чём тут новизна, если на ZFS точно так же, буквально одной командой, можно подоткнуть девайс и получить +N места?
Новое свойство: RAID10 гарантированно теряет данные при отказе двух дисков.
Новое свойство: микроменеджмент запрещён (типа "внешний радиус HDD быстрее внутреннего").Не, новые свойства лучше не пытаться искать, а вот эффективность очевидна. Например, в слоёном пироге dm-integrity имеет один журнал, md raid второй журнал, а ext4 третий журнал. Почему одна и та же работа делается 3 раза? Только потому что слои не знают друг о друге.
Более 6 лет уже(точно не помню, но 5 лет назад менял комп и тащил это зеркало со старого), в компе вертятся два HDD по 2ТБ, в btrfs raid1 c дупликацией данных и метаданных. Разделов на диске нет, полностью под данными, лежат загрузки, торрент помойка, игры..