Джозеф Бацик (Josef Bacik), мэйнтейнер и активный разработчик файловой системы Btrfs, не согласился с критикой надёжности Btrfs, высказанной Кентом Оверстритом (Kent Overstreet), автором Bcachefs. Джозеф отметил что ФС Btrfs работает достаточно хорошо, чтобы сэкономить компании Meta миллиарды долларов затрат на инфраструктуру. По словам Джозефа, инфраструктура Meta построена полностью на Btrfs, и компания существенно экономит, благодаря надёжности и функциональности данной ФС (например, применение встроенных возможностей сжатия и дедупликации позволяет использовать меньше накопителей)...Подробнее: https://www.opennet.me/opennews/art.shtml?num=63704
Чем zfs не угодил, так и не раскрыли
> Чем zfs не угодил, так и не раскрылиОригинальны лицухой не вышел.
А то что переделали... жалкое поделие по сравнению с оригиналом.
> А то что переделали... жалкое поделие по сравнению с оригиналом.Часто это заявление вижу, но никогда не вижу конкретики — что именно не работает и как.
Секта zfs она такая.
> Чем zfs не угодил, так и не раскрылитам разработчики так дешево не продаются (подозреваю что мете они не продаются вообще ни за какие деньги)
> там разработчики так дешево не продаются (подозреваю что мете они не продаются
> вообще ни за какие деньги)Да это их проблемы. Пусть пицей торгуют если им так прикольнее. Потому что сан - все.
Этот вопрос просто не ставили.
Слишком много планок памяти требуется.
> Чем zfs не угодил, так и не раскрылиТем что...
1) "Сам по себе" без подпора сотнями RAM довольно тормозной.
2) Не в майнлайне.
3) Многодисковые убер-хранилки фэйсбуку как раз и не требуются. AFAIK большая часть конфиг у FB однодисковые.Зачем им ZFS?
Скоростью не угодила. На больших nvme массивах в сотни терабайт zfs тротлит пс и иопс на порядки. И при этом пожирает терабайты оперативки и сотни ядер.
Вот ровно этим и не угодила.На hdd наверное куда не шло, но на стореджах в десятки петабайт начинаются те же проблемы, что и с nvme.
На мелких стореджах скорость есть, но оверхед неприемлемый по процу памяти.
а там разве не всякие распределеннные фс нужны? Или сабж просто нижний слой под них и на нем дешевле посжимать данные типа?
Может и используют zfs.
Про использования btrfs мы знаем только со слов авторабезполезной ФС, которого поперли отовсюду. А для фейсбука он слишком мелкий чтоб выходить с заявлениями что он полную херню несет.
Присоединяюсь. 6 лет в проде на этой ФС.
Присоединяюсь. 4 года живет и продолжает жить, в том числе с отключениями электроэнергии.
/писать про наличие ups, который будет держать 6 часов отсутствия электроэнергии приветствуется (нет).
Присоединяюсь, крайне ненадежная фс, сколько раз пробовал с ней работать но перебои с электричеством она не терпитжаль только данные
С отключенным журналированием никакую fs не восстановишь, журнал это как раз защита от такого, но если не переживаешь и стараешься сразу сохранять то журналом можно и не пользоваться.
а я не говорил что его отключал
> а я не говорил что его отключалТы вообще никогда никаких деталей - не приводил. Только эти сказки венского леса. Которые без конкретной информации - ни о чем. А вот дев из корпы на которой инфра держится - врать не станет, его за приукрас потом юридический отдел линчует так что он не расплатится до праправнуков.
Гениально (нет)! Человека, которому ты ответил, назвал лжецом из-за отсутствия вымышленных доказательств, но человеку из новости ты веришь безоговорочно, хотя доказательств словам так же нет..
> Присоединяюсь, крайне ненадежная фс, сколько раз пробовал с ней работать но перебои
> с электричеством она не терпитПочему-то у корпы обслуживающей этим 2 миллиарда, с ломовым парком серверов - проблем нет, а у каких-то "экспертов" опеннета, кажется, видавших сабж только на картинке - вечно какие-то "проблемы" с ним.
Да, да - у гугля вот "с ломовым парком серверов" - сами сервера десктопное по сути ОЕМное железо запихнутое в стойку и тоже - "никаких проблем нет". Ждем далеко идущих выводов о надежности от ЭКСПЕРТОВ с подкроватным (best-practice!) сервером
> перебои с электричествомДа, давайте эту вашу проблему переложим на разработчиков FS.
Нет, давайте лучше FS не будет решать никакие проблемы пользователя.
> ФС Btrfs работает достаточно хорошо... когда у вас есть инфраструктура как у Meta: с многоуровневой системой бекапов, надежным резервным электроснабжением, запасными стойками и сотнями одминчигов, которые прям сидят и ждут, чтобы бросится подымать упавшее.
А остальным в очередной раз развалившаяся файлуха совсем не упала.
> ... когда у вас есть инфраструктура как у Meta: с многоуровневой системой бекапов,
> надежным резервным электроснабжением, запасными стойками и сотнями одминчиговто возникает резонный вопрос, нахрена козе баян и что у них там не может храниться в банальном fat (полагаю там и фата-то на деле нет а есть примитивный object storage и все остальное где-то отдельно в какой-то монстроидальной базе. И вот про нее-то было б интересно послушать, но мордокнижники не расскажут.)
> А остальным в очередной раз развалившаяся файлуха совсем не упала.
не, ну остальным как раз может со сжатия и дедапа был бы какой прок (если памяти напастись), они-то не фотки котиков хранят, но бырбырфесе далеко не единственное решение и вряд ли хотя бы - хорошее.
> то возникает резонный вопрос, нахрена козе баян и что у них там
> не может храниться в банальном fatНапример базу, которая на 20-м терабайте ФС ломала. Слабо так на FAT?
С индексом дир тоже хрень. Так что и с кучей небольших файлов фигня, и с большими файлами фигня. В FAT также нет сжатия и дедупа. Прикольно в несколько раз больше серверов под хранение купить? Поэтому фэйсбук и увольняет таких советчиков, в отличие от твоего нанимателя. Дорого обходятся.
> отдельно в какой-то монстроидальной базе. И вот про нее-то было б
> интересно послушать, но мордокнижники не расскажут.)Это тебе не гугл, они более классические. Но какие-то монстр базы на 30+ терабайт у них есть.
> не, ну остальным как раз может со сжатия и дедапа был бы
> какой прок (если памяти напастись)На btrfs можно и не жрать гигазы памяти под дедуп делая его офлайн, в периоды наименьшей нагрузки. Есть энное количество дедупалок для этого, а фэйсбук и свою напишет под свою специфику если ему станет надо, что там, полутора адекватных системных програмеров не найдется на всю корпу?
эксперт пришел, спешите видеть.Я тебе страшный тайна открою - котики в жпег и mp4 не сжимаются, и не дедуплицируются, потому что репост ничего и не копирует. И все что нужно мордокниге от файловой системы - куда-то сложить байтики с этими котиками так чтоб их можно было в миллионе мест быстро прочитать. И это про layered кэши и геораспределение а не про дедупликацию. И чем проще и дубовее фс - тем всем только легче.
Никакая posix-подобная метаинфа тоже не нужна потому что хранится отдельно и совершенно отдельная (никаких трех дат одного файла разумеется им не нужно, а вот число лайков очень даже).базы у них, полагаю, сильно побольше каких-то первых десятков терабайт, и, разумеется, тоже не хранятся в какой-то одинокой фс.
А что они хранят на бырбыре - большой-пребольшой секрет. Учитывая болтовню про дедупликацию и сжатие (т.е. это явно не про базы и не про контент) - если она не просто болтовня а хоть какие-то физические корни имеет - можно довольно обоснованно предположить, но ты со своим опытом наколенных флэшек вряд ли сообразишь.
> эксперт пришел, спешите видеть.Ну ты сам это сказал :)
> Я тебе страшный тайна открою - котики в жпег и mp4 не
> сжимаются, и не дедуплицируются, потому что репост ничего и не копирует.Спасибо кэп, но у мордокниги навалом и много чего еще всякого. Аналитика, базы, вполне сжимаемый контент типа текстового спама от хом и наверняка много чего еще.
> не про дедупликацию. И чем проще и дубовее фс - тем
> всем только легче.А таки - вон там и рядом есть несколько довольно жестких мнений что они думают про silent corrupton. А накодить нечто типа big table - где это будет на другом уровне? Не все же такие крутые как гугл. Да и делать это надо было - еще на фазе архитектуры. Гугло с брином такое все ж могло. А цукерберг все ж не настолько крут был. Заметь, за столько лет гугло так никто из #1 в поиске так всерьез и не смог. Ибо хрен ты такое сделаешь не умея в архитектуру. А умеют в нее - очень немногие.
> Никакая posix-подобная метаинфа тоже не нужна
Ну ты дай фэйсбуку мастеркласс. Допустим 3 миллиарда обслужи, на ресурсах меньше. Когда получится - приходи, поделись опытом. А до тех пор я лучше Басика почитаю. Потому что добро над которым он пашет - 2 миллиарда сервирует, в отличие от тебя.
> базы у них, полагаю, сильно побольше каких-то первых десятков терабайт, и, разумеется,
> тоже не хранятся в какой-то одинокой фс.Полагай все что хочешь. А басик вот - популярно обрисовал. И то что у мордокниги большая часть сабжа 1-дисковые тоже не особо секретно. А те терабайты - видимо какаянить аналитика и проч по толпе хом.
> А что они хранят на бырбыре - большой-пребольшой секрет.
Судя по заявлениям басика - почти все. И я плохо представляю себе чтобы кто-то величиной с басика был - гонщиком. Это - нереально, извини. Ему бы за откровенный гон менеджмент хвост накрутил, ибо заявление - вышло в новости.
> про контент) - если она не просто болтовня а хоть какие-то
> физические корни имеет - можно довольно обоснованно предположить, но ты со
> своим опытом наколенных флэшек вряд ли сообразишь.Как ты себе представляешь топового програмера блочнофайлушного в лине - из корпы - попавшего в новости - и при этом врущего? Его за такое юридический отдел размазал бы нахрен. Ибо это сразу дюжина корпоративных полисей нарушена будет.
> Спасибо кэп, но у мордокниги навалом и много чего еще всякого. Аналитика,но в новости об этом - ни полсловечка. И подобные тебе начинают рассказывать про миллиарды котиков, хранимые таким вот образом.
> Ну ты дай фэйсбуку мастеркласс. Допустим 3 миллиарда обслужи, на ресурсах меньше.
ты только что сам подтвердил что все миллиарды там никакого отношения к бырбырам не имеют.
И хранится на ней - ты даже не способен толком угадать, что.> лучше Басика почитаю. Потому что добро над которым он пашет -
> 2 миллиарда сервирует, в отличие от тебя.то над которым он - нет. И вот про эту часть инфры мордокниги известно практически ничего (включая имена разработчиков). А там есть что посмотреть.
> Полагай все что хочешь. А басик вот - популярно обрисовал. И то
> что у мордокниги большая часть сабжа 1-дисковые тоже не особо секретно.а было б тебе чем подумать, ЧТО там на том одном диске... впрочем, куда там.
> Судя по заявлениям басика - почти все. И я плохо представляю себе
судя по заявлениям - непоймичто.
> чтобы кто-то величиной с басика был - гонщиком. Это - нереально,
акции растут, все норм. Главное лишнего не ляпнуть, что можно было бы уже использовать для задавания уточняющих вопросов - "а как это у вас вот такое получается-то, когда должно же ж наоборот?"
> Как ты себе представляешь топового програмера блочнофайлушного в лине - из корпы
> - попавшего в новости - и при этом врущего? Его за"откройте рот...закройте, не вижу патологии, мешающей тоже врать" (ну или скажем так - аккуратно преувеличивать значимость своей технологии, вместо которой на самом деле могла бы быть любая другая, потому что от жизни однодисковой картонки не зависит ровно ничего)
Ох уж мне эти сказки про волшебную инфру от корпов) По факту там может быть какое нибудь жуткое легаси на джава, вспомним что мордокнига это пост 90е, со всеми вытекающими, возможно даже мускул с пхп под капотом. Как какой нибудь амазон и прочее. Чукерберг это не какой нибудь гениальный программист, врятли он написал эффективный оригинальный код, а взял какой нибудь ламп, а его конторка это суть неповоритливая бюрократия. Спасибо если там у них все это на линухе крутится, а не на виндовс сервер.
что значит "возможно"? Мордокнига истово гордится своей наколенной реализацией пехепе.А о "культуре разработки" мордокниги вполне можно судить по их выкинутым на помойку опенсорса поделкам типа "перепиським-перепиським hg на хрусте". Ой, только оно даже не компилируется. Через десять лет (!) выясняем - переписькали - cli. Т.е. две команды похожи на старые. Видимо, чтоб скрипты, в которых уже никто не может разобраться, не менять. А внутри почему-то git вызывается.
Или вот замене модуля к nginx самодельным прокси из дерьма и палок. Тоже выкинуто в опенсорс, и тоже не собирается и не работает. Чувак которого официально (!) назначили писать на основе этого всего работающий веб-сервер - ушел "обдумывать концептуальный дизигн" и с тех пор его больше никто не видел.> Спасибо если там у них все это на линухе крутится
конечно на линухе, бесплатное же ж - взять-взять-взять. Сцукенберг _феноменально_ жадный м-к.
Когда минута простоя может стоить лярд $ оборота, то в таких ситуациях мусорные ФС не ставят.
Тем более, что Meta - это шкварка амерской спецуры.
Миллиарды юзеров сервиса это не хухры мухры)А про "развалившуюся ФС" - так это "заставь дypaka б-гу молиться": судя по работе сервисом Meta - там таких, особо, нет. А значит - смотри в зеркало)
Ой, драма! 2 разработчика ФС (Йозеф Васик и Чувак с другой стороны улицы) хвалят свои болота. Ми-ми-ми.Скучно.
Три, один еще из бкачфс. У бкача те же 3 разраба, два из котрых из бтрфс.
> Ой, драма! 2 разработчика ФС (Йозеф Васик и Чувак с другой стороны
> улицы) хвалят свои болота. Ми-ми-ми.Да просто Чувак с Переулка удумал очередной раз самоутвердиться за чужой счет. И тут это басику надоело и он таки сделал ответный вылет в том же стиле, подравняв счет. И популярно обрисовал что он думает обо всем этом.
Попутно - попал в новости ибо прямо заявил что фэйсбук сэкономил за счет дедупа и сжатия миллиарды с таким то размером инфры.
Басик кстати - бывший редхатчик. Видимо надоело ему XFS гальванизировать и он занялся чем-то более потребным и современным. А заодно поглумился над тему кто думает что в инфре такого размера можно жить с разваливающейся ФС. Мозг все же надо включаить иногда.
И снова телевизоры самсунг признаны лучшими в мире (по мнению инженеров самсунг).А то ведь могут "майнтейнера и главного разработчика" (в рабочее время) и сократить нахрен, когда окажется что никакая дедупликация нахрен не нужна в системах мордокниги и работать там в принципе не могла бы, да и сжимать гифчики и видосики совершенно бесполезно.
Ну ничего, пока вранье про экономию миллиардов долларов (майнтейнер и разработчик же непременно участник бюджетной комиссии и точно знает про мильярды) прокатывает.
P.S. и при этом, заметьте - ноль упоминаний о redundancy и автоисправлениях ошибок. Потому что их у мордокниги и нет.
> Ну ничего, пока вранье про экономию миллиардов долларов (майнтейнер и разработчик же непременно участник бюджетной комиссии и точно знает про мильярды) прокатывает.В крупных конторах нередки всякие "квартальные презентации" от начальства. Нижний и средний менеджмент перед верхним вполне хвастается штуками в духе "вот мы (в смысле инжинегры, но мы про это не скажем) сэкономили вот столько бабла". Рядового разраба на такие презенташки кнутом гонят, поэтому они и грустные такие всё время - сэкономили ярды, а даже пару процентов раз в год повышение зарплаты фиг выпросишь.
А, это верю. В смысле - показатели достигли потолка, с которого и были первоначально взяты.И да, хрен им а не повышение зарплаты, это ж мордокнига. Которая считает что рабы должны прыгать от щастья что их вообще туда наняли.
> бабла". Рядового разраба на такие презенташки кнутом гонят, поэтому они и
> грустные такие всё время - сэкономили ярды, а даже пару процентов
> раз в год повышение зарплаты фиг выпросишь.Я не думаю что в фэйсбуке кого-то кнутом гонят. Это корп культура совсем замшелых мастодонтов и окологосов всяких. А в нормальных фирмах вообще могут выплачивать - по итогам профита с продукта, даже с достаточно прозрачными вычислениями. Мол тут нам надо поделиться с теми крокодилами инвесторами, там расходы столько и столько. А вот остается бонус - ща мы его разделим на всю ораву, спасибо что хорошо поработали, типа!
Очень кстати стимулирует не работать как похи и нахи. Можно и как они - только тогда продукт получится под стать. И ты получишь вместо зарплаты - прописаную в контракте минималку. С голода не умрешь, но планы придется скостить и пойти пиццей торговать будет выглядеть перспективнее. Потому что нахрен такие айтишники и продукты кому.
хахаха. фейсбук нормальная фирма. хахахаха.> А в нормальных фирмах вообще могут выплачивать - по итогам профита с продукта
хахахаха.
развели л-ха. Хрен тебе а не зарплата, будут профиты с продукта (который не ты продаешь и не ты решаешь что в нем и как должно быть) - может быть кто-то из "уважаемых" с тобой поделится. Отличный бизнес план, приходи ко мне на галеру!P.S. мордокнижные хрюши всерьез в списке benefits указываю наличие тренажерки и печенек.
Нормальная фирма, упс.
> хахаха. фейсбук нормальная фирма. хахахаха.Там работают вполне нормальные спецы. Вот, блочнофайлушники редхата и прочих ораклов туды сбегли на отлично. Или Cyan - толковый эксперт по сжатию. Создатель LZ4 и Zstd на минуточку. Алго прекрасно захватили мир - за счет хороших свойств, дав мастеркласс много кому. К btrfs Zstd на отличненько прикрутили. LZ4 не стали, в силу похожести на LZO по свойствам. Я и еще дельных спецов знаю. Скажем inikep, дружок Cyan по сжатию. Это вполне нормальные спецы, чью квалификацию я знаю сам и обойдусь без опеннетовской "экспертизы".
Ты вынешь из кармана фирму с именами круче этих? Ну попробуй. Да, на почве сжатия допустим автыри GPLного WIMLIB - порвали майкрософт на их же поле как с куста. А вот с фэйсбуком такое сделать попробуй?! :D
> развели л-ха. Хрен тебе а не зарплата, будут профиты с продукта (который
> не ты продаешь и не ты решаешь что в нем и как должно быть)Если бы я решал как делать навороченый продукт, я бы отвисал на той минималке. Ибо с чего вдруг у джуна-мидла отрастет офигенный манагераский талант сразу? Совсем лыка не вяжешь?
> - может быть кто-то из "уважаемых" с тобой
> поделится. Отличный бизнес план, приходи ко мне на галеру!Я по тебе и твоим подходам прекрасно вижу какого характера фирма где ты работаешь и как она соотносится с другими. Сюрприз.
> P.S. мордокнижные хрюши всерьез в списке benefits указываю наличие
> тренажерки и печенек.Я думаю что у вон тех - список bebefits здорово побольше. И вообще. Наверное индусики там тоже водятся. Ну не будет же Cyan на первой линии сапорта хом слать в пень и какие там еще факапы за Раджой разгребать.
> Нормальная фирма, упс.Стопудово на 2 головы лучше твоей. Так что если тебе каким-то чудом предложат - не выкабенивайся. Хоть посмотришь как нормальные люди работают и как выглядит относительно адекватный менеджмент.
> Там работают вполне нормальные спецы. Вот, блочнофайлушники редхата и прочих ораклов туды
> сбегли на отлично.то есть ровно те которые на прошлых местах прогадили все полимеры?
Напоминает карьеры советских председателей колхозов.
> Создатель LZ4 и Zstd на минуточку.
напомни, что означают буквы LZ?
> А вот с фэйсбуком такое сделать попробуй?!
это с тем фейсбуком у которого НОЛЬ продуктов используемых вне их собственного тесного кружка?
Да, действительно, попробуй-попробуй.>> развели л-ха. Хрен тебе а не зарплата, будут профиты с продукта (который
>> не ты продаешь и не ты решаешь что в нем и как должно быть)
> Если бы я решал как делать навороченый продукт,тебе никто не даст решать ЧТО делать. Тебе максимум позволено решать с какого конца держать выданную тебе лопату. Решать чем копать и где копать будут менеджеры. А от их решения и зависит тот профит. Который можно надоить и с совершенно дерьмового продукта.
Ты продаешь не манагерский опыт, а умение долбить по клавиатуре. Неважно, джун ты или сеньор. И если вместо зарплаты получаешь за него обещания поделиться когда-нибудь профитом - тебя кинули прямо еще на входе.
> Я думаю что у вон тех - список bebefits здорово побольше.
думать - явно не твое.
Фантазер, вот что больше всего тебе подходит.Конечно же лавочка которая не брезгует такие benefits вообще писать в присылаемые вакансии - кому-то уникально умненькому отсыпет на лопате каких-то других.
Нет, чувак, это ТАК не работает.
> то есть ровно те которые на прошлых местах прогадили все полимеры?Кто что прогадил? Cyan должен был стать - маркетологом. Но угораздило его заняться програмизмом. Чувак подсел на сжатие данных. Заразная штука так то.
Будучи маркетологом он заметил что оказывается - есть ниша. В которой он с его хобби может - мастеркласс дать! Всем вообще! Он озаботился вопросом - и сделал чуть не самый быстрый алго сжатия, не похабно жмущий при этом, еще и открытый. И он столь крут что ты его сишный вариант - на асме не обставишь.
Немедленно срубил EPIC WIN и известность, и вообще. Чувак круто сменил свое будущее. У него НЕ БЫЛО прошлых мест, ВНЕЗАПНО! Он сразу - EPIC WIN отхватил! Вот так, с ноля. Учись как надо было, эксперт от айти. А zstd - это его совместное творчество с inikep.
Bacik какой-нибудь? Гальванизировать XFS явно не его решение. Что там прогаживать? Суперкод от дидов? Что о нем syzbot думает - сказал сбежавший оттуда майнтайнер. А басик об этом догадался - вот - явно раньше. Потому что не такой нуб как Деррик Вонг, но даже этот - понял во что вписался и свалил. Тоже где-то с btrfs'никами отвисает.
> Напоминает карьеры советских председателей колхозов.
Не, это знаешь про кого? ZFSники. Прогадили абсолютно все. Утопив с собой Sun, который их наслушался. И тут оказалось что убер-мега-энтерпрайз штука, под экзотичной ОС - не генерит достаточно дохода чтобы хотяб зарплаты этим платить. И где они все теперь?
>> Создатель LZ4 и Zstd на минуточку.
> напомни, что означают буквы LZ?Lempel Ziv конечно же. Ты же понимаешь что возможно бесконечное количество диалектов идеи? Очень разных по свойствам. EPIC WIN LZ4 и ZSTD - близки к pareto frontier в их рабочих точках. Конкретный мастеркласс - ВСЕМ! На тему как это делать правильно. Как бы классический диалект LZ - печален по сжатию VS скорость, если сделать наивно. Цимес состоит в дизайне формате потока под задачу и оптимизациях. Особый epic win что на си без асма прокатило.
> это с тем фейсбуком у которого НОЛЬ продуктов используемых вне их собственного
> тесного кружка?Два миллиарда - нормальный такой кружок, имхо.
> Да, действительно, попробуй-попробуй.
Я почему-то уверен что у тебя и твоей суперфирмы нет 2 миллиардов юзерей.
> тебе никто не даст решать ЧТО делать.
Кто ж мне запретит то? Я сейчас именно ЭТО и делаю. Но вот поотвисать в приличных корпах и посмотреть как надо было - весьма полезно. Хорошими менеджерами, тем более подобием прожектманагеров от софтостроя - не рождаются.
> Тебе максимум позволено решать с какого конца держать выданную тебе лопату.
Что еще за проекции твоих проблем на меня?
> Который можно надоить и с совершенно дерьмового продукта.
С совсем д-мового - таки проблематично. И если манагер - смог, лучшее что можно сделать это заткнуться, сидеть тихо, и учиться как надо было менеджить :). Потому что если продукт не совсем г-но, он при таком скилле - мир захватит нахрен, не меньше.
> Ты продаешь не манагерский опыт, а умение долбить по клавиатуре.
Не, это ты - не понял что со временем из джуна надо вырастать в нечто более приличное.
>> Я думаю что у вон тех - список bebefits здорово побольше.
> думать - явно не твое. Фантазер, вот что больше всего тебе подходит.Опять какие-то проекции. Нафантазировал какой-то фигни про вон тех. Рассказав про офигенных гуру. А банкротом почему-то - сани. А мордокнига живая и веселая. Как же так? :)
> Конечно же лавочка которая не брезгует такие benefits вообще писать в присылаемые
> вакансии - кому-то уникально умненькому отсыпет на лопате каких-то других.
> Нет, чувак, это ТАК не работает.Я получше твоего в курсе что и как работает, не позорься.
> Потому что нахрен такие айтишникиА такие врачи нужны? а кто нужен с таким подходом?
> А в нормальных фирмах вообще могут выплачивать - по итогам профита с продукта,
А давно вы нормальные видели, они вообще существуют?
> А такие врачи нужны? а кто нужен с таким подходом?Я пожелаю гражданам пох и нах чтобы их лечил - а лучше оперировал - такой же доктор, как они - айтишники. Это было бы весьма честно.
> А давно вы нормальные видели, они вообще существуют?
Я там еще и был. Но даже они могут постепенно надоесть. И все же - увидеть это все же стоит. Не, в РФии сейчас вы это уже - не увидите. Бизнесклимат не тот.
Понимаешь, нормальный PM через несколько лет в норм фирме - купит себе небольшой частный самолет, лицензию пилота получит, сможет порассекать себе по приколу. Если ему того хотелось. Бонусом к всему остальному. В РФии это более-менее честным работингом - нереально. Надо какие-то коррупционные схемы толкать, а это потом боком выходить умеет. Или просто чревато попаданием под горячую руку.
> Я пожелаю гражданам пох и нах чтобы их лечил - а лучше
> оперировал - такой же доктор, как они - айтишники. Это былобыло б неплохо. Т.е. игнорирующий хайп, бредятину и "у фейсбука так и мне того же двойную дозировку". И полагающийся прежде всего на свой опыт (который желательно еще и чтоб был).
Жаль что сейчас таких днем с огнем.
> Я там еще и был. Но даже они могут постепенно надоесть. И
только было это четверть века назад и тебя мгновенно уволили. Не забывай каждый раз это напоминать когда разглагольствуешь что ты там был. Причем потому и уволили что ты работал в грушеоколачивательной лабе не предназначенной для реальной отдачи бизнесу.
Но фантазий у тебя - вагон и маленькая тележка. Хотя по факту ты повторил судьбу мильена индусов, ibm в те годы очень легко нанимала и так же легко вышвыривала целыми офисами как только новый раджа приходил вместо старого. (вряд ли и сейчас что изменилось глобально)
> Понимаешь, нормальный PM через несколько лет в норм фирме - купит себе
> небольшой частный самолет, лицензию пилота получит, сможет порассекать себе по приколу.отпуск 10 календарных дней в месяц очень поспособствует получению лицензии пилота.
(а кто тебе сказал что у мордокниги будет по другому? Это вот, чувак - то что ДОЛЖНО было быть в benefits вместо качалки. А его там нет. Там вообще ничего нет из того что принято считать benefits.)> Если ему того хотелось. Бонусом к всему остальному. В РФии это
> более-менее честным работингом - нереально. Надо какие-то коррупционные схемы толкать,в рфии это вполне реально даже не будучи PM - знакомых с лицензией есть.
Со всем остальным правда при этом будет так себе, поскольку хобби мало того что затратное, так еще и жрущее все свободное время и еще немного рабочего.Просто ты у нас - мастер исключительно коррупционных схем, и больше не умеешь ровно ничего - ВСЕ попытки увидеть твою экспертизу заканчивались тут полным фиаско. Особенно удивительно было узнать что ты и в бырбырфесе ничего не понимаешь, задав вроде тривиальный вопрос по ее эксплуатации в условиях чуть сложнее битой флэшки.
> отпуск 10 календарных дней в месяц очень поспособствует получению лицензии пилота.сорри, в год, разумеется.
(кто ж раба на больше-то отковывать собирался)
Все файловые системы хорошие, пока бэкапы данных с этих ФС хранятся на ext4
(c) В. И. Ульянов фон Манштейн
google: ext4 data loss
> Все файловые системы хорошие, пока бэкапы данных с этих ФС хранятся на ext4Особенно прикольно на EXT4 наткнуться при ресторе бэкапа на silent corruption. Врядли ты ежедневно проверял как оно. Самое то что надо - обломаться на ресторе бэкапов!
>> Все файловые системы хорошие, пока бэкапы данных с этих ФС хранятся на ext4
> Особенно прикольно на EXT4 наткнуться при ресторе бэкапа на silent corruption. Врядлирассказывает нам местный сказочник. А на деле битый байтик в фоточке с котиком вообще никто не заметит даже если оно и случилось. Но таких героев здесь за все время было ноль.
> ты ежедневно проверял как оно. Самое то что надо - обломаться
ты-то ежедневно проверяешь?
А то ж на криво записавшуюся чексумму напороться гораздо веселее - твой бэкап просто не восстанавливается. Вообще. Никак. Потому что сказать "да хрен с ней чексумой ненужного временного файла, давай восстанавливай что есть" не получится.
... а ufs2 просто работает. Скучно.
> ... а ufs2 просто работает. Скучно."as intended". (с) лично ее автор, про как раз silent corruption
но твои котики в безопастносте, потому что вообще могли бы лежать на fat. (который, внезапно, просто работает у миллионов)
> ФС Btrfs работает достаточно хорошо, чтобы сэкономить компании Meta миллиарды долларов затрат на инфраструктуруДаже и не знаю, тут радоваться надо что btrfs вышел на корпоративный уровень или плакать от того, что враг свободы Мета сэкономила миллиарды долларов???
радоваться что враг шв@60дки мета прогадила ну может не мильярды но миллионы долларов на двух пустопорожних болтунов, в лице которых "купила" совершенно ненужную ей мегаусложненную фс непонятно вообще зачем.
Причем починить ее они так и не смогли.
> радоваться что враг шв@60дкиСудя по спичу - ты намного больший враг линуха и линухоидов так то. А то что тебе завидно это хорошо. Юзай свои маздаи и оплакивай кончину нафигнужных бсд. А я констатирую что кажлый заслуживает то будущее которое получил. И если что-то не нравится - задай вопросы тому типу которого увидишь в зеркале. Потому что во всем виноват - только он.
Судя по тому, что хвастаются какой-то наивной фигней, успех только в том, что обошлось без крупных аварий.
Большим компаниям и стирать надо много данных — полезный инструмент в своей нише.
> Большим компаниям и стирать надо много данныхтолько не мордокниге. Она славна тем что даже проиграв несколько судов подряд отказалась удалять попавшее в бездонные закрома.
Только вот что там бырбырфесе - позволю себе изрядно усомниться. (в том числе и да, потому что плохо сочетается с враньем что "наши базы устроены так что удаление не предусмотрено технически")
Не знаю, как в фейсбуке, а в ВК данные не стираются. Вообще. Можете проверить — залить картинку, сохранить прямую ссылку на неё, а затем удалить картинку. И проверить ссылку.
И через месяц будет ссылка работать?
конечно, и через пять лет тоже будет - вдруг то что у тебя на картинке внезапно станет экстремизмом, и я смогу тебя лет на пятнадцать за нее закрыть!
А если залить 100500600700 картинок с куэркодами в которых будет зашифрованный архив порнхаба, разумеется все это достать потребует времени, но под бэкапы быстрые носители и не предполагаются.
Она уже не является «вашей» картинкой. Это просто файл по ссылке.
А что бы ей не работать?
Выгоднее оставить ваши 200-300 кб на диске, чем создавать дырки в файловой системе.
В смысле, отстирывать много цифровых баксов? ;)
Для обычных пользователей и правда не нужна.
Как-то был целый ряд тестов на обращение к диску, шуму наделал. Так BTRFS дёргает его больше всех, и прямо рекордсмен в этом. Учитывая неуместность SAS на ноуте, наши SSD лишь будут страдать лишний раз. А толку от неё не больше чем от LVM+EXT4.И ZFS как-то обсуждали с не_кухонными бздшниками. Так разумыне подтверждают, она для серверов с некислой рамой и обвязкой упсов, а не для домашних пк.
Собственно, для этого их и разрабатывали, без какой либо оглядки на васю с моШным пк. Но нет, нашего васю такая фигня не остановит )
Zfs себя прекрасно чувствует на серверах из говна и палок, без ибп в том числе.
Кроме одного случая - плохое питание дисков.
Например БП с дохлыми кондёрами и откисающие разъёмы сата питания.
Тогда да, можно довести до состояния, что она не отрекаверится (хотя через дебаг файлы можно достать при желании).
Zfs сыпется при первой возможности на не-ECC памяти, не надо вводить людей в заблуждение
Причитайте весь тред, если интересуетесь как идут дела у Кента. Туда даже сам Теодор заглянул, чтобы вылить ушат помоев. Как мне кажется, bcache будет развиваться вне ядра. Линус показал пальцем на Кента и сказал "Ату его!" и все прихлебатели дружно на него набросились как стая собак, даже особенно не разбираясь за что и почему. Такие вот "лучшие инженерные практики".
Отличная ФС. Юзаю много лет.
а линус скольким компниям позволил сьэкономить на виндолицензии ????
> а линус скольким компниям позволил сьэкономить на виндолицензии ????Да дохрена. Майкрософт уж сам виндой пользоваться в ДЦ что-то не рвется, хотя уж казалось бы себе то лицензий можно выписать сколько хочется. Но у винды перфоманс ядра, фс, сети и проч - не очень. Что бы тут господа не вещали, а в топе тематичных бенчей - линухи.
Ну, как бы это сказать? Вера в то, что "у работников сахарного завода чай всегда сладкий, по тому, что уж себе-то сахару можно нагрести сколько хочется" широко распространена на просторах 1\6 части суши - но имеет не сказать, чтобы большое отношение к действительности на остальной территории.
>а линус скольким компниям позволил сьэкономить на виндолицензии ????... а сколько контор заработало на внедрении, поддержке и допиливании...
сжатие, дедупликация... наскребут всякого хлама, а потом экономят на спичках. удалять ненужное не пробовали?
>сжатие, дедупликация... наскребут всякого хлама, а потом экономят на спичках. удалять ненужное не пробовали?Если такой гигант начнет удалять, то даже их мощности не справятся, все наглухо зависнет, а потом упадет. Дешевле новых дисков поставить чем бороться с фрагментацией и повышением производительности при удалении.
> сжатие, дедупликация... наскребут всякого хлама, а потом экономят на спичках.
> удалять ненужное не пробовали?И кто будет использовать социалку теряющую данные? И как клиентуре всякую аналитику с хомячков продавать? Что-что? В банкроты записаться? Эксперты опеннета плохого не посоветуют!
> И кто будет использовать социалку теряющую данные?те самые л-хи которым мордокнига уже несколько раз удаляла их котиков (и вероятнее всего таки да - из-за проблем с хранилищем).
А чо такова, кому твои котики недельной (и тем более - месячной) давности сдались, до них ленту никто и никогда не докрутит, колесико у мыши сотрется раньше. А ты новых накачаешь, с еще большим энтузиазмом.
А аналитика клиентуре продается успешно, для этого не нужны архивы того что ты понашитпостил десять лет назад, для этого нужны только новые и новые хомячки.
А зачем сжатие и дедупликация ФС, если все данные в ноомальных компаниях хранятся на storage arrays, в которых это и так есть?
Даже на рабочей станции непонятно зачем. Место на диске дешевое, время доступа и записи намного важнее.
время доступа при сжатии - как раз уменьшается (процессоры у нас нынче СИЛЬНО быстрее дисков).Но в очередной раз бырбырфесе тут не единственная и не самая эффективная.
> время доступа при сжатии - как раз уменьшается (процессоры у нас нынче
> СИЛЬНО быстрее дисков).Это все сильно зависит от сжатия - и от диска. Энтерпрайзные SSD весьма резвые штуки.
> Но в очередной раз бырбырфесе тут не единственная и не самая эффективная.
И все же суммарно - дедуп и сжатие могут скостить объемы в разы. И все это в майнлайне, без долботни и рисков с внемайнлайновым нечто. За франкен-комбо ядра с левым модулем - вообще никто не отвечает по сути.
> А зачем сжатие и дедупликация ФС, если все данные в ноомальных компанияхЗатем что докупить в разы больше серверов на инфре такого размера - нафиг надо!
> хранятся на storage arrays, в которых это и так есть?
В _нормальных_ компаниях ЭТИМ как раз не занимаются. Потому что это все в дофига раз дороже выходит. И при попытке сделать так инфру обслуживающую пару миллиардов - вы останетесь без последних труселей! А вон то удел всяких третьесортных закоулков, которым локальной экспертизы не хватило и ПРИШЛОСЬ платить другим за complete solution. И конечно никто не продает solution'ы себе в убыток. Как вы наверное уже догадались.
> _нормальных_ компаниях ЭТИМ как раз не занимаются. Потому что это все в дофига раз дороже выходит.Запахло локалхостом с эникеями.
У инфры, обслуживающей пару миллиардов, есть и деньги на нормальные системы хранения. За исключением компаний типа гугла, которые разрабатывают собственное железо. А еще есть мозги считать риски и расходы на создание собственных систем хранения.
Интересно будет посмотреть на систему хранения от "локальных экспертов" размером хотя бы в 500Tb, c FC, multipath, со снапшотами, thin clone и т.д. С нормальной админкой. И чтобы это не развалилось через месяц.
> У инфры, обслуживающей пару миллиардов, есть и деньги на нормальные системы хранения.Есть, но не дасть. Деньги сцукенбергу на свадьбу нужнее. Ну зачем мордокниге раскошеливаться на твоих котиков, сдохло - ты новых еще быстрее зальешь, будет чем наполнить ленту твоим друзявкам. Главное чтоб этого не происходило заметно и массово по всему миру (на котиков по прежнему плевать, но может цена акций поплыть).
> За исключением компаний типа гугла, которые разрабатывают собственное железо. А еще
там "собственного" в общем-то картонка на которой все собрано (но это неточно, может на обувной фабрике заказали). Из стандартных вполне компонент по интеловской спеке, просто на от...сь. (потому что гугль не боится потерять ни такую картонную ноду, ни контейнер целиком, а вот каждый сэкономленный картонкой цент умножается на пару миллионов)
У мордокниги, если верить ее сказочникам, тоже такого есть. (у гугля были не сказочки а видео с э.... производственных процессов).
> Интересно будет посмотреть на систему хранения от "локальных экспертов" размером хотя бы
> в 500Tb, c FC, multipath, со снапшотами, thin clone и т.д.зачем это вот все - мордокниге? Нет у них никакого fc. И ни снапшотов, ни thin clone их основным массивам не надо. Они должны быть всегда онлайн, а если вдруг не - уже поздно.
А там где таки есть - там нет 500Tb.
Ээээ... СХД достаточно хреново масштабируются, если что - а если к этому добавить disaster recovery с георепликацией данных по всему шарику - и вовсе печальненько получится.
Т.е. оно там, разумеется, есть - но вот котики с молочными железами лежат не в ней ).
Пока другие компании делают дубликацию данных под названием "бэкап", Меta решила сделать наоборот - дедубликацию.
> Пока другие компании делают дубликацию данных под названием "бэкап", Меta решила сделать
> наоборот - дедубликацию.мете бэкап ее основной базы, как нетрудно догадаться, не поможет. Но и дедуплицировать там - нечего, надо наоборот клонировать. Умный догадается, что там на самом деле дедуплицируется и почему так.
Я тут заметил, что только довольно сомнительные личности критикуют Btrfs. Шишкин, Кент... И по-странному совпадению, все они прямые конкуренты Btrfs (вот это совпадение, да?)
Дык фоннаты не будут критиковать "Дар Божий".
Во первых, они ничего в этом не понимают.
Во вторых, Б-г (протягивая лопату) "Жрите ! это вкусно !". Фоннаты - "Ням, ням, ням".Хоть на что-то, за последние 5-10 лет, была нормальная техническая дискуссия ?
>Хоть на что-то, за последние 5-10 лет, была нормальная техническая дискуссия ?В каждой новости про новую версию Rust
Пусть встроят в btrfs AI. Чтобы сама файлы по директориям организовывала.
Зря смеёшься ... С ужесточающимися требованиями регуляторов (и увеличивающиеся штрафы), только на AI можно возложить удаление "неправильного" контента. И ссылаться на него, что он что-то там проглядел. А робота не укусишь за его металлический зад.
А я и не смеюсь.
Может для Мета btrfs имеет свою версию, но в личной эксплуатации имело место потеря данных. EXT4 головной боли не дает.
Отличие лишь в том, что в случае проблем btrfs тебе о них скажет и посоветует тебе с ними чот сделатьВ то время как ext4 молча повредит данные
8 лет btrfs на всех дисках (пк, ноуты, Nas), нигде ни разу не потерялось ничего. Пк выключался по питанию на горячую много раз. Что вы там делаете, что данные теряете?
я попробовал бтрфс с дедупликацией, чтоб снизить объёмы в кучи разных версий игровых клиентов. так вот, эта хрень, а не фс, сожрала кучу ресурсов, начала лагать всё больше и больше, и закрашилась, потеряв часть данных. для онлайн-дедупликации она не годится, а для оффлайн прекрасно и стабильно xfs подошла.
А как они хостят и работают с базами данных на этой ФС?Вроде она для этого совершенно не подходит.
Ну хз, года 4 назад пробовал ее на высоконагруженном сервере. Частенько вываливались ошибки под нагрузкой.
Дважды на рабочем компе с федорой это овнище отнимало по несколько часов. Проблема так то решалась быстро. Командой btrfs rescue zero-log. Но проблема в том что это овно из эмерджиси моуд был бизи. Надо было либо через груб отключать монтирование дисков. Либо грузится с лайф флешки. Которой не было. Нужно было найти другой комп, скачать федору, записать и потом только выполнить команду. Причем вот просто моргнул свет и кабздец. Нтфс 1000-чи выключений света пережила. Максимум чек диск включался. Нет будь у меня упс, генератор и своя электростанция. Оно конечно может было бы и подругому
Страшно в такие новости заходить, в комментах каждый второй - эксперт админящий тысячи серверов с петабайтами данных под высокой нагрузкой. И все знают как нужно, как правильно. Не то что всякие, набранные по объявлению во всяких лицокнигах, гуглах и амазонах.