Разработчики из компании Cloudflare рассказали о проведении работы по оптимизации производительности дискового шифрования в ядре Linux. В результате были подготовлены патчи для подсистемы dm-crypt и Crypto API, позволившие в синтетическом тесте более чем в два раза поднять пропускную способности при чтении и записи, а также в два раза снизить задержки. При тестировании на реальном оборудовании накладные расходы от шифрования удалось снизить практически до уровня, наблюдаемого при работе с диском без применения шифрования данных...Подробнее: https://www.opennet.me/opennews/art.shtml?num=52630
Должна же быть хоть какая-то польза от Cloudflare!
Круто, конечно. Но уже vera.
Так не бывает что компания что выпускает только гуано вдруг вы...пустила бриллиант. Скорее маркетологи и всякие другие личности могут такое внушить, но правдой это не станет.
Не надо путать продукты, на которых компания зарабатывает, и их контрибьюшены в опенсорс. Второе делается инженерами для решения собственных задач, а опенсорс так устроен, что передать патч в апстрим выгоднее, чем поддерживать его самостоятельно.
От осинки не родятся апельсинчики. На тот же системд посмотрите. Да даже и на Гном 3.
это вы щас Леню инженером назвали?
И, да, CF нанимает хороших инженеров. А уж какие им задачи ставят - это не к ним.
бросьте, хороших инженеров, проектировавших хорошие печки для сжигания унтерменшей - вешали, невзирая на то, что задачи ставили не они.Пора бы этот урок уже и усвоить за больше чем пол-века.
Какой урок? Ты сейчас выдал какую-то чушь не имеющую отношение ни к тематике ни к истории
https://ru.wikipedia.org/wiki/%D0%97%D0%...
а какая тут может быть польза? И зачем мне шифровать - ramdisk?Что на самом деле происходит на ssd и тем более на нормальных дисках - осталось загадкой. Рискну предположить, что ничего особенно хорошего.
ram-диск использовался в тесте, чтобы устранить иные факторы, влияющие на производительность, ктоме шифрования. На современных быстрых SSD скорость скорость последовательных операций может быть 4 ГБит/с, а рандомных - 600-700 МБит/с. Поможет ли зашифрованным разделам, расположенным на них, ускорение с 130 МБит/с до 600, думайте сами.
s/Бит/Байт/g конечно же, пардон.
а рандомных - 600-700 МБит/с. / MБайт
для одного потока блоками 4K не больше 200, если речь идет об Optaneи не более 50 MB/s если это NAND
слишком много читаете рекламных буклетов
Так никто не заставляет ограничиваться одним потоком, правда? У меня сейчас в компе SSD, который 800 kiops 4k-блоком выдает.P. S. Замерил с QD = 1, получилось 82 kiops (330 Мб/с). Так что рекомендую разморозиться и ознакомиться с возможностми современного железа.
> Так никто не заставляет ограничиваться одним потоком, правда? У меня сейчас в
> компе SSD, который 800 kiops 4k-блоком выдает.
> P. S. Замерил с QD = 1, получилось 82 kiops (330 Мб/с).
> Так что рекомендую разморозиться и ознакомиться с возможностми современного железа.Эффект Даннинга-Крюгера во всей красе.
А потоков то сколько? И чем измеряно? А точно без кеша?
Насуют своих попугайных перьев в жoпу и ходят как павлины.
Вот реальная статистика 4K random read (реальный рандом в 1 поток)
Samsung 970 Evo Plus NVMe PCIe M.2 1TB $218
Samples 55k 62.6
99th
Adata XPG SX8200 Pro NVMe PCIe M.2 512GB $80
Samples 18k 54.3
96th
Crucial P1 3D NVMe PCIe M.2 1TB $115
Samples 30k 55.8
97th
Adata XPG SX8200 Pro NVMe PCIe M.2 1TB $140
Samples 18k 55
97th
Crucial MX500 250GB $50
Samples 33k 33
82nd
Samsung 970 Evo Plus NVMe PCIe M.2 500GB $120
Samples 96k 63.4
99th
Samsung 970 Evo Plus NVMe PCIe M.2 250GB $80
Samples 27k 66.1
99th
Samsung 860 Evo 500GB $85
Samples 297k 36.2
85th
Samsung 970 Evo NVMe PCIe M.2 250GB $90
Samples 103k 59.7
98th
Crucial MX500 500GB $70
Samples 87k 33.6
NVME чуть получше около 50-60 потому что меньше латенси - нет трансляции в SATAКороче не дорос еще, чтобы что-то рекомендовать.
Да, действительно, эффект Даннинга-Крюгера - в вашем случае. Я-то в этом собаку съел.> А потоков то сколько? И чем измеряно? А точно без кеша?
Используется libaio, так что кол-во потоков перпендикулярно, важна глубина очереди (не знаете, почему - изучите, что такое асинхронный ввод/вывод.). Измерено fio.
Точно без кеша благодаря O_DIRECT.Из того, что вы привели, ближе всего Samsung 970 Evo, (62 kiops против 82) но это уже пройденный этап. Смотрите современные диски на PCI-E 4.0 на контроллере Phison PS5016-E16.
Производительность SATA-дисков к вопросу не относится
> Короче не дорос еще, чтобы что-то рекомендовать.
Если вы о себе, то это точно.
>[оверквотинг удален]
>> А потоков то сколько? И чем измеряно? А точно без кеша?
> Используется libaio, так что кол-во потоков перпендикулярно, важна глубина очереди (не
> знаете, почему - изучите, что такое асинхронный ввод/вывод.). Измерено fio.
> Точно без кеша благодаря O_DIRECT.
> Из того, что вы привели, ближе всего Samsung 970 Evo, (62 kiops
> против 82) но это уже пройденный этап. Смотрите современные диски на
> PCI-E 4.0 на контроллере Phison PS5016-E16.
> Производительность SATA-дисков к вопросу не относится
>> Короче не дорос еще, чтобы что-то рекомендовать.
> Если вы о себе, то это точно.это скорость в MB/s, что будет около 15000 IOPS
> > Точно без кеша благодаря O_DIRECT.наивный
1) fio --name=randread --iodepth=1 --rw=randread --bs=4k --direct=1 --size=4G --numjobs=1 --runtime=30 --group_reporting
2) sync; echo 3 > /proc/sys/vm/drop_caches
3) тестовый файл не трогаем, и повторяем п1
4) нам результат fio из п3
ждем, хотим поржать
Оставлю тут, просто что-бы было:Intel SSDPE21D280GA
READ: io=4096.0MB, aggrb=234279KB/s, minb=234279KB/s, maxb=234279KB/s, mint=17903msec, maxt=17903msecIntel SSDPE2KE076T8
READ: io=1310.5MB, aggrb=44727KB/s, minb=44727KB/s, maxb=44727KB/s, mint=30001msec, maxt=30001msecSamsung MZILT15THMLA/007
READ: io=1746.4MB, aggrb=59605KB/s, minb=59605KB/s, maxb=59605KB/s, mint=30001msec, maxt=30001msecSeagate XA3840ME10063
READ: io=847700KB, aggrb=28255KB/s, minb=28255KB/s, maxb=28255KB/s, mint=30001msec, maxt=30001msec
>[оверквотинг удален]
> maxt=17903msec
> Intel SSDPE2KE076T8
> READ: io=1310.5MB, aggrb=44727KB/s, minb=44727KB/s, maxb=44727KB/s, mint=30001msec,
> maxt=30001msec
> Samsung MZILT15THMLA/007
> READ: io=1746.4MB, aggrb=59605KB/s, minb=59605KB/s, maxb=59605KB/s, mint=30001msec,
> maxt=30001msec
> Seagate XA3840ME10063
> READ: io=847700KB, aggrb=28255KB/s, minb=28255KB/s, maxb=28255KB/s, mint=30001msec,
> maxt=30001msecНу так SSDPE21D280GA это 900 серия Optane.
Второй это NAND
Третий тоже но от самса
последний даже не знаю да и не хочу знать
и то что здесь приводися полностью согласуется с тем что я писал выше
На 4K операциях 200+ MBs для Optane, 50+ MB/s для NAND (maxb).
Т.е. для NAND максимимум ~10000 (SATA) и ~15000(NVME) IOPS 4K в один поток..
Это не требовалось комментировать. Запостил же в подтверждение твоих слов.
> Да, действительно, эффект Даннинга-Крюгера - в вашем случае. Я-то в этом собаку съел.Если говорить про эффект Даннинга-Крюгера, но лично я привык видеть, что хорошие специалисты вообще не выделяют своё эго (а-ля "я-то на этом собаку съел"), и не пытаются унизить собеседника. Общаются вежливо и сухо по теме. Им в целом всё равно, что о них думает аноним в Интернете.
> ram-диск использовался в тесте, чтобы устранить иные факторы, влияющие на производительностьк сожалению, при этом "устранили" еще и факторы, влияющие на нее по разному в случае рамдисков и в случае обычных дисков.
Причем - без попыток их померять или хотя бы оценить. Рамдиску-то нет разницы, последовательный у вас доступ или параллельный, большие там блоки или мелкие.
В результате, не станет ли вашему ssd только хуже из-за отказа от block reordering - а вот хз.
А hdd - полагаю, таки непременно станет.Клаудфлерь эти проблемы, видимо, не волнуют, но вы-то - не клаудфлерь.
В такие моменты видно истинную сущность псевдоэкспертов опеннета.Узнай что такое PMEM. Пойди в гугл и узнай.
HDD можешь сдать в музей, а SSD... людям уже давно NVMe мало, постепенно начинают вводить PMEM.
А там извините тот же переход как HDD -> SSD первых поколений. Софт надо тюнить.Крупные корпорации решают вопрос с производительностью софта на новых технологиях. Средний корпоративный сектор готовится внедрять PMEM, когда будет больший ассортимент и когда оно сможет нормально быть всунуто в гиперконвергентный VSAN.
> В результате, не станет ли вашему ssd только хуже из-за отказа от block reordering - а вот хз.
А hdd - полагаю, таки непременно станет.
Рассуждение человека, который больше Fiber Channel в жизни не видел и который не знает, что современные SAN не предполагают ни iSCSI ни FC, потому что они не работают с PMEM, они как раз из эпохи HDD и больше не развиваются.> Клаудфлерь эти проблемы, видимо, не волнуют, но вы-то - не клаудфлерь.
Абсолютно не волнуют. И это ты не клаудфлерь, что легко понять по умственной отсталости в вопросах защищенных облачных сетей хранений. Равно как и тот наивный аноним, которому ты отвечал, который считает что патчи клаудфлари в той же степени коснутся SSD барахла подключенного в его SATA3 через AHCI.
конечно поможет, ини приблизили скорость к максимально возможной, которая, как указанно в статье, ограничена в большую очередь производительностью голого шифрования (696 MB/s).
Хочешь больше скорости - не используй шифрование.
VeraCrypt на NVME-накопителях роняет скорость и иопсы в пол.https://github.com/veracrypt/VeraCrypt/issues/136
впрочем, это неважно, поскольку VeraCrypt вообще не умеет шифровать системный раздел в Linux, и нужда в dm-crypt никуда не девалась
Никогда не понимал нужды шифровать корень. Можете просветить, зачем? Не шутки ради, я действительно не знаю. Для десктопа не достаточно зашифровать хомяк? А для сервера... Сервера же никто не шифрует, да? Или тоже, только чувствительную информацию. Или не так?
ну как - дал товарищмайору пару минут повертеть свой "десктоп" на... в руках - опа, в корневом разделе у тебя уже не совсем то, что было раньше. Теперь после твоего логина - у товарищей в руках будет не только твой хомяк, но и твои пароли - от всего.> Или не так?
разные модели угроз - разные подходы к шифрованию.
Но если у тебя вся информация на сервере - чувствительная - нет смысла делать исключения для корня, поскольку риски в любом случае возрастут, а бонус неясен.
С зашифрованным рутом после т-ща майора тоже можно попасть в неловкое положение.
В любом случае нельзя загружаться в систему после доступа посторонних к машине.
Лучше всего использовать бэкапы для доступа к данным.На крайний случай перенести хранилище на другую систему и вытаскивать ценные данные.
> С зашифрованным рутом после т-ща майора тоже можно попасть в неловкое положение.
> В любом случае нельзя загружаться в систему после доступа посторонних к машине.
> Лучше всего использовать бэкапы для доступа к данным.
> На крайний случай перенести хранилище на другую систему и вытаскивать ценные данные.с учётом биоса, интелМе, каких-нить железных чипов напаяных на коннектор юсб - железо на выброс, после загрузки в ливсидюк содержимое шифрованного винта не расшифровывая в другую систему по сети
хотя может на сам винт ничего и не напаяют.... с другой стороны у винта есть доступ к DMA - чего б и не напаять?
>> С зашифрованным рутом после т-ща майора тоже можно попасть в неловкое положение.
>> В любом случае нельзя загружаться в систему после доступа посторонних к машине.
>> Лучше всего использовать бэкапы для доступа к данным.
>> На крайний случай перенести хранилище на другую систему и вытаскивать ценные данные.
> с учётом биоса, интелМе, каких-нить железных чипов напаяных на коннектор юсб -
> железо на выброс, после загрузки в ливсидюк содержимое шифрованного винта
> не расшифровывая в другую систему по сети
> хотя может на сам винт ничего и не напаяют.... с другой стороны
> у винта есть доступ к DMA - чего б и не
> напаять?но вообще да, сейчас проще в карман коробок с коронавирусом подкинуть, и придётся всё рассказывать, иначе станешь (био)террористом
да, но это когда ты точно знаешь, были или не были на твоем диске посторонние.
И что - носить загрузочную флэшку в кармане? А ночью на шею вешать, чтоб чего не вышло?Поэтому иногда - таки проще пошифровать все целиком и не париться/париться но не об этом.
Ну вот смотри. Ты зашифровал хомяк, я получил доступ к твоему диску, подменил тебе бинарник cryptsetup`а. Твои действия?
Спасибо. Действительно, не подумал. Да. Глупость сморозил.
> Спасибо. Действительно, не подумал. Да. Глупость сморозил.а девствительно, надо бы какой-нить sfc /all при старте запускать до маунта.
брат по разуму, ты палишься.Только вот попутно - подумай, а что помешает товарищмайору тебе и sfc подменить?
Раз уж он вообще на тебя потратился, а не сразу отправил в 329ю комнату вспоминать все пароли от всего.
> брат по разуму, ты палишься.на самомм деле, это всегда то, чего с первого дня хочется в линуксе )
> Только вот попутно - подумай, а что помешает товарищмайору тебе и sfc
> подменить?так apt же читает базу с удалёнки (по TLS) - вот по ней и надо сверять. хотя, если просран сверятор, то... можно перекачивать сверятор )
> Ну вот смотри. Ты зашифровал хомяк, я получил доступ к твоему диску,
> подменил тебе бинарник cryptsetup`а. Твои действия?
> ток надо незабывать грузиться со своей флешки, и без промежуточных загрузчиков на винтезагрузчики могут так же подменить как и cryptsetup
биос перепрошить и подменить немного сложнее
но "если у кого-то есть физический доступ к вашему устройству - это больше не ваше устройство"
>> Ну вот смотри. Ты зашифровал хомяк, я получил доступ к твоему диску,
>> подменил тебе бинарник cryptsetup`а. Твои действия?
>> ток надо незабывать грузиться со своей флешки, и без промежуточных загрузчиков на винте
> загрузчики могут так же подменить как и cryptsetupМожно проверять загрузчик/раздел, загружая сам проверяльщик с (вставляемого) RO-диска и считая-сравнивая хэш.
В эпоху труЪкрипта и хайпа вокруг буткита stoned (подменявшего загрузчик TC на свой, с блекджеком, библиотекаршами и кейлоггером - но СМИ тогда писали о "расшифровке ТС") выпускали даже "готовые" антибуткиты под это дело (правда, оказалось что никому кроме 3½ фриков оно после спада хайпа не сдалось).Но вообще, это только на опеннете шифрование в первую очередь видят как защиту от угрозы со стороны тов. майора, АНБ, рептилоидов и заодно Тайного Мирового Правительства.
А основная масса пользователей (в том числе и корпоративных), защищает себя от рвания волос на мягком месте и срочной смены всех паролей и доступов при утере, краже "соседним Васяном" или банальном забывании ноута в электричке/автобусе и т.д ;-)
> Но вообще, это только на опеннете шифрование в первую очередь видят как
> защиту от угрозы со стороны тов. майора, АНБ, рептилоидов и заодно
> Тайного Мирового Правительства.
> А основная масса пользователей (в том числе и корпоративных), защищает себя от
> рвания волос на мягком месте и срочной смены всех паролей и
> доступов при утере, краже "соседним Васяном" или банальном забывании ноута в
> электричке/автобусе и т.д ;-)я бы подменил загрузчик + осьевые файлы и вернул бы ноут
мне б потом реверсссш бы пришёл через какой-нить днс-туннелинг
Вообще-то именно для такого сценария злые корпорасты сделали Secure Boot и компанию. От майоров с рептилоидами, пожалуй, не поможет, а вот защитить корпоративный ноутбук - вполне.
> Вообще-то именно для такого сценария злые корпорасты сделали Secure Boot и компанию.
> От майоров с рептилоидами, пожалуй, не поможет, а вот защитить корпоративный
> ноутбук - вполне.мне что-то мешает перепрошить чип биоса через хардварный прошивальщик? ну кроме лени (точнее отнести тому, кто перепрошъёт)
TPM помешает, У TPM один из регистров как раз таки контролирует содержимое прошивки. Если прошивка поменялась хоть на 1 бит, в регистре значение будет иное. Далее дело техники привязать шифрование в том числе к этому регистру.Например, клятый битлокер давно это умеет.
Как результат, стоимость и порог атаки для тебя существенно возрастает: одно дело с программатором китайским за 200 рублей, другое дело вскрывать TPM/fTPM
> я бы подменил загрузчик + осьевые файлы и вернул бы ноутИ изменил бы хэш ...
Для защиты от подмены загрузчика есть SecureBoot, который дурачки считают зловредным изобретением майкрософта. Загрузчик будет подписан моим ключом.А для защиты от подмены ключа есть TPM, которую дурачки тоже считаются зловредным изобретением DRM-шиков.
Таким образом, как только ты попытаешься изменить хотя бы бит в прошивке (загнать туда свои ключи или какой-то вредоносным модуль) или в загрузчике - то зашифрованный накопитель превращается в тыкву, потому что регистры TPM уже изменились из-за твоего вмешательства.
а смысл шифровать систему? вот как раз на мелкий ССД накатил систему и оставил, а важный сторадж можно и отдельно поверить и примонтировать.
Читал в оригинале. Пересказ на русский пробежал по диагонали, но вроде вполне близко к оригиналу.
Так что, автору новости спасибо!
В XXI веке хвастаться, что у тебя английский не ниже Intermediate - это как хвастаться, что в 30 лет сам себе жопу без посторонней помощи вытираешь.
что-то ты хватил. речь не об этом, а об авторе новости
И упрощает расшифровывание сторонними недоброжелателями. А что удобно. И номинальные требования по шифрованию соблюдены.
От количества очередей, в которых оседал запрос, стойкость шифрования не зависит.
Вы о чём вообще?
Неправильный вопрос. Правильный - кто?
он наверное о том что Cloudflare доверять нельзя
И чоб бородатые энтузиасты-онархисты делали без клятых корпораций?
Онархисты применили двоемыслие и стали анкапами, так что всё сходится.
> Онархисты
> бороться с запретами
> запрещать рыночные отношения/0
Они не называют это "запретом рыночных отношений".Согласно догматам их веры, от рыночных отношений может возникнуть только мелкий и средний бизнес, а крупные компании возникают только под воздействием государства.
Анкапы весьма странные типы, живут в каком-то своём мирке
Да это по факту те же комми, просто догматы веры чуть-чуть другие. Но суть та же — отрицание естественного для человека стремления к выгоде по пути наименьших затрат. Постулируется, что все будут честно вести бизнес/работать на заводе, когда можно просто украсть/ограбить.
Напоминаю, что анархо-коммуняки выросли в среде хиппарей и прочих бородатых смузихлебов, размахивающих красным флагом и выкрикивающих бессвязные лозунги,а анкап вырос в академической среде Австрийской Экономической Школы. Два принципиально разных течения, а отдельных местных индивидов-критиканов смутила омонимичность этих двух слов "анархизм".
Вот еще пример абсолютно разных понятий под единым словом: https://ru.wikipedia.org/wiki/Ключ
Вне зависимости от того, кто где вырос, оба этих течения опираются на одну и ту же аксиому — люди не могут отбирать друг у друга ценности силой.
Об адекватности этой аксиомы реальному миру, предоставлю судить Капитану Очевидность.
> оба этих течения опираются на одну и ту же аксиому — люди не могут отбирать друг у друга ценности силойНа эту аксиому опираются только анархо-коммуняки. Ну а в анкапе никаких розовых соплей нет, врожденная склонность человека к нечестной игре признается, а государство анкапами признается как одно из решений этой проблемы. Как "одно из", а не как "единственно верное". Вот в принципе и весь "анархизм".
> а это по факту те же комми, просто догматы веры чуть-чуть другиеСогласен. У комми центральная догма - "сознательность" индивида, у анкапов - полная рациональность мышления, всеведение и способность в одно лицо ликвидировать полчища агрессоров. А по сути, и у тех, и у других священная вера в то, что люди должны быть одного формата, а кто не вписывается - должен рипнуться.
> должны быть одного формата, а кто не вписывается - должен рипнутьсяИ ты среди них https://www.opennet.me/openforum/vsluhforumID3/120111.html#65
Я даже не хочу спрашивать, как ты одно связал с другим, тут явная шизофрения)
Товарищ, вы как-то плохо читали мой величайший труд (не говоря уже о нашем Манифесте - там все на одной страничке, с "трудом"-то понятно, все важное в самом конце, а редкая птица и до середины первой главы дочитает, не уснув на ходу)Мы как раз не утверждали что "должны рипнуться". Мы утверждали что готовы их...того...вручную.
И заметьте - из всего двухтомника как раз ЭТА часть у многих наших последователей - отлично получилась!
> Мы как раз не утверждали что "должны рипнуться". Мы утверждали что готовы их...того...вручную.Я по-джентельменски сгладил формулировку)
анархисты, скорее, против государства как такового, нежели против корпораций..
Анархисты, чаще всего, про то что в идеале люди способные к самоорганизации могли бы решить большинство вопросов более эффективно чем их "решает" государство и прикорытные.
> Анархисты, чаще всего, про то что в идеалеА в реале -- просто бесноватые.
Хотя в аду-то как раз тоже иерархия своего рода.
Любите вы, Михаил, о других по себе судить.
за собой следи, шизоид
Это ускорение никому не нужно было до это конкретной проклятой корпорации. И сейчас нужно только ей.
Ну тоесть линуксоиды наконец-то осилили хардварную фичичу проца AESNI.
Теперь и от Клаудфлер.
Что у FreeBSD с этим?
Все пользователи и разработчики BSD вымерли...
Внесите Изена!
Он неоднократно повторял, что не очень активно пользуется FreeBSD, потому что рабочий софт у него на винде.
Унесите Изена!
У FreeBSD - пердольная ZFS. Громадный шкаф с кучей ручек, которые нужно крутить в хз каком порядке, чтобы этот шкаф стал похож на что-то вменяемое. Порядок верчения ручек - основной предмет разговора бородатых фанатов. Вторая по популярности тема их разговоров - вещать о космической мощи этого шкафа, важно надувая щёки.
впопеннетовский эксперт привалил, zfs видел, по телевизору!Ныкаемся, пацанчики!
Первые подрывы фанбоев пошли)
Что интересно — они походу не в курсе, что разработчики ZFS on Linux реализовали встроенное в ZFS шифрование, и с переходом FreeBSD на ZoL оно стало доступно и на Фре. Поэтому проповедуют GELI (ха-ха, явно не пытались измерять производительность ZFS на нём).
> Что интересно — они походу не в курсе, что разработчики ZFS on
> Linux реализовали встроенное в ZFS шифрование, и с переходом FreeBSD на
> ZoL оно стало доступно и на Фре. Поэтому проповедуют GELI (ха-ха,
> явно не пытались измерять производительность ZFS на нём).
>> подсистемы dm-crypt и Crypto API
>> встроенное в ZFS шифрованиеНе всем же быть ламерьем и сравнивать жопу с пальцем.
Мерили, мерили. Еще в 2013-ом году мерили GELI, на ядре 9.2:Enc drive 128k write 521MB/sec
Enc drive 32k write 486MB/sec
Enc drive 4k write 200MB/seczpool 128k write 416MB/sec
zpool 32k write 378MB/sec
zpool 4k write 275MB/secСуперпроизводительный линукс в 2020-ом смог на запись максимум ~320 MB/sec, и то, судя по всему, raw. Неудобненько получилось, не правда ли?
> У FreeBSD - пердольная ZFS. Громадный шкаф с кучей ручек, которые нужно
> крутить в хз каком порядке, чтобы этот шкаф стал похож на
> что-то вменяемое. Порядок верчения ручек - основной предмет разговора бородатых фанатов.У FreeBSD уже 15 лет как GELI (GEOM_ELI), который никак не зависит от ФС и тем более ZFS. Но это же матчасть знать хоть немного надо, а не вещать о шкафах и бородатых фанатах, важно надувая щечки ...
> У FreeBSD уже 15 лет как GELI (GEOM_ELI), который никак не зависит от ФС и тем более ZFS.А вы когда-нибудь пробовали ставить ZFS поверх GELI и измерять производительность?
Будете неприятно удивлены результатом.Ну ничего, можно расплакаться и сказать, что это всё диверсия от клятых линуксоидов, которые своими корпорациями продавили переход Фри на пoделку Белендорфа.
>>>> Что у FreeBSD с этим?
>>> У FreeBSD - пердольная ZFS. Громадный шкаф с кучей ручек,
>> У FreeBSD уже 15 лет как GELI (GEOM_ELI), который никак не зависит от ФС
> А вы когда-нибудь пробовали ставить ZFS поверх GELI и измерять производительность?
> Будете неприятно удивлены результатом.Какой резкий спрыг с темы после очередной посадки в лужу однако.
И какую же ФС использовали в своем тесте клаудфлер? Неужели ZoL? :O
Кстати, Пингвиняши опять демонстрируют удивительный ламеризм - GELI такая же подсистема для шифрования, как и dm-crypt - в отличие от шифрования в ФС.
> Ну ничего, можно расплакаться и сказать, что это всё диверсия от клятых
> линуксоидов, которые своими корпорациями продавили переход Фри на пoделку Белендорфа.У Пингвиняш опять совсем-совсем не бомбит ...
> Отправлено анонннНу совсем не бомбит, ага.
> Какой резкий спрыг с темы после очередной посадки в лужу, однако.
> И какую же ФС использовали в своем тесте клаудфлер? Неужели ZoL? :OZFS и "производительность" дружат не очень, прямо скажем.
Нет, если выкинуть дофига бабла на железо, то можно и вывезти, но там, где дофига бабла, вряд ли будут использовать ванильную Фрю.
> У Пингвиняш опять совсем-совсем не бомбит ...
Никаких эмоций. Всего лишь факты, мой друг, голые факты. Очень интересно смотреть, как вы отрицаете объективную реальность.
> Ну совсем не бомбит, ага.
Издевательство над вашим ником — эксклюзивная фишка для человека, который запрещает отвечать анонимам на свои комментарии :)
> Порядок верчения ручек - основной предмет разговора бородатых фанатов. Вторая по популярности тема их разговоров - вещать о космической мощи этого шкафа, важно надувая щёки.Забыл третью — НИПИРИХАДИЛА™.
То есть попытки спорить с тем фактом, что FreeBSD использует ZFSonLinux (сейчас оно называется OpenZFS, но переименование не меняет сути).
Кстати, на официальные анонсы https://www.opennet.me/opennews/art.shtml?num=49815 и https://www.opennet.me/opennews/art.shtml?num=50543 реагируют "их просто надо читать не по строкам, как вы, пингвинята, а между строк, тогда смысл будет правильный".
Чего вообще хорошего в ZFS, что с нее периодически у многих горит( у одних от самого ее упоминания, у других - наличия / отсутствия ее поддержки в конкретной системе ) ?
> Чего вообще хорошего в ZFS, что с нее периодически у многих горит(
> у одних от самого ее упоминания, у других - наличия /
> отсутствия ее поддержки в конкретной системе ) ?По сути, во FreeBSD это единственная вменяемая файловая система. Причем разработанная отнюдь не участниками проекта, а профессиональными программистами крупной компании. Неудивительно, что фаны Фри ею очень гордятся и испускают дымных хвост каждый раз, когда кто-то осмеливается косо на неё посмотреть.
> По сути, во FreeBSD это единственная вменяемая файловая система. Причем разработанная отнюдьа у л@п4атых и одной нету, ага. Поскольку и эту умудрились испортить. Как и все, чего они своими плавниками касаются.
> не участниками проекта, а профессиональными программистами крупной компании. Неудивительно,
профисианализм так и прет:
https://reviews.freebsd.org/D19094истиный прафиси-анал! Сломать херней вообще весь arc, на тыканье мордой в лужицу - громко пернуть, и перестать отвечать на email.
Пол-года потрачено на то чтобы частично-костыльным путем исправить его "работу" (не на само исправление, а на уговоры тех, кто благославлен комит-битом). Откатить нельзя - "это кого надо комит!"
Да, это не хрен собачий, это George Wilson - один из "профисианальных программистов крупной компании". Оставшийся без профессионального надсмотрщика с хорошим, профессиональным, кнутом за спиной. compressed arc, если что - его же творение.
https://www.usenix.org/conference/lisa15/speaker-or-organize... - знакомьтесь.
> а у л@п4атых и одной нетуВаша инфа устарела, одна таки есть, microsoft недавно подарил.
https://www.opennet.me/opennews/art.shtml?num=51374
>> а у л@п4атых и одной нету
> Ваша инфа устарела, одна таки есть, microsoft недавно подарил.
> https://www.opennet.me/opennews/art.shtml?num=51374сасунг же ж. Давно. Проклятый просто милостиво позволил использовать подаренное.
Но там как всегда - три разных реализации, одна для устаревших ядер, другая кажись иногда что-то портит, третью так вообще русские писали, поэтому она умеет только читать, но это неточно.
В общем, нет пингвиняткам щастья.Зато теперь вот есть супер-быстрое шифрование, правда, в обход всех защитных механизмов, поэтому полезное только сферической клаудфлери в вакууме.
> Чего вообще хорошего в ZFS, что с нее периодически у многих горит(
> у одних от самого ее упоминания, у других - наличия /
> отсутствия ее поддержки в конкретной системе ) ?э... это в винде, чтоле?
Там, вроде, давно поломано и нет желающих чинить (им и с storage spaces, похоже, не дует - как-то подозрительно их появление в десяточке совпало с остановкой windows zfs)У всех остальных в каком-то виде, да работает - включая даже макось.
А хорошего там то, что идеи середины 2000х все же оказались удобнее в употреблении, чем идеи конца 70х, сколько их ни улучшай по мелочам.
По зфс, вроде, ругались, что и проц и оперативку будь здоров жрет, да и другие нюансы имеют место быть
> По зфс, вроде, ругались, что и проц и оперативку будь здоров жретбелки-истерички, не владеющие темой - ругались. Вон, посмотри как линух оперативку жрьот!
total used free shared buffers cached
Mem: 8160616 7156936 1003680 0 155836 5957056
из восьми гиг шесть сожрал! (а не было бы локнутой памяти в vm - сожрал бы и семь)А если он ее не будет жрать - то, сам понимаешь, ее сожрут войска НАТО.
То и другое - кэш. Только у zfs это ARC, а здесь - безмозглый блочный. Поэтому наоборот - при меньшем его размере (если зачем-то задаться целью вручную его ограничить) - используется эффективнее.С процом есть ньюансы. Разумеется, в первую очередь - те же самые, то есть если все эти kworker'ы не принимать во внимание, как у линуксеров принято, то оно конечно.
Во-вторую - поскольку линуксеры наблюдают все это в основном на своих линуксах (кто их на нормально настроенную фрю-то пустит, раз настроена - у нее свой нормальный админ есть). А там как-то и впрямь иногда творится не очень понятное. То ли особенность у zol такая, то ли на этот раз во фре не видно не потому что не жрет, а потому что не туда смотрим, то ли играет роль 32x write multiplication. К сожалению, мои собственные эксперименты застряли из-за недостатка времени, год уже не могу собраться - но рано или поздно этот факт мы проверим ;-)
А во фре - во времена минулой арубовской халявы - было модно использовать одноевровые виртуалки (с гигом озу, единственным ядром и 20G диска), унося там /usr/ports с тоннами мусора, нужными после запуска в эксплуатацию примерно раз в никогда, на compressed zfs ;-)
>> Порядок верчения ручек - основной предмет разговора бородатых фанатов. Вторая по популярности тема их разговоров - вещать о космической мощи этого шкафа, важно надувая щёки.
> Забыл третью — НИПИРИХАДИЛА™.
> То есть попытки спорить с тем фактом, что FreeBSD использует ZFSonLinux (сейчас
> оно называется OpenZFS, но переименование не меняет сути).Правда факт использования пока что только в головах анонимов - а так да, все верно.
> Кстати, на официальные анонсы https://www.opennet.me/opennews/art.shtml?num=49815
> и https://www.opennet.me/opennews/art.shtml?num=50543 реагируют "их просто надо читать
> не по строкам, как вы, пингвинята, а между строк, тогда смысл
> будет правильный".Или просто не жопой ...
> FreeBSDСамый лучший BSD это macOS.
>> FreeBSD
> Самый лучший BSD это macOS.Самый лучший Линукс - почему-то тоже. Да СЕО Linuxfoundation тоже пишет, что объявлять год Линукса на десктопе лучше с макОС.
Какое отношение имеет файловая система к подсистеме дискового шифрования? Аналог dm-crypt во фрюхе - GELI. Хейтеры уже совсем крышей двинулись.
geli работает. кушать не просит, о случаях внезапного превращения в тыкву - сведений не поступало.эффективность никто не меряет, потому что она либо достаточная, либо кто-то выбрал не ту технологию.
> эффективность никто не меряетПотому что нафиг никому не сдалась, кроме бородатых колупателей застарелых угрей XD
Привет из 2013-ого года:Enc drive 128k write 521MB/sec
Enc drive 32k write 486MB/sec
Enc drive 4k write 200MB/sechttps://www.ixsystems.com/community/threads/encryption-perfo...
Аналогичных результатов суперпрогрессивный и суперпроизводительный линукс достиг только в 2020-ом году.
> https://www.ixsystems.com/community/threads/encryption-perfo...
> Аналогичных результатов суперпрогрессивный и суперпроизводительный линукс достиг только
> в 2020-ом году.нам тут про 600 вроде врали? Понятно, что результатов достиг не линукс, а ssd, но интересно было бы посмотреть все же на реальный тест, а не на gzero.
Вы потом на досуге посмотрите в код. Если сможете оценить читаемость и архитектуру то очень удивитесь.
> geli работает. кушать не просит,Позвольте вам не поверить.
> о случаях внезапного превращения в тыкву - сведений не поступало.
Конечно, ведь вы не пробовали ставить ZFS поверх GELI. У вас всё и на NTFS прекрасно работает.
Ну и для полноты картины процитирую свой комментарий выше (а то господин анонн так громко стучал, что всю ветку скрыли)> Что интересно — они походу не в курсе, что разработчики ZFS on Linux реализовали встроенное в ZFS шифрование, и с переходом FreeBSD на ZoL оно стало доступно и на Фре. Поэтому проповедуют GELI (ха-ха, явно не пытались измерять производительность ZFS на нём).
> Ну и для полноты картины процитирую свой комментарий выше (а то господин
> анонн так громко стучал, что всю ветку скрыли)
>> Что интересно — они походу не в курсе, что разработчики ZFS on Linux реализовали встроенное в ZFS шифрование, и с переходом FreeBSD на ZoL оно стало доступно и на Фре. Поэтому проповедуют GELI (ха-ха, явно не пытались измерять производительность ZFS на нём).Просто в новости речь не о ФС, а о подсистеме шифрования dm-crypt. И более-менее прямой аналог такой подсистемы в БСД - это как раз GELI, а шифрование в ФС тут никаким боком не уперлось. Но ламерье не в курсе таких "нюансов" - некогда ламерью матчасть изучать, ему минусики с плюсиками проставлять нужно, да что-то про Белендорфа ввернуть =)
>> Что интересно — они походу не в курсе, что разработчики ZFS on Linux реализовали встроенное в
>> ZFS шифрование, и с переходом FreeBSD на ZoL оно стало доступно и на Фре.стало бы, если бы этот убогий порт, проталкиваемый парой дельфиксовых рабов, вообще собирался.
Но пока, к сожалению - только в мечтах л@ап4атых. И это хорошо, потому что выпиливать из ядра прочие вредные и опасные артефакты, притащеные из ZoL - я немножечко заманался.
>> geli работает. кушать не просит,
> Позвольте вам не поверить.простите что оскорбил ваши религиозные чуйства. Нет Б-га кроме Линуса, и Но7оед пророк его!
> Конечно, ведь вы не пробовали ставить ZFS поверх GELI.
чего его пробовать-то, zfs как zfs. Берешь и ставишь.
Тут некоторые граждане вообще делились п-цомой вида "и поверх всей этой хрени нарезано zvol'ов, в которых живут виртуалки с вантузом б-гопротивным под bhyve". (Что внутре - не признались, но полагаю, не шибко ошибусь, предположив что так прячут чорную-пречорную 1С. Правда, я не понял, зачем им шесть штук.)
На момент дележа - работало.
> У вас всё и на NTFS прекрасно работает.да, так как-то:
/dev/sda1 3.7T 203M 3.7T 1% /mnt
/dev/sda1 on /mnt type fuseblk (ro,relatime,user_id=0,group_id=0,default_permissions,allow_other,blksize=4096)- похоже, новый гуанокластер будет взлетать прямо в таком виде. Зато легко чинить, когда накроется.
У фрибсд все прекрасно с GELI и AESNI
> У фрибсд все прекрасно с GELI и AESNIкстати, а вот это - я бы рекомендовал тестировать.
Были звоночки, что одновременное использование geli, aesni.ko и zfs в сочетании с попытками подергать то же самое из userspace - приводят к... хм... интересным результатам.(в том случае- человек старался эти самые результаты получить, но где гарантия, что у вас не еще более извращенный случай)
Более 10 лет пользуюсь. Нет проблем вообще.
> Более 10 лет пользуюсь. Нет проблем вообще.главное, не апгрейди (у нас работающий aesni.ko - с 2013го, и по крайней мере одной мелкой проблемы в твоей "более десяти лет" нету ;-)
Каков администратор - таков и результат.
Если голова из жопы то и результат тудаже.
Насколько во фряхе все это стройно и красиво в GEOM GELI, настолько пропорционально коряво в Лине.
Как она может ускорить работу шифрованного диска или раздела, она проста пропускает его, вот и скорость/ Вообще нелезти в мои диски.
Лучше бы ты написание коммента будучи бухим пропустил.
Ускорение достигается за счёт того, что исключается двойная работа.Когда dm-crypt писался, CryptoAPI в ядре работало синхронно, поэтому в dm-crypt добавили некоторую логику по управлению очередями. Сейчас CryptoAPI лавно уже работает асинхронно, а dm-crypt выполняет с этими очередями ненужную более работу, которая, как нетрудно понять, вовсе не ускоряет процесс.
Ясно-понятно, на обычных HDD всё это будет тормозить нещадно.
HDD и так тормозит, по сравнению с SSD. Без всякого шифрования.
Ничё не тормозит. Линейная скорость под 300 мегабайт в секунду, самое то под данные. У ссд саташных в районе 600. Вот случайное чтение это ад. Зато могу назвать явное преимущество hdd перед ssd - удаление файлов мгновенное. На компиляции всяких там браузеров заметно, ссд очень медленно файлы удаляет. Весь профит от быстрого io куда-то исчезает сразу, поэтому ссд можно пользоваться, только если удалять файлы в процессе не надо.
Игаркин докладывал на USENIX, что этот патч только для amd64 и его AES-NI, ускоряет только aes-xts и проигрывает в скорости на больших объёмах данных штатному режиму с очередями.
> Игаркин докладывал на USENIX, что этот патч только для amd64 и его
> AES-NI, ускоряет только aes-xts и проигрывает в скорости на больших объёмах
> данных штатному режиму с очередями.опачки... а можно ссылку или хотя бы, блин - год?!
>> Игаркин докладывал на USENIX, что этот патч только для amd64 и его
>> AES-NI, ускоряет только aes-xts и проигрывает в скорости на больших объёмах
>> данных штатному режиму с очередями.
> опачки... а можно ссылку или хотя бы, блин - год?!Имя опять напутал, пардон. Игнат Корчаги это был на USENIX-овской Vault '20:
https://www.youtube.com/watch?v=gqpUXGV8XXg
а, спасибо, вот, так сказать, для разнообразия, и первоисточник.И начинается сразу же с оговорочки что "мы тут не про немодные-немолодежные rotating disks", то есть эта сторона вопроса вообще сразу отброшена за ненадобностью. Ооок.
А на 20:24 и вовсе сеанс разоблачения магии :-(
Ну и "померьте сами и сообщите нам результат". И только опеннетовские эксперты, как обычно, готовы расшибить лоб - "cloudflare не может быть неправа!" - а мерять реальные сетапы низачем не надо.
Главное - святая вера.
Пора форкать значит.
и зачем нам твой форк клаудфлери? Нам и одной-то много.
"дерево поиска red-black"
А "красно-чёрное дерево" уже расово неверно? =)
> А "красно-чёрное дерево" уже расово неверно? =)"Косыночное" дерево было бы, наверное, более понятно на современном русском.
Сначала - 7 раз. Потом в 2 раза на RAM диске. Потом на системе "Реальное оборудование". ИМХО гора мышь родила - ничего прям такого не сделали и графики загрузки CPU не привели. Ну сделали очередную полку жрущую все процессоры.
> ИМХО гора мышь родила - ничего прям такого не сделали~пятикратное ускорение на своей специализированной олимп...задаче - получили, а чеготакова ты хотел от них? Для себя ж старались.
> и графики загрузки CPU не привели.
смотри:
100% --------------------------------
...
0%потому что если процессор этим тестом загружен не на 100%, то какую нёх ты тогда тестируешь?
> Ну сделали очередную полку жрущую все процессоры.
1. для того и брали.
2. разница - в количестве байтиков при том же числе "всех", перемалываемых этой полкойнам с тобой - да, особой пользы не будет, потому что вряд ли дядя нам подарит миллион терабайт ssd, а на rotating дисках эта штука, скорее всего, будет медленнее чем вариант с очередями (очереди перемалываются процессором в разы быстрее, чем диск жует байты - у него есть на это достаточно времени)
> смотри:
> 100% --------------------------------
> ...
> 0%
> потому что если процессор этим тестом загружен не на 100%, то какую
> нёх ты тогда тестируешь?Так процессор загружен в 100% при любой синхронной задаче. Природа такая у компа - поэтому и сделали нормальные очереди. А тут реально сделали даунгрейд и начали этим гордиться.
Пока коммерческая шарага не сделает, опенсорс и не подумает. Так и будут сидеть довольные со своимим 100мбит/с и говорить что все работает