https://www.opennet.me/openforum/vsluhforumID3/54017.html Компания Sun Microsystems представила (https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_SMI-Site/en_US/-/USD/ViewProductDetail-Start?ProductRef=LUSTRE-180-G-F@CDS-CDS_SMI) релиз кластерной файловой системы Lustre 1.8.0 (http://wiki.lustre.org/index.php/Lustre_1.8), используемой в Linux кластерах, входящих в десятку самых мощных суперкомпьютеров мира (http://www.top500.org/).<br><br><br><br>Из новшеств (http://wiki.lustre.org/index.php/Use:Change_Log_1.8), появившихся в версии 1.8, можно отметить:<br><br><br><br>- Переход на Linux ядра: 2.6.22.14 с kernel.org, RHEL5 kernel-2.6.18-92.1.17.el5 и SLES10 SP2 kernel-2.6.16.60-0.31;<br>- Поддержка кеширования на стороне OSS сервера;<br>- Адаптивные таймауты (adaptive timeouts) включены по умолчанию;<br>- Добавлена возможность использования блоков OST в файлах в групповом порядке (1,3,4,7,8), а не в строго последовательном, как это было ранее (1,2,3,4,5,6,7,8) (OST Pools support);<br>- Улучшения в инструменте управления квотами;<br>- Раздельный запуск серв...<br><br>URL: https://cds.su https://www.opennet.me/openforum/vsluhforumID3/54017.html#11 Sun, 10 May 2009 19:07:32 GMT &gt;[оверквотинг удален]<br>&gt;не к месту . <br>&gt;У люстры есть ( были в 1.6 ) проблемы с туевой <br>&gt;хучей фаилов , mds напрягается :) <br>&gt;У *меня* сложилось мнение , что чтобы люстру раскачать - <br>&gt;надо много ( видимо сотни ) нодов и относительно <br>&gt;большие файлы . <br>&gt;<br>&gt;Glusterfs , по *моему* мнению , раскачивается на десятках машин <br>&gt;относительно без проблем . <br>&gt;<br><br>Дебаг - который включен практически по максиуму в деволтовом варианте - не пробывали выключить ?:)<br>Опять же общие слова "с туевой кучей файлов", хотелось бы уточнений - параметры FS, какие операции?<br>Есть ли shared доступ к файлу, или каждая нода работает со своими файлами и тп.<br>Что используется в роли интерконекта - обычный зернет с tcp поверх (сакс) или 10gigE, или IB (что самое лучшее)?<br><br>PPS. собственный overhead mds над ext3/ext4 - очень маленький, больше влияет сетевой транспорт ибо он дает задержки на мелком обмене.<br> https://www.opennet.me/openforum/vsluhforumID3/54017.html#10 Sun, 10 May 2009 19:00:02 GMT &gt;&gt;спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)<br>&gt;<br>&gt;а если у люстры пара нод сдохнет во время теста, как рвалка, <br>&gt;не отвалится? <br><br>Не отвалится. механизмы failover / failout + recovery значильно более правильный чем у glusterfs.<br>А как там со страйпингом в gluster - оно уже научилось утилизировать всю полосу сетевой? или все так же striping is bad - потому как мы его и рековери для этого случая реализовать не можем ?<br><br>PS. покажите хоть один кластер в TOP500 с glusterfs?<br>PPS. усложним задачу - покажите хоть один в top100, и top10.<br>А люстра вот стоит на 7 из TOP10.<br><br> https://www.opennet.me/openforum/vsluhforumID3/54017.html#9 Sun, 10 May 2009 18:56:33 GMT Any patches are welcome.<br><br>PPS. дебиановцы как-то собирают пакеты и ничего, а в генте нельзя выясняется..<br> https://www.opennet.me/openforum/vsluhforumID3/54017.html#8 Sun, 10 May 2009 06:36:34 GMT А пацаны , где бы они не сидели , тут вообще не к месту . <br>У люстры есть ( были в 1.6 ) проблемы с туевой хучей фаилов , mds напрягается :) <br>У *меня* сложилось мнение , что чтобы люстру раскачать - надо много ( видимо сотни ) нодов и относительно большие файлы . <br><br>Glusterfs , по *моему* мнению , раскачивается на десятках машин относительно без проблем .<br> <br> https://www.opennet.me/openforum/vsluhforumID3/54017.html#7 Sat, 09 May 2009 15:15:22 GMT ну вот если будет держать апстрим ядра то будет хорошо.<br>я вообще хотел когда то поддержку люстры в генту закомитеть но как то не срослось с ней.<br><br>ЗЫ вообще есть железо где 22 ядро работать не сможет. так что жаль что нет поддержки новых ядер<br> https://www.opennet.me/openforum/vsluhforumID3/54017.html#6 Sat, 09 May 2009 14:32:41 GMT &gt;спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)<br><br>а если у люстры пара нод сдохнет во время теста, как рвалка, не отвалится?<br> https://www.opennet.me/openforum/vsluhforumID3/54017.html#5 Sat, 09 May 2009 13:26:22 GMT &gt;А с glusterfs кто нибудь сравнивал новую люстру ? <br>&gt;Старая (1.6 ) сливала вчистую ... <br><br>А пацаны в Cray и HP (серия стораджей SFS) то не знают :) На каких операциях, можно поинтересоваться?<br>http://gluster.org/docs/index.php/GlusterFS_1.3.pre2-VERGACION_vs_Lustre-1.4.9.1_Various_Benchmarks#Directory_Listing_Benchmark<br>если об этом.. то давайте посмотрим внимательно<br>1) тест env описано не вменяемое - 10 серверов, 20 клиентов.. и все?<br>2) Настройки люстры никто не показал, как и glusterfs. Да если люстра выставить lnet.debug=-1 / lnet.subsystem_debug=-1, у нее падает производительность раза в 3-4, по сравнению с установкой теж же переменных в 0.<br>Размер журнала не указан, не указан какой страйпинг используется - сразу на все oss или на 1, не понятно.<br>3) время посчитали, а где io load, или cpu load с серверных и тп нод?<br>странный бенчмарк..<br><br>спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)<br> https://www.opennet.me/openforum/vsluhforumID3/54017.html#4 Sat, 09 May 2009 13:09:44 GMT Patchless client - работает до .27 ядра (лично делал эту задачу).<br>Сервера - работают, на .22 - работа по поддержке .27 в процессе, там основная проблема в миграции ldiskfs патчей на ext4, так как ext4 это практически то что люстра использует в качестве backend storage - уже года 2-4.<br>Но в тоже время существуют некоторые отличия, существовании дополнительных callback вызываемых по концу каждой транзакции, некоторый тюнинг и тп.<br> https://www.opennet.me/openforum/vsluhforumID3/54017.html#3 Sat, 09 May 2009 08:13:49 GMT А с glusterfs кто нибудь сравнивал новую люстру ? <br>Старая (1.6 ) сливала вчистую ...<br>