https://www.opennet.ru/openforum/vsluhforumID3/107308.html Состоялся (http://lists.lustre.org/pipermail/lustre-discuss-lustre.org/2016-March/013360.html) релиз кластерной файловой системы Lustre 2.8 (http://lustre.org/), используемой в большей части крупнейших (http://top500.org) Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS, MDT), управляющие серверы (MGT, MGS), серверы хранения объектов (OSS), серверы размещения объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты (код клиента входит в состав штатного ядра Linux).<br><br>&lt;center&gt;&lt;a href="http://opensfs.org/wp-content/uploads/2013/10/LustreComponents21.gif"&gt;&lt;img src="https://www.opennet.ru/opennews/pics_base/0_1459145226.gif" style="border-style: solid; border-color: #606060; border-width: 1px;max-width:100%;" title="" border=0&gt;&lt;/a&gt;&lt;/center&gt;<br><br><br>В новом выпуске завершена работа по обеспечению возможности задействования нескольк https://www.opennet.ru/openforum/vsluhforumID3/107308.html#27 Fri, 01 Apr 2016 09:48:53 GMT Ещё glusterfs есть, но когда я его щупал (очень давно), это был лютый глючный пц, м.б. после перехода к rh его допилили до чего-то пристойного.<br><br><br> https://www.opennet.ru/openforum/vsluhforumID3/107308.html#26 Fri, 01 Apr 2016 09:47:10 GMT &gt; с Cassandra связываться не будем<br><br>т.е., scylladb тоже не катит?<br> https://www.opennet.ru/openforum/vsluhforumID3/107308.html#25 Wed, 30 Mar 2016 19:26:55 GMT Любопытно :)<br>Выглядит вкусно, eventual consistency, конечно, штука опасная, но в этом конкретном случае проблем не представляет.<br>Спасибо, посмотрим.<br> https://www.opennet.ru/openforum/vsluhforumID3/107308.html#24 Wed, 30 Mar 2016 11:00:30 GMT мб, это http://leo-project.net/leofs/ ?<br> https://www.opennet.ru/openforum/vsluhforumID3/107308.html#23 Wed, 30 Mar 2016 06:53:47 GMT &gt; мало находится <br><br>Благодаря фэйсбуку btrfsом пользуется вся планета.<br> https://www.opennet.ru/openforum/vsluhforumID3/107308.html#22 Tue, 29 Mar 2016 12:10:46 GMT Эти слова бесконечно далеки от конечного решения. Во-первых, с Cassandra связываться не будем - под такую нагрузку внедрять подобный NoSQL можно только вместе с людьми, которые будут его поддерживать. Mongo тут вообще не в тему - она не соответствует исходным требованиям, если их внимательно прочесть.<br><br>Есть Hadoop и Hbase, но в голом виде их использовать также нельзя. Во-первых хранить много мелких объектов раздельно как "файлы" на Hadoop нельзя, он для этого не предназначен. Нужно их объединять группами в архивы и прочее, там свои заморочки. Т.к. файлы должны размазываться равномерно, архивы нужно постоянно менять, могут выплыть заморочки. Мы плотно работаем с HBase и хорошо представляем, сколько неприятностей кроется, если идти по этому пути :) Решаемых, но время, время...<br><br>В HBase класть так просто тоже не выйдет. Слишком неравномерный размер объектов, слишком большой разброс. См. https://www.quora.com/Is-HBase-appropriate-for-indexed-blob-storage-in-HDFS и еще https://issues.apache.org/jira/browse/HBA https://www.opennet.ru/openforum/vsluhforumID3/107308.html#21 Tue, 29 Mar 2016 09:00:18 GMT &gt; Из других улучшений можно отметить поддержку SELinux в клиенте Lustre<br><br>Такое улучшение что клиент может поймать deadlock, причем Intel это не волнует.<br><br><br>&gt; улучшение производительности<br><br>Тесты показывают падение производительности по сравнению с 2.5<br><br>&gt; и эффективности выполнения четвёртой фазы проверки целостности ФС в утилите LFSCK, <br><br>Уже перестала ловить deadlock на OSS ?<br><br>&gt; поддержку работы серверов и клиентов на системах с Red Hat Enterprise Linux 7.x, <br><br>Зашибись - но 7.x был с времен 2.6.<br><br>&gt; возможность выполнения клиентом операций множественного изменения метаданных из многопоточных приложений. <br><br>Спорное улучшение - хорошо работает когда у тебя MDT не догружен, плохо когда работает когда клиентов много. Требует очень много памяти на recovery. Если раньше можно было в 12G уложиться - теперь на сервера меньше 64G ставить смысла нету.<br><br>Хвала Интел!<br> https://www.opennet.ru/openforum/vsluhforumID3/107308.html#20 Tue, 29 Mar 2016 03:20:46 GMT А зачем для этой задачи ФС? Просто складывать в NOSQL (Cassandra самая лютая, но можно и MongoDB).<br> https://www.opennet.ru/openforum/vsluhforumID3/107308.html#19 Mon, 28 Mar 2016 17:39:28 GMT Мысленно дорисуй еще парочку MDS.<br>