forum.opennet.ru - "Выпуск кластерной ФС Lustre 2.13" (50)

"Выпуск кластерной ФС Lustre 2.13"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Выпуск кластерной ФС Lustre 2.13"	+/–
Сообщение от opennews (??), 09-Дек-19, 09:44
Опубликован релиз кластерной файловой системы Lustre 2.13, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты... Подробнее: https://www.opennet.me/opennews/art.shtml?num=51994
Ответить \| Правка \| Cообщить модератору

Оглавление

у меня есть кластер из стационарного компютера и ноутбука Как задействоват lust, Аноним (1), 09:44 , 09-Дек-19, (1) –5

оно тебе не надо, Аноним (4), 10:02 , 09-Дек-19, (4) +7
Сперва придётся купить infiniband-карты на оба узла и раз уж пошла такая пьянка , Michael Shigorin (ok), 20:15 , 09-Дек-19, (36) +4

Ой сострил, ну просто молодец, Петросян нервно курит в сторонке , пацик на моцике (?), 08:08 , 10-Дек-19, (45) –2
Можно соединять напрямую без коммутатора , anonymous (??), 12:21 , 11-Дек-19, (48)

Сводки Top500 org не содержат указаний на типы используемых файловых систем Ссы, Ю.Т. (?), 10:00 , 09-Дек-19, (2) +1

Поддерживаю Модераторы, плз, отредактируйте новость, так как ссылка на Top500 o, Аноним (4), 10:06 , 09-Дек-19, (5)

А если бы не было ссылки, что бы спросил Типа, о каких таких крупнейших Linux-, Штунц (?), 11:17 , 09-Дек-19, (10)

Всё ттх относящееся к Lustre, находится на сайте Lustre - оттуда и надо брать со, Аноним (16), 11:30 , 09-Дек-19, (16) +6

можно еще погуглить Cray XC Sonecsion Lustre, Аноним (22), 12:13 , 09-Дек-19, (22)

к тому же это _вычислительные_ кластеры, а люстра совершенно не для них придуман, пох. (?), 10:09 , 09-Дек-19, (6) –2

Интегрированная ФС и вычислительному кластеру не помешала бы А то туда прогресс, Ю.Т. (?), 10:32 , 09-Дек-19, (9) –1

у вас какой-то допопотопный кластер вот Cray XC поставляется с Lustre, IBM - с , Аноним (22), 11:23 , 09-Дек-19, (14) –1

Да мы вообще лохи, фули И выделенной электростанции, что питать Cray или IBM, у, Ю.Т. (?), 11:59 , 09-Дек-19, (18) –1

на 8 дискетах или лучше на пленках как в 1046 было , Аноним (22), 12:09 , 09-Дек-19, (20) +1

просто вычислительному кластеру - совсем необязательно нужна такая большая, даже, пох. (?), 11:33 , 09-Дек-19, (17) –1

Петабайты и тыщи узлов, однако Что туда совать-то предложите PanFS ещё видал, Michael Shigorin (ok), 20:16 , 09-Дек-19, (38)

Как мало ты Миша видел Топ1 пользует https www ibm com support knowledgecen, Аноним (49), 18:22 , 11-Дек-19, (49) –1

Так я и не претендую - Бимерская установка в соседнем зале стояла поди, там , Michael Shigorin (ok), 18:32 , 11-Дек-19, (50)

Точно-точно не для них , Michael Shigorin (ok), 20:15 , 09-Дек-19, (37)

везде где есть слово Cray, можете читать Lustre IBM толкает свою GPFS остальное, Аноним (22), 11:19 , 09-Дек-19, (11) +3

вообще, откуда дровишки насчёт большей части систем , Ю.Т. (?), 10:01 , 09-Дек-19, (3) –1

если не путать системы с петабайтными хламохранилищами с top500 выислительных -т, пох. (?), 10:10 , 09-Дек-19, (7) –4

Так ведь, кажется, у гугля свой внук W googleFS есть , Ю.Т. (?), 10:30 , 09-Дек-19, (8) –1
у гугла поменьше чем в каком нить ORNL ну и по факту эти Top500 это смесь люстр, Аноним (22), 11:22 , 09-Дек-19, (13) +1
Вы говорите, говорите c , Аноним (27), 15:47 , 09-Дек-19, (27)

от тех кто эти системы из Top500 руками шупает и cапортит Видим слова Cray, DDN,, Аноним (22), 11:20 , 09-Дек-19, (12) +2

Видим enterprise storage - читаем GlusterFS, pofigist (?), 16:25 , 09-Дек-19, (28)

А-А-А-А-А-А-А , пох. (?), 18:16 , 09-Дек-19, (29)
вот сколько щупал грязными лапами машины из Top500 - не на одной не видел Gluste, Аноним (22), 18:38 , 09-Дек-19, (31) +1

Top500 - ни разу не enterprise Это штучные, заказные изделия, а типичный enterp, Pofigis (?), 20:10 , 09-Дек-19, (35)

Top500 это нефига не штучные изделия Это обычная линейка NetAPP, DDN, Seagate т, Аноним (22), 07:15 , 10-Дек-19, (42)

То что изделие собранно из стандартных кирпичиков не отменяет его штучности , Pofigis (?), 07:47 , 10-Дек-19, (44)

ох поверке тому кто эту колбасу видит постоянно Нету там штучности особенно в, Аноним (22), 16:35 , 10-Дек-19, (46)

он же вам про энтерпрайз - которые ип ся за деньги, а не устраивают шоу сегод, пох. (?), 21:53 , 09-Дек-19, (40)

Да хоть про какой Весь этот top500 сделан из типовых решений, которые тупо машт, Аноним (22), 07:43 , 10-Дек-19, (43)

Мне кажется, скорее из типовых решений двух-трёхлетней перспективы для ДЦ Т , Michael Shigorin (ok), 15:18 , 11-Янв-21, (52)

Тут, кстати, одни знакомые интересовались люстроводами -- если вдруг Вы прочтёте, Michael Shigorin (ok), 14:24 , 11-Янв-21, (51)

https 01 org lustre-softwareLustre is the most widely-used file system in supe, Аноним (15), 11:23 , 09-Дек-19, (15) +1

ссылается на top500 org вообще то же Я как бы не против этого изделия, но, Ю.Т. (?), 12:01 , 09-Дек-19, (19)
IO500 сейчас цветет и пахнет , Аноним (22), 12:10 , 09-Дек-19, (21)

как оно по сравнению с ceph , Аноним (23), 12:20 , 09-Дек-19, (23)

Честно скажу, Lustre не щупал, чисто по архитектуре Lustre нужно тем, у кого оче, Всем Анонимам Аноним (?), 14:28 , 09-Дек-19, (25) –1

Не надо вводить в заблуждение там 2 компоненты - MDT OST На первом - метаданн, Аноним (22), 15:42 , 09-Дек-19, (26) +3

А на картинке в статейке - четыре роутер, внезапно, тоже компонент, и тоже нужн, пох. (?), 18:21 , 09-Дек-19, (30) –1

вы старые картинки не смотрите роутер нужен для конвертации интерфейсов - если , Аноним (22), 18:41 , 09-Дек-19, (33) +2

а резервирование данных-то в этом случае кто делать будет Нам же сказали что лю, пох. (?), 19:57 , 09-Дек-19, (34) –1

dm или md в ядре Один фик это быстрее чем нынче аппаратные рейды PS если кт, Аноним (22), 21:05 , 09-Дек-19, (39) +2

Интересно, как там POHMELFS elliptics поживает Когда-то автор целился в конку, _dz (?), 02:59 , 10-Дек-19, (41) +3

А никак он в конкуренты не целился абсолютно хотя бы тем что i_mutex у него гл, Аноним (22), 16:38 , 10-Дек-19, (47)

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 09-Дек-19, 09:44 –5 +/–

у меня есть кластер из стационарного компютера и ноутбука. Как задействоват lustre FS

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #4, #36

2. Сообщение от Ю.Т. (?), 09-Дек-19, 10:00 +1 +/–

Сводки Top500.org не содержат указаний на типы используемых файловых систем. Ссылка на этот ресурс неуместна.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #5, #6, #11

3. Сообщение от Ю.Т. (?), 09-Дек-19, 10:01 –1 +/–

...вообще, откуда дровишки насчёт "большей части систем"?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #7, #12, #15

4. Сообщение от Аноним (4), 09-Дек-19, 10:02 +7 +/–

оно тебе не надо

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

5. Сообщение от Аноним (4), 09-Дек-19, 10:06 +/–

Поддерживаю. Модераторы, плз, отредактируйте новость, так как ссылка на Top500.org вставлена произвольно и без всяких оснований.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #10

6. Сообщение от пох. (?), 09-Дек-19, 10:09 –2 +/–

к тому же это _вычислительные_ кластеры, а люстра совершенно не для них придумана

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #9, #37

7. Сообщение от пох. (?), 09-Дек-19, 10:10 –4 +/–

если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное, правильно - "а что, еще кто-то есть?"
И принадлежат все эти системы - гуглю, гуглю, и, еще  вот - гуглю, например.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #8, #13, #27

8. Сообщение от Ю.Т. (?), 09-Дек-19, 10:30 –1 +/–

> если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное,
> правильно - "а что, еще кто-то есть?"
> И принадлежат все эти системы - гуглю, гуглю, и, еще  вот
> - гуглю, например.
Так ведь, кажется, у гугля свой внук^W googleFS есть?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

9. Сообщение от Ю.Т. (?), 09-Дек-19, 10:32 –1 +/–

> к тому же это _вычислительные_ кластеры, а люстра совершенно не для них
> придумана
Интегрированная ФС и вычислительному кластеру не помешала бы. А то туда прогресс, сюда прогресс, а на узлах-то NFS.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #14, #17

10. Сообщение от Штунц (?), 09-Дек-19, 11:17 +/–

А если бы не было ссылки, что бы спросил? Типа, о каких таких "крупнейших Linux-кластерах" идет речь и почему нет ссылки.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #16

11. Сообщение от Аноним (22), 09-Дек-19, 11:19 +3 +/–

везде где есть слово Cray, можете читать Lustre.
IBM толкает свою GPFS. остальное - где что, Dell / EMC  - это Lustre

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

12. Сообщение от Аноним (22), 09-Дек-19, 11:20 +2 +/–

от тех кто эти системы из Top500 руками шупает и cапортит.
Видим слова Cray, DDN, Dell, HPe, EMC - читаем слово Lustre.
видим слова IBM - читаем GPFS.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #28, #51

13. Сообщение от Аноним (22), 09-Дек-19, 11:22 +1 +/–

у гугла поменьше чем в каком нить ORNL..
ну и по факту эти Top500 это смесь люстры + GPFS и всяких object storage - где-то HDF5 - где-то NVMe over fabric..

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

14. Сообщение от Аноним (22), 09-Дек-19, 11:23 –1 +/–

у вас какой-то допопотопный кластер. вот Cray XC поставляется с Lustre, IBM - с GPFS.. а что бы с NFS.. можно - но типа Васяна на коленки из 20 узлов. Или как вот с железкой которую разработали под новосибом.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #18

15. Сообщение от Аноним (15), 09-Дек-19, 11:23 +1 +/–

https://01.org/lustre-software
Lustre is the most widely-used file system in supercomputing, powering over 60 percent of the TOP100 supercomputing sites worldwide.

http://wiki.lustre.org/images/6/64/LustreArchitecture-v4.pdf
The majority of the top 100 fastest computers, as measured by top500.org, use Lustre for their high performance, scalable storage.

В прошлом году пвытались сделать вариант Top500 по производительности ввода/вывода, но инициатива заглохла https://www.vi4io.org/io500/start

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #19, #21

16. Сообщение от Аноним (16), 09-Дек-19, 11:30 +6 +/–

Всё ттх относящееся к Lustre, находится на сайте Lustre - оттуда и надо брать соответствующую информацию. А бубнёж и левую дезинформацию следует из новости удалить, так как она отношения к топику никакого не имеет. На топ500 не детализируют фс, а значит в новости написана произвольная отсебятна. Всё это довольно очевидно, но, видимо, господин Штунц встал сегодня не с той ноги или решил заняться демагогией и поводить вилами по воде.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #22

17. Сообщение от пох. (?), 09-Дек-19, 11:33 –1 +/–

просто вычислительному кластеру - совсем необязательно нужна такая большая, даже если он из top500.
хотя, конечно, nfs там окажется - навряд ли.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #38

18. Сообщение от Ю.Т. (?), 09-Дек-19, 11:59 –1 +/–

> у вас какой-то допопотопный кластер. вот Cray XC поставляется с Lustre, IBM
> - с GPFS.. а что бы с NFS.. можно - но
> типа Васяна на коленки из 20 узлов. Или как вот с
> железкой которую разработали под новосибом.
Да мы вообще лохи, фули. И выделенной электростанции, что питать Cray или IBM, у нас тоже нет.
Ну, и как сбрасывать большие файлы с модулей?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #20

19. Сообщение от Ю.Т. (?), 09-Дек-19, 12:01 +/–

> https://01.org/lustre-software
...ссылается на top500.org "вообще"
> http://wiki.lustre.org/images/6/64/LustreArchitecture-v4.pdf
...то же.
Я как бы не против этого изделия, но хотелось бы видеть более конкретные сведения.
Потому что, когда я вижу слова IBM или Dell, я читаю IBM или Dell, а вот: "when you assume, you're making an ass both of you and me".

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15

20. Сообщение от Аноним (22), 09-Дек-19, 12:09 +1 +/–

на 8" дискетах ? :) или лучше на пленках как в 1046 было :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18

21. Сообщение от Аноним (22), 09-Дек-19, 12:10 +/–

IO500 сейчас цветет и пахнет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15

22. Сообщение от Аноним (22), 09-Дек-19, 12:13 +/–

можно еще погуглить Cray XC + Sonecsion + Lustre

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

23. Сообщение от Аноним (23), 09-Дек-19, 12:20 +/–

как оно по сравнению с ceph?

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #25

25. Сообщение от Всем Анонимам Аноним (?), 09-Дек-19, 14:28 –1 +/–

Честно скажу, Lustre не щупал, чисто по архитектуре.
Lustre нужно тем, у кого очень много storage я так понимаю и у кого много денег. Там куча компонент и каждая не дай бог чтобы упала, должно быть все 10 раз зарезервировано.
Ceph работает немного по-другому, там изначально object storage, желательно полностью дисками управлять. И дизайн такой, что не важно качество железа, не нужно чтобы можно было процы заменять вживую и т.п. Все распределено и падающий сервер - это не исключительная ситуация. Естественно, будут небольшие проседания если что-то отвалится, но в общем все живучее.
Т.е. архитектура ceph не требует гиперживучести от железа, так и дает возможность легко делать upgrade-ы и проводить работы. Да и компонентов не много, можно совмещать все на тех же серверах, где хранение идет. Меньше исключений - проще и дешевле обслуживание.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #26

26. Сообщение от Аноним (22), 09-Дек-19, 15:42 +3 +/–

Не надо вводить в заблуждение.
>  Там куча компонент и каждая не дай бог чтобы упала, должно быть все 10 раз зарезервировано.
там 2 компоненты - MDT / OST. На первом - метаданные - втором данные. для резервирования достаточно простой корзины с jbod -  которая доступна с двух контролеров. Совмещать из можно даже на одном сервере.
Основная разница это в хранении.
Если у вас очень много денег - вы можете поставить несколько сторожей с однаковым объемом для зеркалирования в ceph - то у вас будет защита данных.
Так как в lustre mirror - это вещь очень опциональная - за защиту данных отвечает локальный рейд + сетевое recovery.
При этом по прозводительности ceph по меньше.. по меньше..

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25 Ответы: #30

27. Сообщение от Аноним (27), 09-Дек-19, 15:47 +/–

>>если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное, правильно - "а что, еще кто-то есть?"
>И принадлежат все эти системы - гуглю, гуглю, и, еще  вот - гуглю, например.
Вы говорите, говорите ... (c)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

28. Сообщение от pofigist (?), 09-Дек-19, 16:25 +/–

Видим enterprise storage - читаем GlusterFS

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #29, #31

29. Сообщение от пох. (?), 09-Дек-19, 18:16 +/–

А-А-А-А-А-А-А!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28

30. Сообщение от пох. (?), 09-Дек-19, 18:21 –1 +/–

> там 2 компоненты - MDT / OST
А на картинке в статейке - четыре (роутер, внезапно, тоже компонент, и тоже нужно резервировать) не считая собственно OST (в роли какового вроде бы по сей день обычные hw raid, да?). Мне кажется, кто-то хочет нас обмануть?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #33

31. Сообщение от Аноним (22), 09-Дек-19, 18:38 +1 +/–

вот сколько щупал грязными лапами машины из Top500 - не на одной не видел GlusterFS.
Даже у крупных ентерпрайс клиентов - glusterFS не пахнет.
Им пахнет только там где пытались играть в виртуалочки.. и все.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28 Ответы: #35, #40

33. Сообщение от Аноним (22), 09-Дек-19, 18:41 +2 +/–

вы старые картинки не смотрите..
роутер нужен для конвертации интерфейсов - если у вас один тип сети - то вам это не надо.
MSG + MDT - в одной компоненте - это штатный сетап.. вот и получается что у вас 2 типа компонент.
>по сей день обычные hw raid,
какой рейд - вы чего? JBOD за уши хватает.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #34

34. Сообщение от пох. (?), 09-Дек-19, 19:57 –1 +/–

> какой рейд - вы чего? JBOD за уши хватает.
а резервирование данных-то в этом случае кто делать будет? Нам же сказали что люстриный mirror - неправильно, мы и поверили.
Попробовать собрать, что-ли, пока есть на чем... хотя толку от линукс-онли хранилища...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #39

35. Сообщение от Pofigis (?), 09-Дек-19, 20:10 +/–

Top500 - ни разу не enterprise. Это штучные, заказные изделия, а типичный enterprise это типовое, стандартное решение. Крупный enterprise, типа РЖД, ну или хотя бы гугля - это тоже заказные решения и свои даже не отделы, а целые департаменты разработчиков, там ИТ-отдел по кол-ву сотрудников не влезает в целую фирма из "среднего" бизнеса. :)
glusterFS, OpenFlow и прочие SDN это да - там где "играются в виртуалочки". с количеством нод в несколько сотен минимум, парой дестяков СХД и геозащитой.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #42

36. Сообщение от Michael Shigorin (ok), 09-Дек-19, 20:15 +4 +/–

Сперва придётся купить infiniband-карты на оба узла и раз уж пошла такая пьянка -- очевидно, infiniband-коммутатор тоже понадобится. </>

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #45, #48

37. Сообщение от Michael Shigorin (ok), 09-Дек-19, 20:15 +/–

Точно-точно не для них?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6

38. Сообщение от Michael Shigorin (ok), 09-Дек-19, 20:16 +/–

Петабайты и тыщи узлов, однако.  Что туда совать-то предложите?  PanFS ещё видал, да.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17 Ответы: #49

39. Сообщение от Аноним (22), 09-Дек-19, 21:05 +2 +/–

dm :) или md в ядре. Один фик это быстрее чем нынче аппаратные рейды.

PS. если кто-то сильно хочет - может поискать старую версию Lustre работающую через FUSE. работало даже на маке.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34

40. Сообщение от пох. (?), 09-Дек-19, 21:53 +/–

> вот сколько щупал грязными лапами машины из Top500
он же вам про энтерпрайз - которые ип...ся за деньги, а не устраивают шоу "сегодня трахнул слона, завтра кита, послезавтра иду трахать Левиафана"
> Даже у крупных ентерпрайс клиентов - glusterFS не пахнет.
> Им пахнет только там где пытались играть в виртуалочки.. и все.
с какого боку он к виртуалочкам? Он для них совершенно непригоден, поскольку все варианты "distributed" в современных версиях имеют пометочку "MapReduce usage only", а в несовременных - "осторожно, мины!"
но ссыкотно, да. Я локации тех ентер-прайс клиентов, которые купили RHGS (а пуще того тех которые не купили, а схватили 6ешплатное) как раз и пытаюсь осторожно выяснить, дабы обходить десятой дорогой.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #43

41. Сообщение от _dz (?), 10-Дек-19, 02:59 +3 +/–

Интересно, как там POHMELFS/elliptics поживает?.. Когда-то автор целился в конкуренты люстре.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #47

42. Сообщение от Аноним (22), 10-Дек-19, 07:15 +/–

Top500 это нефига не штучные изделия.
Это обычная линейка NetAPP, DDN, Seagate (теперь Cray) - которая может использоваться и там и там..
Эти же хранилки стоят в куче контор поменьше.. сильно меньше.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #44

43. Сообщение от Аноним (22), 10-Дек-19, 07:43 +/–

> он же вам про энтерпрайз - которые ип...ся за деньги, а не устраивают шоу "сегодня трахнул слона, завтра кита, послезавтра иду трахать Левиафана"
Да хоть про какой. Весь этот top500 сделан из типовых решений, которые тупо маштабируются количеством.
Что compute node - которые типовая стойка с лезвиями которые имеют свой свич и подключаются дальше в дерево.
что стораджи - которые типовая дисковая полка - которых можно поставить хоть 2 - хоть 200..
Не хочется искать по NetAPP / DDN. Вот пример шаблонной полки Сегейта которая идет типа Sonexion в кластерах
https://www.span.com/product/Seagate-EXOS-X-5U84-RAID-X5U84-...
(первое что у гугле нашлось - можно еще поискать Seagate 5U84) - 2U24 вообще что-то стороннее.
> с какого боку он к виртуалочкам?
Шапочка двигала ее так. Как там на самом деле - я не знаю.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40 Ответы: #52

44. Сообщение от Pofigis (?), 10-Дек-19, 07:47 +/–

То что изделие собранно из стандартных кирпичиков не отменяет его штучности.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42 Ответы: #46

45. Сообщение от пацик на моцике (?), 10-Дек-19, 08:08 –2 +/–

Ой сострил, ну просто молодец, Петросян нервно курит в сторонке.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36

46. Сообщение от Аноним (22), 10-Дек-19, 16:35 +/–

ох.. поверке тому кто эту колбасу видит постоянно. Нету там штучности особенно в области хранения.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #44

47. Сообщение от Аноним (22), 10-Дек-19, 16:38 +/–

> Интересно, как там POHMELFS/elliptics поживает?.. Когда-то автор целился в конкуренты
> люстре.
А никак. он в конкуренты не целился абсолютно. хотя бы тем что i_mutex у него глобальный - а значит запись с двух клиентов в один файл не возможна в принципе. Он сам об этом говорил и сказал что менять эту логику не собирается.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

48. Сообщение от anonymous (??), 11-Дек-19, 12:21 +/–

Можно соединять напрямую (без коммутатора)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36

49. Сообщение от Аноним (49), 11-Дек-19, 18:22 –1 +/–

Как мало ты Миша видел... Топ1 пользует https://www.ibm.com/support/knowledgecenter/en/SSFKCN_4.1.0/...
ибо IBM.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #50

50. Сообщение от Michael Shigorin (ok), 11-Дек-19, 18:32 +/–

> Как мало ты Миша видел...
Так я и не претендую :-)  Бимерская установка в соседнем зале стояла (поди, там же и стоит), но её и видеть особо не хотелось.
Кстати, да -- там в трёх соседних машзалах три разные кластерные файловые системы применялись, получается.
PS: хотя вряд ли здесь так уж много тех, кто видал *исходники* panfs.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #49

51. Сообщение от Michael Shigorin (ok), 11-Янв-21, 14:24 +/–

> от тех кто эти системы из Top500 руками шупает и cапортит.
> Видим слова Cray, DDN, Dell, HPe, EMC - читаем слово Lustre.
Тут, кстати, одни знакомые интересовались люстроводами -- если вдруг Вы прочтёте это письмо и интересно, маякните мне на mike@altlinux.org, пожалуйста.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12

52. Сообщение от Michael Shigorin (ok), 11-Янв-21, 15:18 +/–

> Весь этот top500 сделан из типовых решений, которые тупо маштабируются количеством.
Мне кажется, скорее "из типовых решений двух-трёхлетней перспективы для ДЦ".  Т.е. обкатка как раз на HPC, затем "сползает" в ынтерпрайзъ.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Сообщение от Аноним (1), 09-Дек-19, 09:44	–5 +/–
у меня есть кластер из стационарного компютера и ноутбука. Как задействоват lustre FS
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #4, #36

2. Сообщение от Ю.Т. (?), 09-Дек-19, 10:00	+1 +/–
Сводки Top500.org не содержат указаний на типы используемых файловых систем. Ссылка на этот ресурс неуместна.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #5, #6, #11

3. Сообщение от Ю.Т. (?), 09-Дек-19, 10:01	–1 +/–
...вообще, откуда дровишки насчёт "большей части систем"?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #7, #12, #15

4. Сообщение от Аноним (4), 09-Дек-19, 10:02	+7 +/–
оно тебе не надо
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1

5. Сообщение от Аноним (4), 09-Дек-19, 10:06	+/–
Поддерживаю. Модераторы, плз, отредактируйте новость, так как ссылка на Top500.org вставлена произвольно и без всяких оснований.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2 Ответы: #10

6. Сообщение от пох. (?), 09-Дек-19, 10:09	–2 +/–
к тому же это _вычислительные_ кластеры, а люстра совершенно не для них придумана
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2 Ответы: #9, #37

7. Сообщение от пох. (?), 09-Дек-19, 10:10	–4 +/–
если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное, правильно - "а что, еще кто-то есть?" И принадлежат все эти системы - гуглю, гуглю, и, еще вот - гуглю, например.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #3 Ответы: #8, #13, #27

8. Сообщение от Ю.Т. (?), 09-Дек-19, 10:30	–1 +/–
> если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное, > правильно - "а что, еще кто-то есть?" > И принадлежат все эти системы - гуглю, гуглю, и, еще вот > - гуглю, например. Так ведь, кажется, у гугля свой внук^W googleFS есть?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7

9. Сообщение от Ю.Т. (?), 09-Дек-19, 10:32	–1 +/–
> к тому же это _вычислительные_ кластеры, а люстра совершенно не для них > придумана Интегрированная ФС и вычислительному кластеру не помешала бы. А то туда прогресс, сюда прогресс, а на узлах-то NFS.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #6 Ответы: #14, #17

10. Сообщение от Штунц (?), 09-Дек-19, 11:17	+/–
А если бы не было ссылки, что бы спросил? Типа, о каких таких "крупнейших Linux-кластерах" идет речь и почему нет ссылки.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #5 Ответы: #16

11. Сообщение от Аноним (22), 09-Дек-19, 11:19	+3 +/–
везде где есть слово Cray, можете читать Lustre. IBM толкает свою GPFS. остальное - где что, Dell / EMC - это Lustre
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #2

12. Сообщение от Аноним (22), 09-Дек-19, 11:20	+2 +/–
от тех кто эти системы из Top500 руками шупает и cапортит. Видим слова Cray, DDN, Dell, HPe, EMC - читаем слово Lustre. видим слова IBM - читаем GPFS.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #3 Ответы: #28, #51

13. Сообщение от Аноним (22), 09-Дек-19, 11:22	+1 +/–
у гугла поменьше чем в каком нить ORNL.. ну и по факту эти Top500 это смесь люстры + GPFS и всяких object storage - где-то HDF5 - где-то NVMe over fabric..
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7

14. Сообщение от Аноним (22), 09-Дек-19, 11:23	–1 +/–
у вас какой-то допопотопный кластер. вот Cray XC поставляется с Lustre, IBM - с GPFS.. а что бы с NFS.. можно - но типа Васяна на коленки из 20 узлов. Или как вот с железкой которую разработали под новосибом.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #9 Ответы: #18

15. Сообщение от Аноним (15), 09-Дек-19, 11:23	+1 +/–
https://01.org/lustre-software Lustre is the most widely-used file system in supercomputing, powering over 60 percent of the TOP100 supercomputing sites worldwide. http://wiki.lustre.org/images/6/64/LustreArchitecture-v4.pdf The majority of the top 100 fastest computers, as measured by top500.org, use Lustre for their high performance, scalable storage. В прошлом году пвытались сделать вариант Top500 по производительности ввода/вывода, но инициатива заглохла https://www.vi4io.org/io500/start
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #3 Ответы: #19, #21

16. Сообщение от Аноним (16), 09-Дек-19, 11:30	+6 +/–
Всё ттх относящееся к Lustre, находится на сайте Lustre - оттуда и надо брать соответствующую информацию. А бубнёж и левую дезинформацию следует из новости удалить, так как она отношения к топику никакого не имеет. На топ500 не детализируют фс, а значит в новости написана произвольная отсебятна. Всё это довольно очевидно, но, видимо, господин Штунц встал сегодня не с той ноги или решил заняться демагогией и поводить вилами по воде.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #10 Ответы: #22

17. Сообщение от пох. (?), 09-Дек-19, 11:33	–1 +/–
просто вычислительному кластеру - совсем необязательно нужна такая большая, даже если он из top500. хотя, конечно, nfs там окажется - навряд ли.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #9 Ответы: #38

18. Сообщение от Ю.Т. (?), 09-Дек-19, 11:59	–1 +/–
> у вас какой-то допопотопный кластер. вот Cray XC поставляется с Lustre, IBM > - с GPFS.. а что бы с NFS.. можно - но > типа Васяна на коленки из 20 узлов. Или как вот с > железкой которую разработали под новосибом. Да мы вообще лохи, фули. И выделенной электростанции, что питать Cray или IBM, у нас тоже нет. Ну, и как сбрасывать большие файлы с модулей?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #14 Ответы: #20

19. Сообщение от Ю.Т. (?), 09-Дек-19, 12:01	+/–
> https://01.org/lustre-software ...ссылается на top500.org "вообще" > http://wiki.lustre.org/images/6/64/LustreArchitecture-v4.pdf ...то же. Я как бы не против этого изделия, но хотелось бы видеть более конкретные сведения. Потому что, когда я вижу слова IBM или Dell, я читаю IBM или Dell, а вот: "when you assume, you're making an ass both of you and me".
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #15

20. Сообщение от Аноним (22), 09-Дек-19, 12:09	+1 +/–
на 8" дискетах ? :) или лучше на пленках как в 1046 было :)
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #18

21. Сообщение от Аноним (22), 09-Дек-19, 12:10	+/–
IO500 сейчас цветет и пахнет.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #15

22. Сообщение от Аноним (22), 09-Дек-19, 12:13	+/–
можно еще погуглить Cray XC + Sonecsion + Lustre
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #16

23. Сообщение от Аноним (23), 09-Дек-19, 12:20	+/–
как оно по сравнению с ceph?
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #25

25. Сообщение от Всем Анонимам Аноним (?), 09-Дек-19, 14:28	–1 +/–
Честно скажу, Lustre не щупал, чисто по архитектуре. Lustre нужно тем, у кого очень много storage я так понимаю и у кого много денег. Там куча компонент и каждая не дай бог чтобы упала, должно быть все 10 раз зарезервировано. Ceph работает немного по-другому, там изначально object storage, желательно полностью дисками управлять. И дизайн такой, что не важно качество железа, не нужно чтобы можно было процы заменять вживую и т.п. Все распределено и падающий сервер - это не исключительная ситуация. Естественно, будут небольшие проседания если что-то отвалится, но в общем все живучее. Т.е. архитектура ceph не требует гиперживучести от железа, так и дает возможность легко делать upgrade-ы и проводить работы. Да и компонентов не много, можно совмещать все на тех же серверах, где хранение идет. Меньше исключений - проще и дешевле обслуживание.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #23 Ответы: #26

26. Сообщение от Аноним (22), 09-Дек-19, 15:42	+3 +/–
Не надо вводить в заблуждение. > Там куча компонент и каждая не дай бог чтобы упала, должно быть все 10 раз зарезервировано. там 2 компоненты - MDT / OST. На первом - метаданные - втором данные. для резервирования достаточно простой корзины с jbod - которая доступна с двух контролеров. Совмещать из можно даже на одном сервере. Основная разница это в хранении. Если у вас очень много денег - вы можете поставить несколько сторожей с однаковым объемом для зеркалирования в ceph - то у вас будет защита данных. Так как в lustre mirror - это вещь очень опциональная - за защиту данных отвечает локальный рейд + сетевое recovery. При этом по прозводительности ceph по меньше.. по меньше..
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #25 Ответы: #30

27. Сообщение от Аноним (27), 09-Дек-19, 15:47	+/–
>>если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное, правильно - "а что, еще кто-то есть?" >И принадлежат все эти системы - гуглю, гуглю, и, еще вот - гуглю, например. Вы говорите, говорите ... (c)
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7

28. Сообщение от pofigist (?), 09-Дек-19, 16:25	+/–
Видим enterprise storage - читаем GlusterFS
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #12 Ответы: #29, #31

29. Сообщение от пох. (?), 09-Дек-19, 18:16	+/–
А-А-А-А-А-А-А!
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #28

30. Сообщение от пох. (?), 09-Дек-19, 18:21	–1 +/–
> там 2 компоненты - MDT / OST А на картинке в статейке - четыре (роутер, внезапно, тоже компонент, и тоже нужно резервировать) не считая собственно OST (в роли какового вроде бы по сей день обычные hw raid, да?). Мне кажется, кто-то хочет нас обмануть?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #26 Ответы: #33

31. Сообщение от Аноним (22), 09-Дек-19, 18:38	+1 +/–
вот сколько щупал грязными лапами машины из Top500 - не на одной не видел GlusterFS. Даже у крупных ентерпрайс клиентов - glusterFS не пахнет. Им пахнет только там где пытались играть в виртуалочки.. и все.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #28 Ответы: #35, #40