Вариант для распечатки		Пред. тема | След. тема
Форум Открытые системы на сервере (Файловые системы, диски / FreeBSD)
Изначальное сообщение		[ Отслеживать ]

"FreeBSD как объединить несколько томов в один логический том."	+/–
Сообщение от sergetv (?), 22-Июн-21, 15:44
Здравствуйте. Есть 4 диска по 2Тb. Нужно их объединить в один логический диск 8Tb, но так, чтобы при выходе из строя любого из дисков файлы с остальных можно было без особых усилий восстановить (в идеале вообще сохранить целостность объединенного логического), а вышедший из строя диск заменить. Потерей файлов с вышедшего из строя можно пренебречь (предполагается резервная копия) Что-то типа gconcat, но с желательным сохранением файловых систем исходных дисков. Спасибо
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 22-Июн-21, 17:19	+1 +/–
> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск > 8Tb, но так, чтобы при выходе из строя любого из дисков > файлы с остальных можно было без особых усилий восстановить Это из области фантастики.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2, #6

2. Сообщение от lavr (ok), 22-Июн-21, 17:24	+1 +/–
>> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск >> 8Tb, но так, чтобы при выходе из строя любого из дисков >> файлы с остальных можно было без особых усилий восстановить > Это из области фантастики. но как хотелось бы обывателю :) (без затрат на избыточность, но чтобы волшебным образом все жило и восстанавливалось и желательно легко и просто)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #3, #4

3. Сообщение от Аноним (1), 22-Июн-21, 18:12	+/–
>>> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск >>> 8Tb, но так, чтобы при выходе из строя любого из дисков >>> файлы с остальных можно было без особых усилий восстановить >> Это из области фантастики. > но как хотелось бы обывателю :) (без затрат на избыточность, но чтобы > волшебным > образом все жило и восстанавливалось и желательно легко и просто) Да уж... Осталось, конечно, спросить, зачем ТС вообще нужен такой объем одним куском. На 4 диска по 2Тб поместиться столько же музыки и фильмов, сколько и если бы склеить эти диски в raid0, плюс будет та самая желанная возможность сохранить "остальное" при выходе из строя любого диска.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #5

4. Сообщение от sergetv (?), 22-Июн-21, 19:26	+/–
> но как хотелось бы обывателю :) (без затрат на избыточность, но чтобы > волшебным > образом все жило и восстанавливалось и желательно легко и просто) Избыточность не нужна, может я неточно описал задачу. Достаточно, чтоб осталось то, что осталось..
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #11, #13

5. Сообщение от sergetv (?), 22-Июн-21, 19:29	+/–
>[оверквотинг удален] >>>> файлы с остальных можно было без особых усилий восстановить >>> Это из области фантастики. >> но как хотелось бы обывателю :) (без затрат на избыточность, но чтобы >> волшебным >> образом все жило и восстанавливалось и желательно легко и просто) > Да уж... > Осталось, конечно, спросить, зачем ТС вообще нужен такой объем одним куском. На > 4 диска по 2Тб поместиться столько же музыки и фильмов, сколько > и если бы склеить эти диски в raid0, плюс будет та > самая желанная возможность сохранить "остальное" при выходе из строя любого диска. А Вы пробовали "спасать" информацию из raid0 из 4-х дисков при выходе из строя одного из них и потом, сменив диск, вводить массив в работу обратно? А если таких массива 4 (на 4-х компах)?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #8, #12

6. Сообщение от sergetv (?), 22-Июн-21, 19:31	+/–
>> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск >> 8Tb, но так, чтобы при выходе из строя любого из дисков >> файлы с остальных можно было без особых усилий восстановить > Это из области фантастики. Думаю, что решение есть. Оставим интригу...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #7, #9, #10

7. Сообщение от tonys (??), 22-Июн-21, 19:36	+/–
>>> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск >>> 8Tb, но так, чтобы при выходе из строя любого из дисков >>> файлы с остальных можно было без особых усилий восстановить >> Это из области фантастики. > Думаю, что решение есть. Оставим интригу... mergerfs
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6

8. Сообщение от Аноним (1), 22-Июн-21, 23:01	+/–
> А Вы пробовали "спасать" информацию из raid0 из 4-х дисков при выходе > из строя одного из них и потом, сменив диск, вводить массив > в работу обратно? Нет, не пробовал, потому что raid0 если и применяют в здравом уме в чистом виде, так только там, где допустима потеря информации.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

9. Сообщение от Аноним (1), 22-Июн-21, 23:01	+/–
> Думаю, что решение есть. Оставим интригу... Ок, удачи в поисках.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6

10. Сообщение от муу (?), 23-Июн-21, 00:34	+/–
>>> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск >>> 8Tb, но так, чтобы при выходе из строя любого из дисков >>> файлы с остальных можно было без особых усилий восстановить >> Это из области фантастики. > Думаю, что решение есть. Оставим интригу... LVM2 Oh, wait ...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6

11. Сообщение от ыы (?), 23-Июн-21, 00:47	+/–
>> но как хотелось бы обывателю :) (без затрат на избыточность, но чтобы >> волшебным >> образом все жило и восстанавливалось и желательно легко и просто) > Избыточность не нужна, может я неточно описал задачу. Достаточно, чтоб осталось то, > что осталось.. При таком подходе бэкап нужен всему массиву... и значит можно рассмотреть крайний вариант- упало все и не осталось ничего. То есть поднимаем из бэкапа 8 Тб. А дальше все просто -  делайте что хотите-  хотите- страйп.. хотите- lvm... Это конечно не то что вы хотели изначально, но если у вас есть бэкап всего массива- то не стоит закладываться на экзотику. решайте задачу в рамках традиционных вещей.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #17

12. Сообщение от ыы (?), 23-Июн-21, 00:57	+/–
>[оверквотинг удален] >>> волшебным >>> образом все жило и восстанавливалось и желательно легко и просто) >> Да уж... >> Осталось, конечно, спросить, зачем ТС вообще нужен такой объем одним куском. На >> 4 диска по 2Тб поместиться столько же музыки и фильмов, сколько >> и если бы склеить эти диски в raid0, плюс будет та >> самая желанная возможность сохранить "остальное" при выходе из строя любого диска. > А Вы пробовали "спасать" информацию из raid0 из 4-х дисков при выходе > из строя одного из них и потом, сменив диск, вводить массив > в работу обратно? А если таких массива 4 (на 4-х компах)? А зачем его спасать? Новый ребилд и накатить бэкап быстрее будет :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

13. Сообщение от Денис (??), 23-Июн-21, 01:42	+/–
> Избыточность не нужна, может я неточно описал задачу. Достаточно, чтоб осталось то, > что осталось.. для этого нужна избыточность, хотя бы для метаданных. Возможно gconcat стоит посмотреть
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #16

14. Сообщение от gfh (??), 23-Июн-21, 08:24	+/–
> Здравствуйте. > Есть 4 диска по 2Тb. Нужно их объединить в один логический диск > 8Tb, но так, чтобы при выходе из строя любого из дисков > файлы с остальных можно было без особых усилий восстановить (в идеале > вообще сохранить целостность объединенного логического), а вышедший из строя диск заменить. > Потерей файлов с вышедшего из строя можно пренебречь (предполагается резервная копия) > Что-то типа gconcat, но с желательным сохранением файловых систем исходных дисков. > Спасибо mhddfs, unionfs, ...
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #15

15. Сообщение от sergetv (?), 23-Июн-21, 10:25	+/–
>> Здравствуйте. >> Есть 4 диска по 2Тb. Нужно их объединить в один логический диск >> 8Tb, но так, чтобы при выходе из строя любого из дисков >> файлы с остальных можно было без особых усилий восстановить (в идеале >> вообще сохранить целостность объединенного логического), а вышедший из строя диск заменить. >> Потерей файлов с вышедшего из строя можно пренебречь (предполагается резервная копия) >> Что-то типа gconcat, но с желательным сохранением файловых систем исходных дисков. >> Спасибо > mhddfs, unionfs, ... Вот второй адекватный ответ (первый был про mergefs) Спасибо. Как раз читаю инфу про єти три решения. Надо выбрать наиболее подходящий вариант для FreeBSD.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #18

16. Сообщение от sergetv (?), 23-Июн-21, 10:46	+/–
>> Избыточность не нужна, может я неточно описал задачу. Достаточно, чтоб осталось то, >> что осталось.. > для этого нужна избыточность, хотя бы для метаданных. Возможно gconcat стоит посмотреть Интересно, посмотрю на досуге, спасибо
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13

17. Сообщение от sergetv (?), 23-Июн-21, 10:50	+/–
>[оверквотинг удален] >> Избыточность не нужна, может я неточно описал задачу. Достаточно, чтоб осталось то, >> что осталось.. > При таком подходе бэкап нужен всему массиву... и значит можно рассмотреть крайний > вариант- упало все и не осталось ничего. То есть поднимаем из > бэкапа 8 Тб. > А дальше все просто -  делайте что хотите-  хотите- страйп.. > хотите- lvm... > Это конечно не то что вы хотели изначально, но если у вас > есть бэкап всего массива- то не стоит закладываться на экзотику. решайте > задачу в рамках традиционных вещей. Да, в принципе так и есть - есть копия всего массива. Но есть два "НО"  - 1 - переписать 2 ТБ в 4 раза быстрее, чес переписать 8 ТБ. 2 - И все-таки при вылете диска 3 дубля их 4-х как то спокойнее чем ни одного дубля
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11

18. Сообщение от lavr (ok), 23-Июн-21, 12:06	+/–
>[оверквотинг удален] >>> 8Tb, но так, чтобы при выходе из строя любого из дисков >>> файлы с остальных можно было без особых усилий восстановить (в идеале >>> вообще сохранить целостность объединенного логического), а вышедший из строя диск заменить. >>> Потерей файлов с вышедшего из строя можно пренебречь (предполагается резервная копия) >>> Что-то типа gconcat, но с желательным сохранением файловых систем исходных дисков. >>> Спасибо >> mhddfs, unionfs, ... > Вот второй адекватный ответ (первый был про mergefs) Спасибо. > Как раз читаю инфу про єти три решения. Надо выбрать наиболее подходящий > вариант для FreeBSD. в продакшн, unionfs и mhddfs под FreeBSD использовать опасно, просто имейте это ввиду. Смотрите что есть в портах, даты последних изменений, и по совокупности, принимайте решение, но прежде соберите стенд и протестируйте, попробуйте заполнение до 70-90%. Попробуйте выводить один из дисков и тд и тп.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15

19. Сообщение от DeerFriend (?), 23-Июн-21, 17:58	+/–
Столько ответов по файловой системе и ещё никто не предложил zfs, btrfs?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #20

20. Сообщение от sergetv (?), 23-Июн-21, 21:31	+/–
> Столько ответов по файловой системе и ещё никто не предложил zfs, btrfs? ZFS прекрасная файловая система, но она такого не может. Скорее всего в качестве основной файловой системы на тех четырех дисках будет ZFS. Сейчас там используется RaidZ. Выпадает емкость одного диска из массива + (из собственного опыта) замена вылетевшего диска в массиве занимает почти 12 часов на пересчет и не всегда заканчивается удачно (учитывая, что диcкам по 8-9 лет, а ZFS в RaidZ не любит бэды и т.п.) Так что, учитывая что зеркало все равно есть, хочу попробовать пул MergeFS. Это все делается для GlusterFS, которая критична к скорости сетевых интерфейсов (у меня обычный гигабит) и количеству "кирпичей". Чем меньше бриков в медленной сети, тем быстрее работает GlusterFS, что естественно. Вот и минимизирую брики, объединяя в массивы. Как-то так.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

21. Сообщение от Аноним (21), 29-Июн-21, 08:59	+/–
Кто что добавит ещё про кластеризацию? Выше прозвучали названия файловых систем. Каким решением лучше объединить в сетевую файловую систему, так, как будто каждый диск принадлежит независимому компу в сети. Тупо типа запустить серверов по числу дисков. Тогда по идее глюк одного процесса сервера, сбой одного диска независимы от остальных. Типа что-то получается похожее на ответ на вопрос - каждый диск независим, консистентность в рамках каждого диска - отслеживается независимым, несвязанным с др. процессом. На процессор сильна нагрузка?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #22

22. Сообщение от Аноним (21), 29-Июн-21, 09:01	+/–
GlusterFS ? https://wiki.freebsd.org/GlusterFS
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #23

23. Сообщение от DeerFriend (?), 29-Июн-21, 17:31	+/–
> GlusterFS ? > https://wiki.freebsd.org/GlusterFS RH отказался от поддержки GlusterFS в OpenShift. Поэтому я бы лучше смотрел в сторону Ceph.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22 Ответы: #24

24. Сообщение от sergetv (?), 01-Июл-21, 21:09	+/–
>> GlusterFS ? >> https://wiki.freebsd.org/GlusterFS > RH отказался от поддержки GlusterFS в OpenShift. Поэтому я бы лучше смотрел > в сторону Ceph. Смотрел я в ее сторону. Слишком много накладных расходов. GlusterFS реализуется проще, прозрачнее и гибче. Для Ceph надо поднимать целую инфраструктуру, отдельно серваки для метаданных и т.п. Если у тебе в наличии 4 машины на которых по 4 диска, то Ceph не оптимальна и бессмыслена, имхо.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #25

25. Сообщение от DeerFriend (?), 01-Июл-21, 22:50	+/–
> Для Ceph надо поднимать целую инфраструктуру, отдельно серваки для метаданных и т.п. Оно в контейнерах, можно хоть всю инфраструктуру на 1 серваке поднять.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема