The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]




Версия для распечатки Пред. тема | След. тема
Новые ответы [ Отслеживать ]
Файловое хранилище, !*! PashaTurok, 05-Фев-13, 12:48  [смотреть все]
Подскажите пожалуйста качественное и БЕЗОПАСНОЕ (как с точки зрения доступа так и целостности данных) решение. Есть 3 сервера на каждом 8 дисков.

1. Возможно ли объединить все дисковое пространство всех серверов в одно большое файловое пространство для работы с самбой? - чтобы у нас было не три диска самбы - по одному на каждый сервер (+LVM), а один диск. Смысл конечно заключается в том, чтобы вначале заполнялись полностью диски первого сервера, потом второго и т.п.

2. Какие есть решения, чтобы один мастер сервер сам выбирал нужный сервер и нужный диск исходя из размера записываемого файла и свободного места на диске и т.п. То есть, чтобы пользователь даже не знал, где размещается файл.

Хотелось бы конечно проверенные временем и бесплатные решения. Я понимаю, что в интернете много, но что используется больше всего на практике?

  • Файловое хранилище, !*! fantom, 13:12 , 05-Фев-13 (1)
    >[оверквотинг удален]
    > целостности данных) решение. Есть 3 сервера на каждом 8 дисков.
    > 1. Возможно ли объединить все дисковое пространство всех серверов в одно большое
    > файловое пространство для работы с самбой? - чтобы у нас было
    > не три диска самбы - по одному на каждый сервер (+LVM),
    > а один диск. Смысл конечно заключается в том, чтобы вначале заполнялись
    > полностью диски первого сервера, потом второго и т.п.
    > 2. Какие есть решения, чтобы один мастер сервер сам выбирал нужный сервер
    > и нужный диск исходя из размера записываемого файла и свободного места
    > на диске и т.п. То есть, чтобы пользователь даже не знал,
    > где размещается файл.

    Решений море, от scsi over IP(Eth) до распределенных файловых систем

    http://ru.wikipedia.org/wiki/Список_файловых_систем#.D0.A0.D0.B0.D1.81.D0.BF.D1.80.D0.B5.D0.B4.D0.B5.D0.BB.D1.91.D0.BD.D0.BD.D1.8B.D0.B5_.D1.84.D0.B0.D0.B9.D0.BB.D0.BE.D0.B2.D1.8B.D0.B5_.D1.81.D0.B8.D1.81.D1.82.D0.B5.D0.BC.D1.8B

    http://habrahabr.ru/post/133987/

  • Файловое хранилище, !*! pavlinux, 15:09 , 05-Фев-13 (2)
    > Хотелось бы конечно проверенные временем

    iSCSI

    > и бесплатные решения.

    Рейд из NBD

    • Файловое хранилище, !*! PashaTurok, 16:32 , 05-Фев-13 (3)
      >> Хотелось бы конечно проверенные временем
      > iSCSI
      >> и бесплатные решения.
      > Рейд из NBD

      Спасибо за участие! Но как я понял iSCSI дает в общий доступ определенный диск. Смотрел тут -http://metalcandy.ru/how-to-forge-centos/557-centos-install-...
      Или я не правильно понял. Задача-то заключается в том, чтобы сделать единое пространство всех дисков и серверов.То есть выбрать самую стабильную распределенную файловую систему - как я понимаю.

      • Файловое хранилище, !*! pavlinux, 18:59 , 05-Фев-13 (4) –1
        > ... как я понял iSCSI дает в общий доступ определенный диск.

        Да, и на основной машине собираешь всё в кучу. (RAID0)

        ---
        Распределенная ФС нужна когда из нескольких мест нужен доступ в общую кучу.
        Не, ну как вариант можно использовать, только у них оверхед больше чем у iSCSI или NBD

        • Файловое хранилище, !*! PashaTurok, 20:49 , 05-Фев-13 (5)
          >> ... как я понял iSCSI дает в общий доступ определенный диск.
          > Да, и на основной машине собираешь всё в кучу. (RAID0)
          > ---
          > Распределенная ФС нужна когда из нескольких мест нужен доступ в общую кучу.
          > Не, ну как вариант можно использовать, только у них оверхед больше чем
          > у iSCSI или NBD

          Хм. Здесь http://social.technet.microsoft.com/Forums/en/winserverfiles... пишут что это все не очень надежно. А если какой-то сервер выпадет из массива? Вы использовали такое решение?

          • Файловое хранилище, !*! pavlinux, 04:50 , 06-Фев-13 (6)
            >>> ... как я понял iSCSI дает в общий доступ определенный диск.
            >> Да, и на основной машине собираешь всё в кучу. (RAID0)
            >> ---
            >> Распределенная ФС нужна когда из нескольких мест нужен доступ в общую кучу.
            >> Не, ну как вариант можно использовать, только у них оверхед больше чем
            >> у iSCSI или NBD
            > Хм. Здесь http://social.technet.microsoft.com/Forums/en/winserverfiles... пишут что это все не очень надежно.

            Дык там же венда.  

            > А если какой-то сервер выпадет из массива?

            В состав такого рейда обязательно должен входить локальный диск. Лучше сделать RAID5.
            Везде настроенный QoS, дабы иметь гарантированную полосу при любой загрузке сети.

            Оборудование должно быть не просто хорошим, а очень хорошим.
            Сетевушки не меньше Intel 1000MT (лучше оптику), провода STP (S/FTP) 6/7 cat.,
            всё заземлено, плотные штекеры RJ-45, по проводам народ ходить не должен,
            везде бесперебойники хотя бы на 15 минут жизни.

            > Вы использовали такое решение?

            О да, причём на USB-флешках. :D

            ---
            Купи какой нить полубытовой NAS, типа Synology или QNAP, чесслово дешевле обойдётся.
            На бесперебойниках, правильной витой паре и сетевухах сэкономишь. :)

        • Файловое хранилище, !*! fantom, 21:08 , 16-Май-18 (13) +1
          >> ... как я понял iSCSI дает в общий доступ определенный диск.

          Неправильно!!! файл тоже можно как диск скормить iSCSI...

          > Да, и на основной машине собираешь всё в кучу. (RAID0)

          Бред... и при каждом сбое в сети получать рассыпавшийся массив????

          > ---
          > Распределенная ФС нужна когда из нескольких мест нужен доступ в общую кучу.

          Это только ОДНА из ее плюшек.

          > Не, ну как вариант можно использовать, только у них оверхед больше чем
          > у iSCSI или NBD

  • Файловое хранилище, !*! Mr. Mistoffelees, 17:53 , 08-Фев-13 (7) –1
    Привет,

    > Хотелось бы конечно проверенные временем и бесплатные решения. Я понимаю, что в
    > интернете много, но что используется больше всего на практике?

    FreeNAS смотрели? Может, подойдет вам.

    Из более умных решений мне лично нравится как работает GridFS.

    WWell,

  • Файловое хранилище, !*! lbcom, 02:30 , 09-Фев-13 (8)
    Купите 4U или 3U сервер +определится с рэйром(железный или нет) и вставьте в него все ваши диски.


    >[оверквотинг удален]
    > файловое пространство для работы с самбой? - чтобы у нас было
    > не три диска самбы - по одному на каждый сервер (+LVM),
    > а один диск. Смысл конечно заключается в том, чтобы вначале заполнялись
    > полностью диски первого сервера, потом второго и т.п.
    > 2. Какие есть решения, чтобы один мастер сервер сам выбирал нужный сервер
    > и нужный диск исходя из размера записываемого файла и свободного места
    > на диске и т.п. То есть, чтобы пользователь даже не знал,
    > где размещается файл.
    > Хотелось бы конечно проверенные временем и бесплатные решения. Я понимаю, что в
    > интернете много, но что используется больше всего на практике?

  • Файловое хранилище, !*! lbcom, 02:35 , 09-Фев-13 (9)
    Купите 4U или 3U сервер + определиться с рэйром(железный или нет) и вставьте в него все ваши диски. И экономия и надежность побольше, чем с трех разных машин.

    >[оверквотинг удален]
    > файловое пространство для работы с самбой? - чтобы у нас было
    > не три диска самбы - по одному на каждый сервер (+LVM),
    > а один диск. Смысл конечно заключается в том, чтобы вначале заполнялись
    > полностью диски первого сервера, потом второго и т.п.
    > 2. Какие есть решения, чтобы один мастер сервер сам выбирал нужный сервер
    > и нужный диск исходя из размера записываемого файла и свободного места
    > на диске и т.п. То есть, чтобы пользователь даже не знал,
    > где размещается файл.
    > Хотелось бы конечно проверенные временем и бесплатные решения. Я понимаю, что в
    > интернете много, но что используется больше всего на практике?

  • Файловое хранилище, !*! stre10k, 23:31 , 11-Июл-13 (10)
    GlusterFS

    Диски на серверах в рейд, по 2 тома на сервер, тома в гластер на 2 реплики и 3 страйпа.
    GlusterFS помоему сам по самбе умеет раздавать.

    по поводу 1 пункта, лучше чтобы диски заполнялись на всех серверах равномерно, для производительности.

    • Файловое хранилище, !*! Alex, 00:02 , 05-Июл-16 (11)
      > GlusterFS

      Смотрю в интернете. Падучий? Не отказоустойчивый?

      Тоже интересуюсь этой темой.
      Вариант с 4U для меня не подходит. Так как 4U могут кончится и что дальше?
      Надо всегда иметь возможность нарищиваться.
      Быть отказоустойчивыми к отключению питания, кабеля лан, падению одного или нескольких 4U, самих дисков.

      Что посоветуете?
      Чем пользуются Яндекс и гугле? Со своими пентабайтами...
      Ну на худой конец, чем пользутся хостеры?




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру