++ Вместо предисловия.RAID-Z doesn't require any special hardware. It doesn't need NVRAM for correctness, and it doesn't need write buffering for good performance. With RAID-Z, ZFS makes good on the original RAID promise: it provides fast, reliable storage using cheap, commodity disks.
Jeff Bonwick [0]Мое знакомство с FreeBSD состоялось достаточно давно, как только по ряду причин прошла "первая любовь" к свежему на тот момент QNX Momentics. Просто решил взять другую OS для других задач, без всяких аргументов. Но страсть к ZFS возникла практически мгновенно, как только прочитал первые материалы по ней в свете включения кода в HEAD ветку FreeBSD. C тех пор мы не разлучны, а с выходом релиза FreeBSD 8.0, эта привязанность может стать вечной :)
К сожалению, уж очень часто так случается, что место на разделе заканчивается, и в случае небольших офисных серверов, это превращается в маленькую трагедию. Завершив переезд на раздел большего размера, остаешься с неприятной мыслью, что этот раз был не последним, а следующий будет сложнее и дороже во всех смыслах этого слова.
Относительно недавно, в розничную продажу поступила линейка NAS устройств WD My Book. Я так же обратил на нее внимание, но в первую очередь потому, что в голове промелькнула мысль - "Вот оно недостающее звено для бюджетного решения проблемы серверного пространства", но на тот момент я еще не знал как именно это можно сделать.
Общая концепция заключалась в том, чтобы использовать NAS не так как его позиционирует производитель, а в виде блочного устройства. Другими словами ни CIFS/SAMBA ни FTP не нужны, требуется получить блочное устройство в составе FreeBSD но физически расположенное на NAS. И тогда на сцену выйдет ZFS и возьмет его в свои крепкие руки.
Вариант с созданием блочного устройства посредством mdconfig поверх подключенной через CIFS точки монтирования, меня категорически не устраивал. Моя цель где то рядом с ggate, AoE (ATA over Ethernet) или iSCSI.
Упомянутый выше NAS, является достаточно открытым и работает на базе armv5tejl Linux 2.6.17.14. А значит к нему можно получить доступ по ssh и установить дополнительный софт. Процедурs настройки ssh и репозитария optware можно найти по ссылкам [1] и [2].
К великой радости optware имеет пакет для предоставления блочного устройства по протоколу AoE, но радость была не долгой, так как все попытки получить AoE на стороне FreeBSD, оказались не удачными. Существующий AoE порт CORAID [3] я так и не смог заставить работать во FreeBSD 8, а мои вопросы к автору порта по email пока остались без ответа. Возвращаться к ядрам 7.X или тем более 6.X не имело смысла, так как терялась ZFS.
Вспомнил про гору и Мухамеда, и выяснил что FreeBSD прекрасно дружит с iSCSI и все необходимое уже присутствует в базовой системе. Остается как то организовать iSCSI target на стороне NAS. Перепробовав массу вариантов собрать из исходников iSCSI target ( [4] [5] [6]), я практически отчаялся, пока не вспомнил, что FreeBSD имеет простенький порт net/iscsi-target. На удивление все собралось из исходников с первой попытки и у меня на руках оказался готовый бинарник iscsi-target [8] для ARM LINUX который я положил на NAS в /opt/sbin.
++ Дело техники.
В качестве iSCSI носителя будем использовать целиком раздел, который ранее выделялся для CIFS (/dev/md4) для чего нужно в /etc/init.d/network_servers.sh отключить запуск samba.sh и закоментить в /etc/fstab
#/dev/md4 /shares/internal ext3 defaults,noatime 0 2
Узнаем полный объем md4.
[root@BACKUP]# fdisk -l /dev/md4
Disk /dev/md4: 1992.0 GB, 1992096874496 bytes
2 heads, 4 sectors/track, 486351776 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
fdisk показал размер 1992096874496. Опытным путем выяснилось, что в конфигурации iscsi-targe нужно указать на 1 меньше.Подготовим конфигурацию для iSCSI /etc/iscsi/targets
extent0 /dev/md4 0 1992096874495
target0 rw extent0 192.168.0.0/24а так же скрипт автоматического запуска сервиса iSCSI /etc/init.d/iscsi.sh [9] и добавляем его запуск в список сервисов /etc/init.d/network_servers.sh. Перезагружаем NAS.
++ Настройка iSCSI initiator
На стороне сервера FreeBSD (где будем организовывать ZFS пул) настраиваем инициатор.
Утилитой iscontrol выясняем какое имя у нашего target.
server# iscontrol -d targetaddress=nas.ip-or-hostname
TargetName=iqn.1994-04.org.netbsd.iscsi-target:target0
TargetAddress=192.168.0.1:3260,1Так как в теории устройств NAS у нас должно быть много, их как то надо идентифицировать. Для целей идентификации MAC адрес подходит как нельзя кстати, тем более что он указан на корпусе NAS. Дополнительно можно намекнуть на объем устройство, и тогда получим идентификаторы вида
00:90:a9:0d:f3:72-2T
00:90:a9:3d:e3:7a-512GCоздаем /etc/iscsi.conf
#
# Globals
#
port = 3260
#
00:90:a9:0d:f3:72-2T { # nickname
targetaddress = nas.ip-or-hostname
targetname = iqn.1994-04.org.netbsd.iscsi-target:target0
}Я не нашел штатных настроек FreeBSD для автозапуска инициатора, по этому добавил скрипт /usr/local/etc/rc.d/iscsiinitiator
# PROVIDE: iscsiinitiator
# REQUIRE: DAEMON
# AFTER: NETWORK. /etc/rc.subr
name="iscsiinitiator"
rcvar=`set_rcvar`start_cmd=iscsi_start
iscsi_start() {
echo Start iSCSI initiator
daemon -f iscontrol -c /etc/iscsi.conf -n 00:90:a9:0d:f3:72-2T
}# read settings, set default values
load_rc_config "$name"
: ${iscsiinitiator="NO"}run_rc_command "$1"
и соотвесвенно, требуется добавить в /etc/rc.conf строчку
iscsiinitiator_enable="YES"
Итак запускаем приемную часть iSCSI
server# /usr/local/etc/rc.d/iscsiinitiator start
Start iSCSI initiatorВ dmesg долны появится строки вида
da0 at iscsi0 bus 0 target 0 lun 0
da0: <NetBSD NetBSD iSCSI 0> Fixed Direct Access SCSI-3 deviceЧто означает что весь процесс пройден верно.
++ Подготовка блочного устройства для включенияв общий пулРазмечаем устройсво da0 средствами gpart
server# gpart create -s gpt da0
server# gpart add -t freebsd-zfs -l 00:90:a9:0d:f3:72-2T da0Проверяем что наше устройство корректно отобразилось в /dev/gpt
server# ls /dev/gpt
00:90:a9:0d:f3:72-2T ... ... ...Создаем zfs пул
server# zpool create -m /mnt/big-storage storage0 /dev/gpt/00:90:a9:0d:f3:72-2T
И вот, наш пул готов!
server# zpool list
NAME SIZE USED AVAIL CAP HEALTH ALTROOT
storage0 1,80T 72K 1,80T 0% ONLINE -++ Заключение
Мои поверхностные тесты показали скорость работы данного пула, близкие к максимальным возможностям самой среды FastEthernet. Т.е. 5-6Mbyte/sec, что в моих обстоятельствах является более чем достаточном. Дополнительно стоит отметить, что с увеличением количества устройств в пуле, скорость так же будет расти (если конечно серверный порт и коммутатор гигабитные).
++ P.S.
Данный пример, своей целью имеет демострацию именно последовательности действий, а не рекомендуемый вариант использования.
В реальных условиях нужно создавать пул из нескольких NAS устройств и объединять их в единый RAID-Z с одиночной или двойной точкой отказа.
Но в любом случае последующая ситуация с отказом NAS устройства, или увеличением общего объема, будет заключаться в подготовке NAS для работы по iSCSI и добавлением его в ZFS пул, что представляется достаточно тривиальным и не зависящим от общего объема пула.
Не маловажным остается тот факт, что все работы проводятся без остановки сервисов или тем белее перезагрузок. Дополнительное пространство просто появляется и начинает работать на Вас!
[0] http://blogs.sun.com/bonwick/entry/raid_z
[1] http://mybookworld.wikidot.com/ssh-enable
[2] http://mybookworld.wikidot.com/optware
[3] http://support.coraid.com/support/freebsd/
[4] http://www.open-iscsi.org/
[5] http://linux-iscsi.sourceforge.net/
[6] http://iscsitarget.sourceforge.net/
[7] http://www.freshports.org/net/iscsi-target/
[8] http://softlynx.ru/pub/WD-MyBook-NAS/iscsi-target
[9] http://softlynx.ru/pub/WD-MyBook-NAS/iscsi.sh
URL:
Обсуждается: http://www.opennet.me/tips/info/2321.shtml
Есть NAS устройства с поддержкой iSCSI за приемлемую цену. Например Thecus N5200 Pro.
Спасибо за железку.Не трудно посчитать. Получается ~ 30 тыс только за шасси, в то время как тот же My Book 1TB стоит 6 тыс, что в сумме 6*5 как раз дает те же 30 тыс, но уже сами HDD в комплекте.
Далее при необходимости увеличить емкость еще на 1TB в варианте с WD + 6 тыс, а с Thesus снова начинаем с шасси.
Но тут немного неправильно сравнивать, устройства под разные цели. И скорости которые будет выдавать WD не стоит сравнивать сравнивать с тем же Thesus. Собстенно этим уже и объясняется разница в цене.
Тем не менее, основной упор статьи именно на малобюджетный вариант с реальной отказоустойчивостью за счет RAID-Z ZFS.
А как вы обошли проблему с тем, что MyBook периодически впадает в сон?
Как то так получилось что с этой проблемой я не столкнулся. Может дело в прошивке?
Не понимаю, как 5-6MB/s может быть достаточно.
... от каждого NAS в пуле... разве не достаточно?
Если хранилище используется под бакап на который по ночам сливаются данные через не шибко шустрые каналы связи, то да, более чем достаточно.
тот же упомянутый текус у меня выдавал 50МБ в сек по nfs, 25-30 - samba. гигабитный свитч.
при этом я даже ничего не тюнил. только поставил прошивку по-новее.
Сервер(1) 2*300Gb SCSI HDD на 2*P3-1,2 GHz 3Gb RAM 2*100Mb LAN Intel82559 :
Какой вариант подключения к серверу(2) 4*Xeon 8Gb RAM 2*1Gb LAN будет работать надёжнее и быстрее:
1) Поднять на сервере(1) FreeBSD8.0(PCBSD) c ZFS и расшарить по самбе (на сервере(2) тоже планируется FreeBSD или Linux)
2) Организовать подключение по iSCSI
3) ...
Как по мне, то самба не очень хороший вариант для соединения Unix/Linux машин между собой.
Я могу ошибаться, но iSCSI следует использовать если у вас один клиент. Если много клиентов совместного доступа Linux/UNIX - NFS. Если нужно кластер делать одинаковых серверов для распределенных вычислений - GFS.
Samba только в том случае, когда есть разнобой операционок и много клиентов, что не имеют прямого доступа к ФС.
---
Если я правильно домыслил, то iSCSI всё-таки шустрее всего будет. Но сервер(1) будет только носителем. Нельзя будет нормально обслуживать разделяемую ФС.2 all: Поправьте, если ошибаюсь.
Да вы правильно домыслили, сервер(1) должен будет лишь предоставлять надёжное файлохранилище для сервера(2) на котором планируется соорудить терминальный сервер.
> сервер(1) должен будет лишь предоставлять надёжное файлохранилище для сервера(2) на котором планируется соорудить терминальный сервер.УУУУ.. Там не то что 10мб/с, а 250 маловато..
К слову, 5-6мб/с это мало, я получал в самбе порядка 10мб/с, по NFS под 11. Реальный максимум у 100мбит около 11-12мб/с, теоретический 12.5мб/с (100/8)
Разрешите полюбопытствовать, а чем Вас QNX так огорчил?
А можете указать полное название NAS железки?
А что происходит с zfs когда iSCSI теряется?
А то у меня система наглухо виснет. :-(
> А что происходит с zfs когда iSCSI теряется?
> А то у меня система наглухо виснет. :-(Винда тоже от такого виснет или в синий экран выпадает.
Какую логику вы хотите?
1. Винда (XP), если это не системный диск, то просто его теряет, т.е. исчезает буковка диска.
2. Хочу, чтобы все продолжало работать, а при появлении диска все синхронизировалось само.