Доброго всем здравия.
Господа, помогите разобраться.
Имеем:
# uname -a
FreeBSD backup 10.3-RELEASE-p11 FreeBSD 10.3-RELEASE-p11 #0: Mon Oct 24 18:49:24 UTC 2016 root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC amd64Сюда складываются бекапы акронисом с двух виндовый серверов, первый по самбе, второй по FTP. Сделал так, чтобы посмотреть и сравнить нагрузку и скорость. Так же на этом сервере стоит zabbix и следит за собой в том числе.
Что мы имеем.
Сначала запускается акронис на первом сервере и копирует бекап по самбе. Потом запускается акронис на втором сервере и копирует по FTP. Вот такой получаем график:
1 - загрузка сетевого интерфейса: http://yapx.ru/v/BHUSU
2 - загрузка процессора: http://yapx.ru/v/BHUSZ и http://yapx.ru/v/BHUSc
Видим загрузки сети только на 250 Мбит в максимуме. Когда просто копируешь файл и смотришь на нагрузку, скорость скачет от 200 до 250 Мбит/сек.
Сначала я подумал что не тянет сеть и нужно подтюнить, но вовремя вспомнил про iperf, и вот такие результаты:
# iperf -c 10.10.10.9 -p 5201
------------------------------------------------------------
Client connecting to 10.10.10.9, TCP port 5201
TCP window size: 32.5 KByte (default)
------------------------------------------------------------
[ 3] local 10.10.10.12 port 43493 connected with 10.10.10.9 port 5201
write failed: Broken pipe
[ ID] Interval Transfer Bandwidth
[ 3] 0.0- 8.5 sec 884 MBytes 875 Mbits/sec
Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
Кстати, с NFS та же история, скорость режется.
> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а
> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
> Кстати, с NFS та же история, скорость режется.Потому в реальных-не-айперф условиях инфо читается-пишется на HDD, а не в сферический /dev/null ...
>> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а
>> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
>> Кстати, с NFS та же история, скорость режется.
> Потому в реальных-не-айперф условиях инфо читается-пишется на HDD, а не в сферический
> /dev/null ...Ок.
Допустим. Я допускаю что я могу и ошибаться, посему поясните мне пожалуйста.
# dd if=/dev/zero of=file.txt count=1024 bs=1m
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 7.043192 secs (152451025 bytes/sec)
Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)Но это синтетика, физическая скорость будет меньше, тут я просто делаю: time cp fiтle.txt file
# time cp file.txt file
0.000u 0.554s 0:06.56 8.3% 20+165k 756+0io 0pf+0wЕсли я правильно понимаю, то затратил на выполнение команды 6,56 секунды. Давай посчитаем.
Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек. Что равняется 1248 Мбит/сек.Диски WD WD20EFRX? собраны в RAIDZ:
pool: zstore
state: ONLINE
scan: resilvered 24K in 0h0m with 0 errors on Fri Dec 8 16:02:30 2017
config:NAME STATE READ WRITE CKSUM
zstore ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
gpt/backup0 ONLINE 0 0 0
gpt/backup1 ONLINE 0 0 0
gpt/backup2 ONLINE 0 0 0
gpt/backup3 ONLINE 0 0 0errors: No known data errors
Это конечно последовательная запись, но все же. Мне все кажется, что тут есть какое-то где-то логическое ограничение.
Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz
Старт быть вообще на 700 МБ/с, но это не реально, мы все понимаем, это скорее кеш, но вот после скорость встала на 120-127 МБ/с, и так держится... что полностью соответствует подключению.
Кстати, iscsi находится на этом же сервере под управлением FreeBSD
> Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.
> По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz
> Старт быть вообще на 700 МБ/с, но это не реально, мы все
> понимаем, это скорее кеш, но вот после скорость встала на 120-127
> МБ/с, и так держится... что полностью соответствует подключению.
> Кстати, iscsi находится на этом же сервере под управлением FreeBSDА hdparm -tT на FreeBSD есть?
>> Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.
>> По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz
>> Старт быть вообще на 700 МБ/с, но это не реально, мы все
>> понимаем, это скорее кеш, но вот после скорость встала на 120-127
>> МБ/с, и так держится... что полностью соответствует подключению.
>> Кстати, iscsi находится на этом же сервере под управлением FreeBSD
> А hdparm -tT на FreeBSD есть?Вроде как нет.
Ни в системе, ни в портах, ни в пекаджах
Если ты видишь что скорость на сети и скорость записи на диск норм, но при этом разные протоколы дают разный результат то вывод напрашивается сам собой - тюнить конкретный протокол.
> Если ты видишь что скорость на сети и скорость записи на диск
> норм, но при этом разные протоколы дают разный результат то вывод
> напрашивается сам собой - тюнить конкретный протокол.Так это я понимаю, логически, но не понимаю что именно не так. Самба, как ни странно, дает большую скорость в пике, ФТП дает более стабильную скорость, НФС самую низкую.
Вот и прошу помощи, где и что искать и тюнить
> Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)
> Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек.
> Что равняется 1248 Мбит/сек.вот только все эти ваши гигабиты на одном смешном гигабайтном фале - это все отлично летит в кеш/буфферы. Тот же DD попробуйте с fsync и с размером блока в 8к (или сколько там у вас в nfs/iscsi нарисовано), чтоб на каждый блок делался честный sync, как это делают протоколы работы поверх сети.
>> Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)
>> Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек.
>> Что равняется 1248 Мбит/сек.
> вот только все эти ваши гигабиты на одном смешном гигабайтном фале -
> это все отлично летит в кеш/буфферы. Тот же DD попробуйте с
> fsync и с размером блока в 8к (или сколько там у
> вас в nfs/iscsi нарисовано), чтоб на каждый блок делался честный sync,
> как это делают протоколы работы поверх сети.Я могу вас понят и вашу иронию тоже, но я беру эти цифры не с потолка. Такие же диски я эксплуатирую далеко не первый год и не на одном сервере, как на Windows, так и на FreeBSD.
Что касается кеша, то могу однозначно сказать и из опыта, что при работе с кешем, скорость записи достигается 1200МБайт/сек.: http://yapx.ru/v/BHZJO
Вот именно это работа кеша и памяти, но стоит загнать файл скажем в 10Гб или больше, как скорость падает примерно до 180.Я же тут лишь спрашиваю, что с этим можно сделать и почему такое происходит. Лично я работаю, и уже очень давно, с дисками WD, серией Black, Red, REx, сейчас появились Gold. Может у меня предвзятое отношение к другим производителям, но имею опыт, когда Seagate Constellation рассыпаются чуть ли не на лету...
Читали?
http://www.opennet.me/tips/info/2051.shtml
> Читали?
> https://www.opennet.me/tips/info/2051.shtmlПочитал, даже попробовал, эффекта ноль.
К тому же, там вопрос поднять по сетям в 100 Мбит/сек, а у меня 1Гбит/с.
Я сначала грешил на сетевку re0, поменял и поставил igb. ситуация вообще никак не поменялась.
>> Читали?
>> https://www.opennet.me/tips/info/2051.shtml
> Почитал, даже попробовал, эффекта ноль.
> К тому же, там вопрос поднять по сетям в 100 Мбит/сек, а
> у меня 1Гбит/с.
> Я сначала грешил на сетевку re0, поменял и поставил igb. ситуация вообще
> никак не поменялась.про фтп и нфс ничего не скажу, а вот самба у меня при одних и тех же настройках скорость менялась в хависимости от версии...
>[оверквотинг удален]
> ------------------------------------------------------------
> [ 3] local 10.10.10.12 port 43493 connected with 10.10.10.9 port 5201
> write failed: Broken pipe
> [ ID] Interval Transfer
> Bandwidth
> [ 3] 0.0- 8.5 sec 884 MBytes
> 875 Mbits/sec
> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а
> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
> Кстати, с NFS та же история, скорость режется.zfs set sync=disabled