URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 94761
[ Назад ]

Исходное сообщение
"Input/Output, дисковая подсистема"

Отправлено metallic , 17-Июн-13 15:29 
Значит есть у меня множество высоконагруженных файловых серверов под управлением ОС Linux (samba).
SMB - основа техпроцесса конторы, в которой я работаю. По СМБ сотни клиентов забирают данные и пишут обратно.
В качестве аппаратной части различные хранилки, начиная от самосбора, заканчивая сторвайзом 7000 с сотнями дисков.

Как известно, производительность дисковой подсистемы сильно зависит от того, какими блоками с нее читают и соответственно какими блоками выделена дисковая подсистема на аппаратном уровне(stripe size у raid-массивов, extent size у хранилок и т.д. и т.п.). Соответственно, чтобы выжать всю мощу из дисковой подсистемы, нужно знать какими блоками происходит чтение/запись конкретным софтом, который рабоает с дисками.
В моем случаем непосредственно с дисками работает самба, соотвественно вопрос, как выполнить профилирование и узнать какими блоками работает самба, как вообще оптимизировать все под конкретную задачу, вообще это настраиваемый ли параметр или нет?


Содержание

Сообщения в этом обсуждении
"Input/Output, дисковая подсистема"
Отправлено тень_pavel_simple , 17-Июн-13 22:22 
>[оверквотинг удален]
>  В качестве аппаратной части различные хранилки, начиная от самосбора, заканчивая сторвайзом
> 7000 с сотнями дисков.
>  Как известно, производительность дисковой подсистемы сильно зависит от того, какими блоками
> с нее читают и соответственно какими блоками выделена дисковая подсистема на
> аппаратном уровне(stripe size у raid-массивов, extent size у хранилок и т.д.
> и т.п.). Соответственно, чтобы выжать всю мощу из дисковой подсистемы, нужно
> знать какими блоками происходит чтение/запись конкретным софтом, который рабоает с дисками.
>  В моем случаем непосредственно с дисками работает самба, соотвественно вопрос, как
> выполнить профилирование и узнать какими блоками работает самба, как вообще оптимизировать
> все под конкретную задачу, вообще это настраиваемый ли параметр или нет?

http://wiki.centos.org/HowTos/Disk_Optimization
http://busybox.net/~aldot/mkfs_stride.html
http://erikugel.wordpress.com/2011/04/14/the-quest-for-the-f.../


"Input/Output, дисковая подсистема"
Отправлено metallic , 18-Июн-13 10:50 
> http://wiki.centos.org/HowTos/Disk_Optimization
> http://busybox.net/~aldot/mkfs_stride.html
> http://erikugel.wordpress.com/2011/04/14/the-quest-for-the-f.../

Спасибо, но я XFS использую, EXT нет возможности использовать


"Input/Output, дисковая подсистема"
Отправлено me , 17-Июн-13 23:14 
> выполнить профилирование и узнать какими блоками работает самба, как вообще оптимизировать

4k с буфферизацией.

> все под конкретную задачу, вообще это настраиваемый ли параметр или нет?

для самбы - нет.


"Input/Output, дисковая подсистема"
Отправлено metallic , 18-Июн-13 10:51 
> 4k с буфферизацией.

Т.е. независимо не от чего, самба всегда читает блоками по 4кб ?
А другие приложения также себя ведут или могут читать другими блоками?


"Input/Output, дисковая подсистема"
Отправлено me , 18-Июн-13 12:02 
>> 4k с буфферизацией.
> Т.е. независимо не от чего, самба всегда читает блоками по 4кб ?

самба читает фалами, файлы -> pagecache -> pagesize=4k.
и она не читает блоками, она просит набор страниц по 4k у бл.
какими чанками бл их прочтет - его дело.

> А другие приложения также себя ведут или могут читать другими блоками?

с фалами - все, в остальном - по разному, mysql, например,
может в innodb через direct_io писать по 16k.


"Input/Output, дисковая подсистема"
Отправлено metallic , 18-Июн-13 12:09 
> самба читает фалами, файлы -> pagecache -> pagesize=4k.
> и она не читает блоками, она просит набор страниц по 4k у
> бл.
> какими чанками бл их прочтет - его дело.

А кстати про pagecache, даст ли прирост производительности на чтение большое кол-во ОП у хоста, например 192ГБ?