URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 87277
[ Назад ]
Исходное сообщение
"Низкая скорость кешированного чтения"
Отправлено zeda , 14-Ноя-09 23:51 
Уважаемый all!
При обновлении сервера БД с HP DL385 на новенький HP DL585 столкнулся с непонятным для меня падением производительности, поковырявшись увидел такую картину:
HP DL385
hdparm -T /dev/cciss/c0d0p1

/dev/cciss/c0d0p1:
Timing cached reads:   6426 MB in  2.00 seconds = 3215.23 MB/sec
HP DL585
hdparm -T /dev/cciss/c0d0p1

/dev/cciss/c0d0p1:
Timing cached reads:   1844 MB in  2.00 seconds = 922.00 MB/sec

Как видно падение на свежем сервере белее чем в три раза. Не могу понять в чем дело. Экспериментировал как с параметрами ядер, с сами ядрами, с настройками BIOS - ничего не помогает.
Может кто сталкивался или есть идеи?
Заранее спасибо.

Содержание
Сообщения в этом обсуждении
"Низкая скорость кешированного чтения"
Отправлено sHaggY_caT , 15-Ноя-09 07:44 
>[оверквотинг удален]
>
>/dev/cciss/c0d0p1:
> Timing cached reads:   1844 MB in  2.00 seconds
>= 922.00 MB/sec
>
>Как видно падение на свежем сервере белее чем в три раза. Не
>могу понять в чем дело. Экспериментировал как с параметрами ядер, с
>сами ядрами, с настройками BIOS - ничего не помогает.
>Может кто сталкивался или есть идеи?
>Заранее спасибо.

Ставьте отсюда:
ftp://ftp.hp.com/pub/products/servers/supportsoftware/linux/

Пакетик pacucli.

Как поставите, проверьте статус рейда:

/usr/sbin/hpacucli controller all show config

"Низкая скорость кешированного чтения"
Отправлено zeda , 15-Ноя-09 10:25 
С рейдом все OK
hpacucli controller all show config

Smart Array P400 in Slot 9    (sn: PAFGL0P9SWY1MQ)

   array A (SAS, Unused Space: 0 MB)

      logicaldrive 1 (33.9 GB, RAID 1+0, OK)

      physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SAS, 36 GB, OK)
      physicaldrive 1I:1:2 (port 1I:box 1:bay 2, SAS, 36 GB, OK)

Насколько я понимаю "Timing cached reads" - это тест скорости тракта ЦП - кэш контроллера, на нее практически не влияет скорость/проблемы физических дисков


"Низкая скорость кешированного чтения"
Отправлено sHaggY_caT , 15-Ноя-09 12:17 
>[оверквотинг удален]
>      logicaldrive 1 (33.9 GB, RAID 1+0,
>OK)
>
>      physicaldrive 1I:1:1 (port 1I:box 1:bay 1,
>SAS, 36 GB, OK)
>      physicaldrive 1I:1:2 (port 1I:box 1:bay 2,
>SAS, 36 GB, OK)
>
>Насколько я понимаю "Timing cached reads" - это тест скорости тракта ЦП
>- кэш контроллера, на нее практически не влияет скорость/проблемы физических дисков

write-back кэш? Батарейка?


"Низкая скорость кешированного чтения"
Отправлено zeda , 15-Ноя-09 18:01 
Все установлено и включено.
"Низкая скорость кешированного чтения"
Отправлено anonymous , 15-Ноя-09 22:11 
>Уважаемый all!
>При обновлении сервера БД с HP DL385 на новенький HP DL585 столкнулся
>с непонятным для меня падением производительности, поковырявшись увидел такую картину:

...
>Как видно падение на свежем сервере белее чем в три раза. Не
>могу понять в чем дело. Экспериментировал как с параметрами ядер, с
>сами ядрами, с настройками BIOS - ничего не помогает.

для приличия приведите версию ОС на старом и новом сервере.  

да и тест можно поприличнее выбрать -- скажем, iozone.

"Низкая скорость кешированного чтения"
Отправлено zeda , 15-Ноя-09 23:34 
>для приличия приведите версию ОС на старом и новом сервере.

Не приводил для приличия по одной причине:
Пробовал:
Gentoo
OpenSUSU
Slackware
с ядрами от 2.6.16 до 2.6.30 - эффект одинаков
Сейчас например:
uname -a
Linux localhost 2.6.16-gentoo-r13 #1 SMP Sun Nov 15 02:10:36 MSK 2009 i686 Quad-Core AMD Opteron(tm) Processor 8360 SE AuthenticAMD GNU/Linux

На 385 - Gentoo

>
>да и тест можно поприличнее выбрать -- скажем, iozone.

По поводу тестов - IMHO - iozone тест файловой системы. У меня нет проблем с дисковым чтением/записью, массив 1+0 из 4хSAS 15rpm дает порядка 180 MB/s и там, и там. У меня есть проблема с кешированным чтением. Кэшированное чтение мало зависит от скорости самих дисков. В тоже время назначение системы - Сервер БД для учетной системы. Размер БД - порядка 2 ГБайт. Кэшированное чтение - одна из самых основных операций в такой системе. У меня реальная потеря производительности на отчетах достигает 25%. И это слишком много.

Более того. Я пытался проверить все тоже самое на дисках SAN через FiberChannel. Все тоже самое (может только чуть лучше).

"Низкая скорость кешированного чтения"
Отправлено anonymous , 16-Ноя-09 03:16 
>По поводу тестов - IMHO - iozone тест файловой системы. У меня
>нет проблем с дисковым чтением/записью, массив 1+0 из 4хSAS 15rpm дает
>порядка 180 MB/s и там, и там. У меня есть проблема
>с кешированным чтением. Кэшированное чтение мало зависит от скорости самих дисков.
>В тоже время назначение системы - Сервер БД для учетной системы.
>Размер БД - порядка 2 ГБайт. Кэшированное чтение - одна из
>самых основных операций в такой системе. У меня реальная потеря производительности
>на отчетах достигает 25%. И это слишком много.

то есть вместо того, чтобы кэшировать в (много большей) памяти хоста, вы рассчитываете на кэш контроллера и дисков?

что-то тут не так.

"Низкая скорость кешированного чтения"
Отправлено sHaggY_caT , 16-Ноя-09 23:26 
>[оверквотинг удален]
>нет проблем с дисковым чтением/записью, массив 1+0 из 4хSAS 15rpm дает
>порядка 180 MB/s и там, и там. У меня есть проблема
>с кешированным чтением. Кэшированное чтение мало зависит от скорости самих дисков.
>В тоже время назначение системы - Сервер БД для учетной системы.
>Размер БД - порядка 2 ГБайт. Кэшированное чтение - одна из
>самых основных операций в такой системе. У меня реальная потеря производительности
>на отчетах достигает 25%. И это слишком много.
>
>Более того. Я пытался проверить все тоже самое на дисках SAN через
>FiberChannel. Все тоже самое (может только чуть лучше).

Поставьте сертифицированную ОС (читайте RHEL/SLES) и заведите кейс в тракере HP