forum.opennet.ru - "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" (14)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"

Форум Открытые системы на сервере (Файловые системы, диски / Linux)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+1 +/–
Сообщение от xl32 (ok) on 13-Мрт-11, 11:46
Господа, помогите с проблемой практически полной остановки работы с диском и зависанием системы при записи на корневую файловую систему (ext3) с софтовым RAID1. Система CentOS 5.5 x64_86 со всеми последними апдейтами и ядром (2.6.18-194.32.1). Также я опробовал 2.6.18-194.26.1 и 2.6.37-2 из ELRepo. Результаты те же самые. CPU: Intel(R) Core(TM) i7 CPU 920 @ 2.67GHz Memory: 3 x 2Gb DDR3. HDDs: 2 x Western Digital WDC WD1002FBYS-02A6B0 Предназначение сервера: Web-хостинг (LAMP). [root@maribor boot]# mount /dev/md0 on / type ext3 (rw) proc on /proc type proc (rw) sysfs on /sys type sysfs (rw) devpts on /dev/pts type devpts (rw,gid=5,mode=620) tmpfs on /dev/shm type tmpfs (rw) none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw) sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw) Конфигурация [root@maribor boot]# mdadm -D /dev/md0 /dev/md0: Version : 0.90 Creation Time : Mon Jul 26 20:52:47 2010 Raid Level : raid1 Array Size : 972028736 (927.00 GiB 995.36 GB) Used Dev Size : 972028736 (927.00 GiB 995.36 GB) Raid Devices : 2 Total Devices : 2 Preferred Minor : 0 Persistence : Superblock is persistent Update Time : Sun Feb 27 16:28:45 2011 State : clean Active Devices : 2 Working Devices : 2 Failed Devices : 0 Spare Devices : 0 UUID : 720ac245:68ac91d4:12aa400b:1d8a16e5 Events : 0.18 Number Major Minor RaidDevice State 0 8 1 0 active sync /dev/sda1 1 8 17 1 active sync /dev/sdb1 Проблема Выполняю # dd if=/dev/zero of=/ddfile bs=8k count=2000000 Load системы постепенно увеличивается с 0.5 (~3 секунды с момента начала записи) до 20 в течении 1-2 минут и достигает 50. Всё это время, начиная с 2-3 секунд система практически недоступна для записи на диск, создания каталогов (занимает около 1 минуты) и пр. MySQL останавливается по причине слишком большого количества соединений, простейшие запросы выполняются десятками секунд. Apache httpd выдаёт 503 по причине исчерпания количества соединений. Что делать, куда копать? Если я предоставил мало информации - говорите что надо, добавлю. Вот скриншот top. http://nc.org.ua/3-load-50.png Спасибо заранее!
Ответить \| Правка \| Cообщить модератору

Оглавление

Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), bill, 17:19 , 13-Мрт-11, (1)

Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), xl32, 17:37 , 13-Мрт-11, (2)

Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), bill, 17:46 , 13-Мрт-11, (3) +1

Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), xl32, 17:51 , 13-Мрт-11, (4) +1

Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), bill, 17:55 , 13-Мрт-11, (5) +1

Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), xl32, 17:58 , 13-Мрт-11, (6) +1
Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), xl32, 18:06 , 13-Мрт-11, (7)

Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), sn, 09:06 , 14-Мрт-11, (8)

Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), xl32, 13:07 , 14-Мрт-11, (9)

Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), xl32, 13:07 , 14-Мрт-11, (10)
Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), xl32, 19:16 , 31-Мрт-11, (11)

Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), netc, 11:37 , 05-Апр-11, (12)
Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), Camb, 18:11 , 24-Апр-11, (13)

Тормозит ext3fs на RAID1 mdadm (CentOS 5.5), xl32, 19:10 , 24-Апр-11, (14)

Сообщения по теме [Сортировка по времени | RSS]

1. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +/–

Сообщение от bill (??) on 13-Мрт-11, 17:19

>[оверквотинг удален]
> Load системы постепенно увеличивается с 0.5 (~3 секунды с момента начала записи)
> до 20 в течении 1-2 минут и достигает 50. Всё это
> время, начиная с 2-3 секунд система практически недоступна для записи на
> диск, создания каталогов (занимает около 1 минуты) и пр. MySQL останавливается
> по причине слишком большого количества соединений, простейшие запросы выполняются десятками
> секунд. Apache httpd выдаёт 503 по причине исчерпания количества соединений.
> Что делать, куда копать? Если я предоставил мало информации - говорите что
> надо, добавлю.
> Вот скриншот top. http://nc.org.ua/3-load-50.png
> Спасибо заранее!
В биос постмотреть.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +/–

Сообщение от xl32 (ok) on 13-Мрт-11, 17:37

> В биос постмотреть.
Посмотрел, явной крамолы не вижу, прилагаю скрины.
http://nc.org.ua/marbor-problem/Clipboard02.png
http://nc.org.ua/marbor-problem/Clipboard03.png
http://nc.org.ua/marbor-problem/Clipboard04.png
http://nc.org.ua/marbor-problem/Clipboard05.png
http://nc.org.ua/marbor-problem/Clipboard06.png

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +1 +/–

Сообщение от bill (??) on 13-Мрт-11, 17:46

>> В биос постмотреть.
> Посмотрел, явной крамолы не вижу, прилагаю скрины.
> http://nc.org.ua/marbor-problem/Clipboard02.png
> http://nc.org.ua/marbor-problem/Clipboard03.png
> http://nc.org.ua/marbor-problem/Clipboard04.png
> http://nc.org.ua/marbor-problem/Clipboard05.png
> http://nc.org.ua/marbor-problem/Clipboard06.png
storage configuration ещё.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +1 +/–

Сообщение от xl32 (ok) on 13-Мрт-11, 17:51

> storage configuration ещё.
Прошу:
http://nc.org.ua/marbor-problem/Clipboard07.png
Да, кстати, тут перебраны варианты IDE и AHCI. Отличий ноль.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +1 +/–

Сообщение от bill (??) on 13-Мрт-11, 17:55

>> storage configuration ещё.
> Прошу:
> http://nc.org.ua/marbor-problem/Clipboard07.png
Попробуйте изменить ahci на другой режим.
Не прочитал сообщение. Тогда наверное нужно искать по модели материнской платы проблему?

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +1 +/–

Сообщение от xl32 (ok) on 13-Мрт-11, 17:58

>>> storage configuration ещё.
>> Прошу:
>> http://nc.org.ua/marbor-problem/Clipboard07.png
> Попробуйте изменить ahci на другой режим.
Уже, разницы нет.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +/–

Сообщение от xl32 (ok) on 13-Мрт-11, 18:06

> Не прочитал сообщение. Тогда наверное нужно искать по модели материнской платы проблему?
Попробую погуглить. Спасибо.
Кстати, мать Asus P6T.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

8. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +/–

Сообщение от sn (??) on 14-Мрт-11, 09:06

>[оверквотинг удален]
>  RaidDevice State
>        0
>   8        1
>        0
>   active sync   /dev/sda1
>        1
>   8       17
>       1
>  active sync   /dev/sdb1
>
можно второй винт на sdc повесить попробовать.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +/–

Сообщение от xl32 (ok) on 14-Мрт-11, 13:07

> можно второй винт на sdc повесить попробовать.
Вы имеете в виду, перебросить его в другой SATA-порт? sdc-то он от этого не станет...
Прилагаю также вывод dmesg, на форуме CentOS у меня его запросили:
http://pastebin.com/7JzaaQ34

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +/–

Сообщение от xl32 (ok) on 14-Мрт-11, 13:07

Прилагаю также вывод dmesg, на форуме CentOS у меня его запросили:
http://pastebin.com/7JzaaQ34

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +/–

Сообщение от xl32 (ok) on 31-Мрт-11, 19:16

Проблема решена с помощью форума ЦентОСовцев. Дело было в невыровненном по границе 4К сектора разделе.
Решил следующим образом:
1. Забэкапал всё.
2. Удалил /dev/sdb1 из массива:

mdadm --manage /dev/md0 --fail /dev/sdb1
mdadm --manage /dev/md0 --remove /dev/sdb1
3. Сдампил таблицу разделов на /dev/sda:

sfdisk -d /dev/sda > sda
-----------------------------
# partition table of /dev/sda
unit: sectors
/dev/sda1 : start=       63, size=1944057717, Id=fd, bootable
/dev/sda2 : start=1944057780, size=  9462285, Id=82
/dev/sda3 : start=        0, size=        0, Id= 0
/dev/sda4 : start=        0, size=        0, Id= 0
4. Подправил её (выровнял начало раздела sda1 до 64го 512-байтного сектора):

# partition table of /dev/sda
unit: sectors
/dev/sdb1 : start=       64, size=1944057717, Id=fd, bootable
/dev/sdb2 : start=1944057781, size=  9456971, Id=82
/dev/sdb3 : start=        0, size=        0, Id= 0
/dev/sdb4 : start=        0, size=        0, Id= 0
5. Залил таблицу разделов на sdb:

sfdisk --force /dev/sdb < sdb
6. Добавил раздел /dev/sdb1 в RAID-массив:

mdadm --manage /dev/md0 --add /dev/sdb1
7. Дождавшись окончания регенерации массива проводим аналогичную операцию для /dev/sda.
Всем спасибо!

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +/–

Сообщение от netc (??) on 05-Апр-11, 11:37

> 5. Залил таблицу разделов на sdb:
>

> sfdisk --force /dev/sdb < sdb
>

ошибочка вышла скорее всего ты сделал так
sfdisk --force /dev/sdb < sda

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +/–

Сообщение от Camb (ok) on 24-Апр-11, 18:11

> Проблема решена с помощью форума ЦентОСовцев. Дело было в невыровненном по границе
> 4К сектора разделе.
Ты хочешь сказать, что нам, счастливым обладателям SoftRaid1 все бросать и бегом выравнивать по границе 4к?? ;) (я почти серьезно).

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

14. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)" +/–

Сообщение от xl32 (ok) on 24-Апр-11, 19:10

>> Проблема решена с помощью форума ЦентОСовцев. Дело было в невыровненном по границе
>> 4К сектора разделе.
> Ты хочешь сказать, что нам, счастливым обладателям SoftRaid1 все бросать и бегом
> выравнивать по границе 4к?? ;) (я почти серьезно).
Никак нет, не хочу. Хочу лишь сказать, что на данном конкретном винте (указан в оригинальном посте) тормоза (а по сути блокировка фс на чтение при длинной записи) пропали после выравнивания разделов. Справедливо и обратное - они возвращаются при создании невыровненного раздела. Почему - не знаю. Физический сектор у винта якобы 512 байт.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2026 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+/–
Сообщение от bill (??) on 13-Мрт-11, 17:19
>[оверквотинг удален] > Load системы постепенно увеличивается с 0.5 (~3 секунды с момента начала записи) > до 20 в течении 1-2 минут и достигает 50. Всё это > время, начиная с 2-3 секунд система практически недоступна для записи на > диск, создания каталогов (занимает около 1 минуты) и пр. MySQL останавливается > по причине слишком большого количества соединений, простейшие запросы выполняются десятками > секунд. Apache httpd выдаёт 503 по причине исчерпания количества соединений. > Что делать, куда копать? Если я предоставил мало информации - говорите что > надо, добавлю. > Вот скриншот top. http://nc.org.ua/3-load-50.png > Спасибо заранее! В биос постмотреть.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	2. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+/–
	Сообщение от xl32 (ok) on 13-Мрт-11, 17:37
	> В биос постмотреть. Посмотрел, явной крамолы не вижу, прилагаю скрины. http://nc.org.ua/marbor-problem/Clipboard02.png http://nc.org.ua/marbor-problem/Clipboard03.png http://nc.org.ua/marbor-problem/Clipboard04.png http://nc.org.ua/marbor-problem/Clipboard05.png http://nc.org.ua/marbor-problem/Clipboard06.png
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	3. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+1 +/–
	Сообщение от bill (??) on 13-Мрт-11, 17:46
	>> В биос постмотреть. > Посмотрел, явной крамолы не вижу, прилагаю скрины. > http://nc.org.ua/marbor-problem/Clipboard02.png > http://nc.org.ua/marbor-problem/Clipboard03.png > http://nc.org.ua/marbor-problem/Clipboard04.png > http://nc.org.ua/marbor-problem/Clipboard05.png > http://nc.org.ua/marbor-problem/Clipboard06.png storage configuration ещё.
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	4. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+1 +/–
	Сообщение от xl32 (ok) on 13-Мрт-11, 17:51
	> storage configuration ещё. Прошу: http://nc.org.ua/marbor-problem/Clipboard07.png Да, кстати, тут перебраны варианты IDE и AHCI. Отличий ноль.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	5. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+1 +/–
	Сообщение от bill (??) on 13-Мрт-11, 17:55
	>> storage configuration ещё. > Прошу: > http://nc.org.ua/marbor-problem/Clipboard07.png Попробуйте изменить ahci на другой режим. Не прочитал сообщение. Тогда наверное нужно искать по модели материнской платы проблему?
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	6. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+1 +/–
	Сообщение от xl32 (ok) on 13-Мрт-11, 17:58
	>>> storage configuration ещё. >> Прошу: >> http://nc.org.ua/marbor-problem/Clipboard07.png > Попробуйте изменить ahci на другой режим. Уже, разницы нет.
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору


	7. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+/–
	Сообщение от xl32 (ok) on 13-Мрт-11, 18:06
	> Не прочитал сообщение. Тогда наверное нужно искать по модели материнской платы проблему? Попробую погуглить. Спасибо. Кстати, мать Asus P6T.
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору

8. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+/–
Сообщение от sn (??) on 14-Мрт-11, 09:06
>[оверквотинг удален] > RaidDevice State > 0 > 8 1 > 0 > active sync /dev/sda1 > 1 > 8 17 > 1 > active sync /dev/sdb1 > можно второй винт на sdc повесить попробовать.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	9. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+/–
	Сообщение от xl32 (ok) on 14-Мрт-11, 13:07
	> можно второй винт на sdc повесить попробовать. Вы имеете в виду, перебросить его в другой SATA-порт? sdc-то он от этого не станет... Прилагаю также вывод dmesg, на форуме CentOS у меня его запросили: http://pastebin.com/7JzaaQ34
	Ответить \| Правка \| ^ к родителю #8 \| Наверх \| Cообщить модератору

10. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+/–
Сообщение от xl32 (ok) on 14-Мрт-11, 13:07
Прилагаю также вывод dmesg, на форуме CentOS у меня его запросили: http://pastebin.com/7JzaaQ34
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору

11. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+/–
Сообщение от xl32 (ok) on 31-Мрт-11, 19:16
Проблема решена с помощью форума ЦентОСовцев. Дело было в невыровненном по границе 4К сектора разделе. Решил следующим образом: 1. Забэкапал всё. 2. Удалил /dev/sdb1 из массива: mdadm --manage /dev/md0 --fail /dev/sdb1 mdadm --manage /dev/md0 --remove /dev/sdb1 3. Сдампил таблицу разделов на /dev/sda: sfdisk -d /dev/sda > sda ----------------------------- # partition table of /dev/sda unit: sectors /dev/sda1 : start= 63, size=1944057717, Id=fd, bootable /dev/sda2 : start=1944057780, size= 9462285, Id=82 /dev/sda3 : start= 0, size= 0, Id= 0 /dev/sda4 : start= 0, size= 0, Id= 0 4. Подправил её (выровнял начало раздела sda1 до 64го 512-байтного сектора): # partition table of /dev/sda unit: sectors /dev/sdb1 : start= 64, size=1944057717, Id=fd, bootable /dev/sdb2 : start=1944057781, size= 9456971, Id=82 /dev/sdb3 : start= 0, size= 0, Id= 0 /dev/sdb4 : start= 0, size= 0, Id= 0 5. Залил таблицу разделов на sdb: sfdisk --force /dev/sdb < sdb 6. Добавил раздел /dev/sdb1 в RAID-массив: mdadm --manage /dev/md0 --add /dev/sdb1 7. Дождавшись окончания регенерации массива проводим аналогичную операцию для /dev/sda. Всем спасибо!
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	12. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+/–
	Сообщение от netc (??) on 05-Апр-11, 11:37
	> 5. Залил таблицу разделов на sdb: > > sfdisk --force /dev/sdb < sdb > ошибочка вышла скорее всего ты сделал так sfdisk --force /dev/sdb < sda
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору


	13. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+/–
	Сообщение от Camb (ok) on 24-Апр-11, 18:11
	> Проблема решена с помощью форума ЦентОСовцев. Дело было в невыровненном по границе > 4К сектора разделе. Ты хочешь сказать, что нам, счастливым обладателям SoftRaid1 все бросать и бегом выравнивать по границе 4к?? ;) (я почти серьезно).
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору


	14. "Тормозит ext3fs на RAID1 mdadm (CentOS 5.5)"	+/–
	Сообщение от xl32 (ok) on 24-Апр-11, 19:10
	>> Проблема решена с помощью форума ЦентОСовцев. Дело было в невыровненном по границе >> 4К сектора разделе. > Ты хочешь сказать, что нам, счастливым обладателям SoftRaid1 все бросать и бегом > выравнивать по границе 4к?? ;) (я почти серьезно). Никак нет, не хочу. Хочу лишь сказать, что на данном конкретном винте (указан в оригинальном посте) тормоза (а по сути блокировка фс на чтение при длинной записи) пропали после выравнивания разделов. Справедливо и обратное - они возвращаются при создании невыровненного раздела. Почему - не знаю. Физический сектор у винта якобы 512 байт.
	Ответить \| Правка \| ^ к родителю #13 \| Наверх \| Cообщить модератору