 FreeNAS 11.1 - непонятная статистика записи на диски,  eliot, 04-Янв-20, 13:20 [смотреть все]ЗдравствуйтеПомогите, пожалуйста, не пойму почему данные zpool iostat отличается от nfsstat
Детально:
[root@srv-stg-01 ~]# zpool iostat
capacity operations bandwidth
pool alloc free read write read write
---------- ----- ----- ----- ----- ----- -----
xen00 7.01T 11.1T 88 942 7.99M 36.3M
[root@srv-stg-01 ~]# nfsstat -s
Server Info:
Getattr Setattr Lookup Readlink Read Write Create Remove
48794677 27436 619 0 9601041492 8161527011 0 58
Rename Link Symlink Mkdir Rmdir Readdir RdirPlus Access
22 0 0 0 0 6 53 20436173
Mknod Fsstat Fsinfo PathConf Commit
0 1949 28 14 6842208
Server Ret-Failed
0
Server Faults
0
Server Cache Stats:
Inprog Idem Non-idem Misses
0 0 0 17818365070
Server Write Gathering:
WriteOps WriteRPC Opsaved
Итого через nfs сервер пишется ~8МБ/с , а zpool показывает 36
Я бы предположил что кто-то ещё пишет на диски, но:
top -m io -o write -s 1
показывает что nfsd создаёт 99.5% записи
91 processes: 1 running, 90 sleeping
CPU: 1.8% user, 0.0% nice, 2.0% system, 0.3% interrupt, 95.9% idle
Mem: 85M Active, 460M Inact, 856M Laundry, 45G Wired, 475M Free
ARC: 39G Total, 26G MFU, 12G MRU, 52M Anon, 900M Header, 145M Other
36G Compressed, 56G Uncompressed, 1.55:1 Ratio
Swap: 10G Total, 310M Used, 9930M Free, 3% Inuse
PID USERNAME VCSW IVCSW READ WRITE FAULT TOTAL PERCENT COMMAND
2483 root 2126 27 67 785 0 852 99.53% nfsd
40741 root 3 0 0 0 0 0 0.00% ksh93
40738 root 2 0 0 0 0 0 0.00% dtrace Вывод pool status: pool: xen00
state: ONLINE
scan: scrub repaired 0 in 0 days 09:48:26 with 0 errors on Sun Dec 8 09:48:28 2019
config:
NAME STATE READ WRITE CKSUM
xen00 ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
gptid/cb37a880-d23d-11e8-bf92-90e2ba53b1bc ONLINE 0 0 0
gptid/cc1547dc-d23d-11e8-bf92-90e2ba53b1bc ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
gptid/ccdc1a94-d23d-11e8-bf92-90e2ba53b1bc ONLINE 0 0 0
gptid/f8da6d72-20aa-11e9-9a63-90e2ba53b1bc ONLINE 0 0 0
mirror-2 ONLINE 0 0 0
gptid/ce79bd56-d23d-11e8-bf92-90e2ba53b1bc ONLINE 0 0 0
gptid/cf556c96-d23d-11e8-bf92-90e2ba53b1bc ONLINE 0 0 0
mirror-3 ONLINE 0 0 0
gptid/d01f2813-d23d-11e8-bf92-90e2ba53b1bc ONLINE 0 0 0
gptid/981002ff-20ab-11e9-9a63-90e2ba53b1bc ONLINE 0 0 0
mirror-4 ONLINE 0 0 0
gptid/d1a2938b-d23d-11e8-bf92-90e2ba53b1bc ONLINE 0 0 0
gptid/d26f9500-d23d-11e8-bf92-90e2ba53b1bc ONLINE 0 0 0
logs
da8p2 ONLINE 0 0 0
da9p2 ONLINE 0 0 0
da10p2 ONLINE 0 0 0
da11p2 ONLINE 0 0 0
da12p2 ONLINE 0 0 0
cache
da8p1 ONLINE 0 0 0
da10p1 ONLINE 0 0 0
da12p1 ONLINE 0 0 0
da11p1 ONLINE 0 0 0
da9p1 ONLINE 0 0 0
|
- FreeNAS 11.1 - непонятная статистика записи на диски, universite, 20:14 , 04-Янв-20 (1)
> Здравствуйте
> Помогите, пожалуйста, не пойму почему данные zpool iostat отличается от nfsstat
> Детально: Мало деталей.
Нужно: что за диски? размер их блоков?куда они подключены? в RAID? какой там размер блоков указан?
желательны еще графики нагрузки по IOPS за последний месяц, год.
- FreeNAS 11.1 - непонятная статистика записи на диски, eliot, 14:46 , 05-Янв-20 (2)
> что за диски? ST4000NM0033-9ZM 8шт
ST4000NM0035-1V4 2шт > размер их блоков? Sector Size: 512 bytes logical/physical > куда они подключены? в RAID? К серверу я подобраться не могу чтобы посмотреть.
sas2ircu LIST показывает:
Adapter Vendor Device SubSys SubSys
Index Type ID ID Pci Address Ven ID Dev ID
----- ------------ ------ ------ ----------------- ------ ------
0 SAS2308_2 1000h 87h 00h:01h:00h:00h 1000h 3020h
[root@srv-stg-01 ~]# camcontrol devlist
<LSI SAS2X36 0e12> at scbus0 target 8 lun 0 (ses0,pass0)
<ATA ST4000NM0033-9ZM 0001> at scbus0 target 12 lun 0 (pass1,da0)
<ATA ST4000NM0033-9ZM SN06> at scbus0 target 13 lun 0 (pass2,da1)
<ATA ST4000NM0033-9ZM 0001> at scbus0 target 14 lun 0 (pass3,da2)
<ATA ST4000NM0033-9ZM 0001> at scbus0 target 15 lun 0 (pass4,da3)
<ATA ST4000NM0033-9ZM 0001> at scbus0 target 17 lun 0 (pass5,da4)
<ATA ST4000NM0033-9ZM 0001> at scbus0 target 18 lun 0 (pass6,da5)
<ATA ST4000NM0033-9ZM SN06> at scbus0 target 19 lun 0 (pass7,da6)
<ATA ST4000NM0033-9ZM 0001> at scbus0 target 20 lun 0 (pass8,da7)
<ATA KINGSTON SUV400S 96R9> at scbus0 target 22 lun 0 (pass9,da8)
<ATA KINGSTON SUV400S 96R9> at scbus0 target 23 lun 0 (pass10,da9)
<ATA KINGSTON SUV400S 37R5> at scbus0 target 24 lun 0 (pass11,da10)
<ATA KINGSTON SUV400S 96R9> at scbus0 target 25 lun 0 (pass12,da11)
<ATA KINGSTON SUV400S 96R9> at scbus0 target 26 lun 0 (pass13,da12)
<HGST HUH721010AL5204 C21D> at scbus0 target 27 lun 0 (pass14,da13)
<HGST HUH721010AL5204 C21D> at scbus0 target 28 lun 0 (pass15,da14)
<HGST HUH721010AL5204 C21D> at scbus0 target 29 lun 0 (pass16,da15)
<ATA ST4000NM0035-1V4 TN04> at scbus0 target 32 lun 0 (pass17,da16)
<ATA ST4000NM0035-1V4 TN04> at scbus0 target 33 lun 0 (pass18,da17)
<ATA Samsung SSD 860 2B6Q> at scbus0 target 34 lun 0 (pass19,da18)
<ATA Samsung SSD 860 2B6Q> at scbus0 target 35 lun 0 (pass20,da19)
<ATA WDC WD101KRYZ-01 1H02> at scbus0 target 38 lun 0 (da20,pass22)
<ST120FN0021 B550> at scbus2 target 0 lun 0 (pass21,ada0)
> какой там размер блоков указан?
подскажите пожалуйста где посмотреть > желательны еще графики нагрузки по IOPS за последний месяц, год. https://yadi.sk/i/cgdkx8CTLUQwLg
https://yadi.sk/i/HXTBBwKtTpN86Q
- FreeNAS 11.1 - непонятная статистика записи на диски, universite, 23:02 , 05-Янв-20 (3)
>> что за диски?
> ST4000NM0033-9ZM 8шт
> ST4000NM0035-1V4 2шт
>> размер их блоков?
> Sector Size: 512 bytes logical/physical Очень странно.
Используйте свежее smartmontools и просмотрите все-таки какой размер физического сектора. >[оверквотинг удален]
> at scbus0 target 34 lun 0 (pass19,da18)
> <ATA Samsung SSD 860 2B6Q>
> at scbus0 target 35 lun 0 (pass20,da19)
> <ATA WDC WD101KRYZ-01 1H02> at
> scbus0 target 38 lun 0 (da20,pass22)
> <ST120FN0021 B550>
> at scbus2 target 0 lun
> 0 (pass21,ada0)
>> какой там размер блоков указан?
> подскажите пожалуйста где посмотреть Смотреть через консольную утилиту вашей модели RAID. В крайнем случае перезагрузиться и посмотреть в самом меню RAID.
>> желательны еще графики нагрузки по IOPS за последний месяц, год.
> https://yadi.sk/i/cgdkx8CTLUQwLg
> https://yadi.sk/i/HXTBBwKtTpN86Q
Очень странно, у вас почти отсутствует нагрузка.
Два варианта ситуации.
1) Или у вас один или несколько винтов так имеют размер сектора 4k
2) Или у вас массив собран, как будто у вас диски c размером сектора 4K.
zdb | grep -i ashift
это было лучше смотреть в момент создания массива ибо при заполнении массива zdb будет сильно тормозить.
- FreeNAS 11.1 - непонятная статистика записи на диски, eliot, 13:10 , 06-Янв-20 (4)
> Очень странно.
> Используйте свежее smartmontools и просмотрите все-таки какой размер физического сектора.
> Смотреть через консольную утилиту вашей модели RAID. В крайнем случае перезагрузиться и
> посмотреть в самом меню RAID.Спасибо. Попробую перейти на FreeNAS 11.2
> Два варианта ситуации.
> 1) Или у вас один или несколько винтов так имеют размер сектора
> 4k
> 2) Или у вас массив собран, как будто у вас диски c
> размером сектора 4K.
>
> zdb | grep -i ashift
>
> это было лучше смотреть в момент создания массива ибо при заполнении массива
> zdb будет сильно тормозить.
Если верить смарту то у всех 512 root@srv-stg-01:~ # zdb | grep -i ashift
ashift: 12
- FreeNAS 11.1 - непонятная статистика записи на диски, universite, 13:24 , 06-Янв-20 (5)
>[оверквотинг удален]
>> размером сектора 4K.
>>
>> zdb | grep -i ashift
>>
>> это было лучше смотреть в момент создания массива ибо при заполнении массива
>> zdb будет сильно тормозить.
> Если верить смарту то у всех 512
> root@srv-stg-01:~ # zdb | grep -i ashift
>
> ashift: 12 Значит, пул подготовлен для дисков с размером блоков 4K. А так как ваш RAID SAS2308 не поддерживает JBOD, то нужно смотреть, с каким размером блока созданы одиночные блоки-диски RAID0.
Supported RAID Modes RAID 0, RAID1, RAID 10, RAID 1E
- FreeNAS 11.1 - непонятная статистика записи на диски, eliot, 14:00 , 06-Янв-20 (6)
> Значит, пул подготовлен для дисков с размером блоков 4K.
> А так как ваш RAID SAS2308 не поддерживает JBOD, то нужно смотреть,
> с каким размером блока созданы одиночные блоки-диски RAID0.
>
> Supported RAID Modes
> RAID 0, RAID1, RAID 10, RAID 1E
> Средствами SAS2308 рейд не конфигурировался, даже одиночные диски не создавались
Их просто подключили, и дальнейшее конфигурирование осуществлялось средствами ОС
- FreeNAS 11.1 - непонятная статистика записи на диски, universite, 14:07 , 06-Янв-20 (7)
>> Значит, пул подготовлен для дисков с размером блоков 4K.
>> А так как ваш RAID SAS2308 не поддерживает JBOD, то нужно смотреть,
>> с каким размером блока созданы одиночные блоки-диски RAID0.
>>
>> Supported RAID Modes
>> RAID 0, RAID1, RAID 10, RAID 1E
>>
> Средствами SAS2308 рейд не конфигурировался, даже одиночные диски не создавались
> Их просто подключили, и дальнейшее конфигурирование осуществлялось средствами ОС А вы все-таки проверьте.
Ибо da[0-9] диски обычно называются одиночные блоки в рейде.
Если бы диски прозрачно проброшены, то имена были бы ada[0-9].
Например, покажите вывод:
camcontrol identify da0
- FreeNAS 11.1 - непонятная статистика записи на диски, eliot, 14:13 , 06-Янв-20 (8)
root@srv-stg-01:~ # camcontrol identify da0
pass1: <ST4000NM0033-9ZM170 0001> ACS-2 ATA SATA 3.x device
pass1: 600.000MB/s transfers, Command Queueing Enabledprotocol ATA/ATAPI-9 SATA 3.x
device model ST4000NM0033-9ZM170
firmware revision 0001
serial number Z1Z1ZNSP
WWN 5000c50064d96704
cylinders 16383
heads 16
sectors/track 63
sector size logical 512, physical 512, offset 0
LBA supported 268435455 sectors
LBA48 supported 7814037168 sectors
PIO supported PIO4
DMA supported WDMA2 UDMA6
media RPM 7200 Feature Support Enabled Value Vendor
read ahead yes yes
write cache yes yes
flush cache yes yes
overlap no
Tagged Command Queuing (TCQ) no no
Native Command Queuing (NCQ) yes 32 tags
NCQ Queue Management no
NCQ Streaming no
Receive & Send FPDMA Queued no
SMART yes yes
microcode download yes yes
security yes no
power management yes yes
advanced power management no no
automatic acoustic management no no
media status notification no no
power-up in Standby no no
write-read-verify yes no 0/0x0
unload yes yes
general purpose logging yes yes
free-fall no no
Data Set Management (DSM/TRIM) no
Host Protected Area (HPA) yes no 7814037168/7814037168
HPA - Security no
- FreeNAS 11.1 - непонятная статистика записи на диски, lavr, 23:44 , 06-Янв-20 (9)
> root@srv-stg-01:~ # camcontrol identify da0
> pass1: <ST4000NM0033-9ZM170 0001> ACS-2 ATA SATA 3.x device
> pass1: 600.000MB/s transfers, Command Queueing Enabled sorry, вывод вырезал, но cache особливо на запись, правильно
будет отключить. Лучше read/write disk cache в disable, все что связано
с power management и advanced power management - disable,
если BMS отключается - тоже лучше выключить (EN_BMS - Enable Background Medium Scan) >Итого через nfs сервер пишется ~8МБ/с , а zpool показывает 36
>Я бы предположил что кто-то ещё пишет на диски, но:
>top -m io -o write -s 1
>показывает что nfsd создаёт 99.5% записи top вы смотрите с интервалом в 1 сек, а в zpool iostat - общую
статистику? Что еще на вскидку, журнал и l2arc на партициях sata дисков..?
В чем сей смысл? Для dataset'a который под NFS, журнал советую отключить, толку
от него ноль, atime, dedup, sync в disable, checksum и compression
- на Ваше усмотрение, я бы отключил.
- FreeNAS 11.1 - непонятная статистика записи на диски, eliot, 10:37 , 08-Янв-20 (10)
> sorry, вывод вырезал, но cache особливо на запись, правильно
> будет отключить.
> Лучше read/write disk cache в disable, все что связано
> с power management и advanced power management - disable,
> если BMS отключается - тоже лучше выключить (EN_BMS - Enable Background Medium
> Scan)
> Для dataset'a который под NFS, журнал советую отключить, толку
> от него ноль, atime, dedup, sync в disable, checksum и compression
> - на Ваше усмотрение, я бы отключил.Спасибо > Что еще на вскидку, журнал и l2arc на партициях sata дисков..?
> В чем сей смысл? Сделано было до меня, предполагаю чтобы увеличить IOPS'ы > top вы смотрите с интервалом в 1 сек, а в zpool iostat
> - общую
> статистику? Да, а как правильно?)
Также я смотрел статистику по записи в разделе Reports/Disks (WEB)
По ней на каждый винт приходится примерно 8МБ/с, дисков 10, зеркала, значит общий объём 7 * 5 = 35. Что близко к тому что я вижу в zpool iostat
Параллельно собрал статистику по серверам Xen, там в среднем 6-7МБ/с пишется
Больше никто на них не пишет (кстати это можно ка-то проверить?)
https://yadi.sk/i/1y3Q2wb77nC68w
|
Версия для распечатки
