URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 88100
[ Назад ]

Исходное сообщение
"кеширование папок под ZFS ("

Отправлено mef , 08-Фев-10 20:23 
Есть сервер на Freebsd8(amd64) + ZFS.
На нем находится папка в которой лежит несколько десятков маленьких файлов, общий размер меньше мегабайта. Эти файлы постоянно перечитывают разные скрипты, частота перечитывания раз в две секунды, записывают в них сравнительно редко. Можно ли как-нибудь ее закэшировать средствами zfs, чтобы постоянно в памяти лежала.
Еще нюанс, на сервере мало памяти, всего 1 гиг.

Содержание

Сообщения в этом обсуждении
"кеширование папок под ZFS ("
Отправлено PavelR , 08-Фев-10 20:31 
>На нем находится папка в которой лежит несколько десятков маленьких файлов, общий
>размер меньше мегабайта.
>Еще нюанс, на сервере мало памяти, всего 1 гиг.

????

Да не, похоже маловато всё-таки оперативы будет, поставьте гигов так шестнадцать - будет самое то. Ну, платформу, возможно, и поменять придется - на десктопных мамках 16 Гб сложновато воткнуть - если у вас десктоп бейзд.

----

А что, обычный кэш файловой системы тут не работает ?



"кеширование папок под ZFS ("
Отправлено mef , 08-Фев-10 21:10 
>А что, обычный кэш файловой системы тут не работает ?

Работает, но плохо, винты переодически похрустывают. Особой нагрузки это не создает, но хочется чтобы такой маленький объем, папка менее 1 мегабайта, закешировался в памяти до следующей записи в него. Возможно принудительно указать?


"кеширование папок под ZFS ("
Отправлено butcher , 09-Фев-10 07:44 
>>А что, обычный кэш файловой системы тут не работает ?
>
>Работает, но плохо, винты переодически похрустывают. Особой нагрузки это не создает, но
>хочется чтобы такой маленький объем, папка менее 1 мегабайта, закешировался в
>памяти до следующей записи в него. Возможно принудительно указать?

Попробуйте отключить обновление времени доступа к файлам:
# zfs set atime=off <имя пула>/<имя датасета>


"кеширование папок под ZFS ("
Отправлено Warhead Wardick , 08-Фев-10 21:40 
>>Еще нюанс, на сервере мало памяти, всего 1 гиг.
>Да не, похоже маловато всё-таки оперативы будет,

Вот до сюда правильно.

>поставьте гигов так шестнадцать - будет самое то

А вот тут ты поковырялся в [полёт фантазии] и вынул оттуда цЫферку ...

>А что, обычный кэш файловой системы тут не работает ?

Работает. Но ёпла! - сколько можно просить _ПЕРЕД_ тем как начинать игры с ZFS'ом - сходить на вики да почитать?! На моём личном опыте менее 2Г рамы - в ZFS не играем однозначно. С другой стороны выше 4-ёх производительность так линейно уже не растёт, надо смотреть как с любой другой ФС. Вот такой вот _личный_ опыт.


"кеширование папок под ZFS ("
Отправлено mef , 08-Фев-10 23:19 
> На моём личном
>опыте менее 2Г рамы - в ZFS не играем однозначно. С
>другой стороны выше 4-ёх производительность так линейно уже не растёт, надо
>смотреть как с любой другой ФС. Вот такой вот _личный_ опыт.
>

С производительностью проблем нет. Мне не нравится, что есть несколько маленьких файлов и они не кешируются. Хочу это исправить. Можно было бы смонтировать файловую систему на пару метров в памяти вместо этой папки, но мне хочется средствами zfs все сделать.
Кстати, поставил 2 гига. Повторные операции стали быстрее, например при повторном копировании файлов, но в моей проблеме ситуация та же.


"кеширование папок под ZFS ("
Отправлено hate , 09-Фев-10 09:32 
>Кстати, поставил 2 гига. Повторные операции стали быстрее, например при повторном копировании
>файлов, но в моей проблеме ситуация та же.

  Что ты лично прочитал (документация, маны, вики и т.д.) по работе с ZFS и её тюнингу?


"кеширование папок под ZFS "
Отправлено mef , 09-Фев-10 11:04 
>  Что ты лично прочитал (документация, маны, вики и т.д.) по
>работе с ZFS и её тюнингу?

Всем спасибо, проблема решена. Копать надо было в сторону ZIL. Количество обращений к диску можно реально снизить.


"кеширование папок под ZFS "
Отправлено mef , 09-Фев-10 11:37 
>>  Что ты лично прочитал (документация, маны, вики и т.д.) по
>>работе с ZFS и её тюнингу?
>
>Всем спасибо, проблема решена. Копать надо было в сторону ZIL. Количество обращений
>к диску можно реально снизить.

Попробую еще вариант с пулом в оперативке, но и ZIL тоже отлично работает.


"кеширование папок под ZFS "
Отправлено hate , 09-Фев-10 11:41 
>>  Что ты лично прочитал (документация, маны, вики и т.д.) по
>>работе с ZFS и её тюнингу?
>
>Всем спасибо, проблема решена. Копать надо было в сторону ZIL. Количество обращений
>к диску можно реально снизить.

Ну так делай. Или ты ждешь пока мы проверим и доложим? :)


"кеширование папок под ZFS ("
Отправлено mike , 09-Фев-10 09:48 
>[оверквотинг удален]
>>другой стороны выше 4-ёх производительность так линейно уже не растёт, надо
>>смотреть как с любой другой ФС. Вот такой вот _личный_ опыт.
>>
>
>С производительностью проблем нет. Мне не нравится, что есть несколько маленьких файлов
>и они не кешируются. Хочу это исправить. Можно было бы смонтировать
>файловую систему на пару метров в памяти вместо этой папки, но
>мне хочется средствами zfs все сделать.
>Кстати, поставил 2 гига. Повторные операции стали быстрее, например при повторном копировании
>файлов, но в моей проблеме ситуация та же.

Если нужен максимально быстрый отклик от небольшого количества файлов при минимуме обращений к винтам, возможно имеет смысл вынести папку на RAM диск. Отформатить его в zfs (предварительно создав zpool), и настроить бекап с помощью снапшотов. Эта схема в более сложном виде хорошо показала себя на solaris 10 (там страницы RAM диска никогда не свопаются), про фрю не скажу - лично не пробовал.