FreeBSD 8.1 на ZFS, qmail, SpamAssassin 3.3.1

use_bayes 1
bayes_path /usr/local/bayes/bayes
use_auto_whitelist 1
auto_whitelist_path /usr/local/bayes/autowhitelist
bayes_journal_max_size 102400
bayes_expiry_max_db_size 150000
bayes_auto_expire 1
lock_method flock
bayes_auto_learn_threshold_nonspam 0.1
bayes_auto_learn_threshold_spam 12.0

Такая проблема со spamassasin'ом, как только включаю bayes начинает расти bayes_toks до невероятных, нереальных размеров:
>ls -lh

total 9263163
-rw-------  1 root  wheel    19B Aug 25 15:50 bayes.lock
-rw-------  1 root  wheel    36M Aug 25 15:50 bayes_seen
-rw-------  1 root  wheel   128T Aug 25 15:51 bayes_toks

после чего процесс обновляющий фильтр повисает со 100% загрузкой CPU:

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
26896 root        1 118    0 74620K 46608K CPU3    1  15:52 100.00% perl
38904 spamd       1  50    0 85844K 53552K select  2   0:01  4.49% perl
39016 spamd       1  76    0 84820K 52120K select  1   0:00  4.05% perl
39017 spamd       1  72    0 84820K 52520K select  2   0:00  4.05% perl
31543 spamd       1  46    0 89940K 57720K select  2   0:36  3.56% perl
в данном случае при запуске spamd bayes был отключен, просто руками запустил обучение на 300 писем
> sa-learn -u spamd --spam /usr/home/xxx/spam

но то же самое происходит и если просто включить bayes, минут за 20 bayes_toks вырастает до 128 терабайт и появляются "мёртвые" процессы со 100% загрузкой.

изменение bayes_journal_max_size и bayes_expiry_max_db_size не помогают. Подскажите что покрутить? Не может это быть глюком ZFS (каталог bayes на ней)?

• Spamassasin и размер bayes_toks,vaan, 09:08 , 26-Авг-10
  • Spamassasin и размер bayes_toks,Pahanivo, 12:07 , 26-Авг-10
    • Spamassasin и размер bayes_toks,DeadLoco, 20:48 , 26-Авг-10
      • Spamassasin и размер bayes_toks,Pahanivo, 10:33 , 27-Авг-10
  • Spamassasin и размер bayes_toks,Golub Mikhail, 13:11 , 26-Авг-10
    • Spamassasin и размер bayes_toks,Pahanivo, 14:09 , 26-Авг-10
    • Spamassasin и размер bayes_toks,vaan, 12:17 , 29-Авг-10
    • Spamassasin и размер bayes_toks,sea_nsk, 11:48 , 14-Май-19

>FreeBSD 8.1 на ZFS, qmail, SpamAssassin 3.3.1

...
>Не может это быть глюком ZFS (каталог bayes на ней)?

Всем спасибо :) Оказалось действительно проблема с ZFS. Положил файлы на UFS, всё заработало как надо.

>>FreeBSD 8.1 на ZFS, qmail, SpamAssassin 3.3.1
>
>...
>>Не может это быть глюком ZFS (каталог bayes на ней)?
>
>Всем спасибо :) Оказалось действительно проблема с ZFS. Положил файлы на UFS,
>всё заработало как надо.

какая связь?

> но то же самое происходит и если просто включить bayes, минут за 20 bayes_toks
> вырастает до 128 терабайт и появляются "мёртвые" процессы со 100% загрузкой.

не хилые у вас скорости записи однако ... 6 Тb/min

>какая связь?

Очевидно, связь через кеширование записи - процесс просто не видит изменений в файле и повторяет операцию записи снова и снова, отчего файл и растет ударными темпами.

>>какая связь?
>
>Очевидно, связь через кеширование записи - процесс просто не видит изменений в
>файле и повторяет операцию записи снова и снова, отчего файл и
>растет ударными темпами.

хмммм - весьма странно ....
получается что при интенсивной записи мелкими порциями это сам себе DoS ? )

>>FreeBSD 8.1 на ZFS, qmail, SpamAssassin 3.3.1
>
>...
>>Не может это быть глюком ZFS (каталог bayes на ней)?
>
>Всем спасибо :) Оказалось действительно проблема с ZFS. Положил файлы на UFS,
>всё заработало как надо.

Измените recordsize для фс, где находятся файлы с токенами. Должно помочь.
Попробуйте установить 8 Кб.
Похожая проблема была с кешем сквида на zfs. Установил recordsize = 2K - стало нормально.
Для MySQL тоже надо менять recordsize. Есть доки на сайте производителя.

>[оверквотинг удален]
>>>Не может это быть глюком ZFS (каталог bayes на ней)?
>>
>>Всем спасибо :) Оказалось действительно проблема с ZFS. Положил файлы на UFS,
>>всё заработало как надо.
>
>Измените recordsize для фс, где находятся файлы с токенами. Должно помочь.
>Попробуйте установить 8 Кб.
>Похожая проблема была с кешем сквида на zfs. Установил recordsize = 2K
>- стало нормально.
>Для MySQL тоже надо менять recordsize. Есть доки на сайте производителя.

это глюк? наскока я понял из мануалу этим тюнится перфоменс ....
простото тоже хочу заморочить за zfs - хочется побольше узнать о граблях

>Измените recordsize для фс, где находятся файлы с токенами. Должно помочь.

Огромное спасибо, поставил 16к, помогло.

# sa-learn --dump magic
0.000          0          3          0  non-token data: bayes db version
0.000          0     179355          0  non-token data: nspam
0.000          0        413          0  non-token data: nham
0.000          0    3225290          0  non-token data: ntokens
0.000          0 1225522102          0  non-token data: oldest atime
0.000          0 1283069769          0  non-token data: newest atime
0.000          0 1283069746          0  non-token data: last journal sync atime
0.000          0 1282795676          0  non-token data: last expiry atime
0.000          0      43200          0  non-token data: last expire atime delta
0.000          0      40808          0  non-token data: last expire reduction count
# ls -lh
total 98848
-rw-------  1 spamd  spamd    30K Aug 29 12:16 bayes.mutex
-rw-------  1 spamd  spamd    49K Aug 29 12:16 bayes_journal
-rw-------  1 spamd  spamd    19M Aug 29 12:16 bayes_seen
-rw-------  1 spamd  spamd    77M Aug 29 12:16 bayes_toks

>[оверквотинг удален]
>>...
>>>Не может это быть глюком ZFS (каталог bayes на ней)?
>>
>>Всем спасибо :) Оказалось действительно проблема с ZFS. Положил файлы на UFS,
>>всё заработало как надо.
> Измените recordsize для фс, где находятся файлы с токенами. Должно помочь.
> Попробуйте установить 8 Кб.
> Похожая проблема была с кешем сквида на zfs. Установил recordsize = 2K
> - стало нормально.
> Для MySQL тоже надо менять recordsize. Есть доки на сайте производителя.

Здравствуйте.
У меня схожая проблема с тем же файлом
-rw-------  1 spamd  spamd   2.0T Jul 13  2016 bayes_toks

На диске вообще нет столько места. система UFS

  2029200   2586624      4  freebsd-ufs  (1.2G)

fsck ошибок не показывает.

Куда рыть?