[ Я вынес сюда "свою" ветку про SUBJ из новости: ]=== 26.04.2013 10:48 Высокопроизводительный MySQL-движок TokuDB переведён в разряд открытых проектов
http://www.opennet.me/opennews/art.shtml?num=36779=== Аноним, 11:59 , 26-Апр-13 (1) +4
#>>> Интересно, если Заббикс на этот движок перенести - ему поможет?=== alp, 12:22 , 26-Апр-13 (4) +2
#>> Postgres ему точно поможет
http://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi?az=sh...>> Postgres ему точно поможет
> Не-а. Моему Zabbix-у на Pg, "сурово" загруженному до того по диску/SQL (не
> считая не-масштабируемости самого Z.), помогло разделение напополам на два сервера -
> половина~ хостов туда, половина сюда..
> Партишионинг я не осилил..
> Ну, housekeeper по-переписывал -- чтоб он не забивал своим io более приоритетные
> (для меня) основные процессы Z.--- 8< ---
Поясню/дополню:
W-I-P, comming soon---
> === Аноним, 11:59 , 26-Апр-13 (1) +4
> #>>> Интересно, если Заббикс на этот движок перенести - ему поможет?
> === alp, 12:22 , 26-Апр-13 (4) +2
> #>> Postgres ему точно поможет
> http://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi?az=sh...
>>> Postgres ему точно поможет
>> Не-а. Моему Zabbix-у на Pg, "сурово" загруженному до того по диску/SQL (не
>> считая не-масштабируемости самого Z.), помогло разделение напополам на два сервера -
>> половина~ хостов туда, половина сюда.----
= Моё "Не-а"
...относилось к флейм-вбросу пользователя alp Mysql vs PgSQL и моим _впечатлениям про немасштабируемость Zabbix-а. Мой подопечный Zabbix рос-рос, и "выросла такая большая...".
= Re: "помогло разделение напополам"
* Не только. Было ещё заметно помогшее изменение: добавление ОЗУ: 32Гб -> 96Гб, при размере базы на диске в районе 48-49Гб. То есть грубо - база поместилась в кеше. Вероятно, паттерн работы с диском поменялся на "преимущественно запись", каковым он сейчас является. Но во время того изменения я не снимал параметры дискового в/в.
* Параметры разделения:
zabbix "performance" (~значения-айтемы в секунду) до разделения ~770, после разделения два сервера, ~320 и ~450. (айтемов ~70-72K - всего (unsupported - 7.9-8.5К, not-monitored -- оно и само не умеет отдавать, в виде performance, разве что), после разделения ещё не числил базы от "второй половины", только Not-monitored поставил на хосты из "не той" половины.
=== В&О #1
= sauron, 13:57 , 26-Апр-13 (9) +3
> PostgeSQL хоть потюненый был?Был... Наверное. shmem в ядре и конфиге pg добавлял, немного покрутил bg-writer-ы, когда занялся переписыванием housekeeper-а. Но особо боевой сервер не менял, а сделать подобную нагрузку на стенде -- даже и не пытался.
= anonymous, 16:08 , 26-Апр-13, (36)
>> Ну, housekeeper по-переписывал -- чтоб он не забивал своим io более приоритетные
>> (для меня) основные процессы Z.
> Заббикс версии 1.8 или 2.+?Сейчас 2.0. (~~ 1.8.10?.12 -> 1.8.16 -> 2.0.2 ..., сейчас 2.0.5 + "патчики")
HK "начал беспокоить" ещё на 1.8, на 2.0 я дошёл до "влезания вовнутрь"...= AlexAT, 21:48 , 26-Апр-13, (66)
> А для статистики - не скажете число итемов/триггеров?Сейчас "два сервера" выглядят примерно так:
Number of hosts (monitored/not monitored/templates)
>>#1>> 1142 478 / 507 / 157
>>#2>> 1147 382 / 610 / 155Number of items (monitored/disabled/not supported)
>>#1>> 30746 22938 / 498 / 7310
>>#2>> 30714 29942 / 29 / 743Number of triggers (enabled/disabled)[problem/unknown/ok]
>>#1>> 14518 13880 / 638 [176 / 0 / 13704]
>>#2>> 3377 3213 / 164 [44 / 0 / 3169]
> Просто интересно, насколько наша инсталляция крупная/мелкая.Эммм. Зависит... , кого %) "принять за образцы". Сам ;) в непонятках. В т.ч., видимо, либо потому, что не публикуют[*PS], либо я ленив и zabbix.com не читаю.
PS: Пойду в бухгалтерию получать премию за разглашение чувствительной.
>> Заббикс версии 1.8 или 2.+?
> Сейчас 2.0. (~~ 1.8.10?.12 -> 1.8.16 -> 2.0.2 ..., сейчас 2.0.5 +
> "патчики")
> HK "начал беспокоить" ещё на 1.8, на 2.0 я дошёл до "влезания
> вовнутрь"...Сейчас Zabbix 3.0 LTS с "просроченным" PostgreSQL 9.1[.24lts2].
...переехал с el6 на el7 (для соболезнований по поводу systemd
http://www.opennet.me/openforum/vsluhforumID3/108006.html#88
http://www.opennet.me/openforum/vsluhforumID3/113337.html#149
уже поздно, но спасибо)....также в "купились" новые серверы с "больше шпинделей" (было 4 стало 8) и памяти (96GB -> 128GB).
...обе половинки перевёз на 3.0 (одну с 2.0, вторую с 2.2). Cамоделки в HK отвалились (портировать не стал -- а оно "и так" поехало) - ещё при переводе Zb на 2.2.
> = AlexAT, 21:48 , 26-Апр-13, (66)
>> А для статистики - не скажете число итемов/триггеров?
> Сейчас "два сервера" выглядят примерно так:
Number of hosts (monitored/not monitored/templates)
>>#1>> 2413 1764 / 176 / 473
>>#2>> 1096 886 / 80 / 130Number of items (monitored/disabled/not supported)
>>#1>> 81917 79388 / 1492 / 1037
>>#2>> 108362 97484 / 6530 / 4348Number of triggers (enabled/disabled)[problem/unknown/ok]
>>#1>> 49148 45963 / 3185 [ 170 / 45793]
>>#2>> 11735 11154 / 581 [1001 / 10153]NVPS, настоящий (по zabbix[wcache,values], avg/last month), ненастоящий
(Required server performance по dashboard-у)
>>#1>> 1.23k 913
>>#2>> 1.55k 1829
>> Просто интересно, насколько наша инсталляция крупная/мелкая.--
Обновил для Истории и очередной темы про "а какой мне сервер под Zabbix" -- http://www.opennet.me/openforum/vsluhforumID1/97191.html#2
> Обновил для Истории и очередной темы про "а какой мне сервер под
> Zabbix" -- https://www.opennet.me/openforum/vsluhforumID1/97191.html#2А у мну примерно так стало:
Number of hosts (enabled/disabled/templates) 8559 7208 / 1254 / 97
Number of items (enabled/disabled/not supported) 319510 233701 / 79100 / 6709
Number of triggers (enabled/disabled [problem/ok]) 162098 96630 / 65468 [765 / 95865]
Required server performance, new values per second 1435.63Сервер один, 2xX5650, платформа - XenServer, виртуалке отдано все 12 ядер и 36 гигов из 48 доступных.
MySQL-сервер с TokuDB под history и партишнинг там же.
По диску - четыре мамонтовых SAS 300Gb в RAID10
> Поясню/дополню:
> .
>> Партишионинг я не осилил.
> --- 8< ---= XoRe, 17:12 , 26-Апр-13, (46)
> Могу порекомендовать:
> autopartitioning для zabbix 2.x, самый простой и эффективный способ:Спасибо.
Я (пока?) не лезу глубоко в Pg, ограничиваюсь тем, что влез в Zb (housekeeper расковырял).
А как себя чувствуют Monitoring/Events / Monitoring/Triggers?>>> zabbix.com не читаю.
Удивительно - но там на форумах в основном мелочевка. До 10000 итемов... Выше похоже как-то у всех грабли начинаются.
Кое-что в заббиксе патчил, но сейчас примерно вот так:
---
Number of hosts (monitored/not monitored/templates) 1149 1104 / 0 / 45
Number of items (monitored/disabled/not supported) 102735 97111 / 4252 / 1372
Number of triggers (enabled/disabled)[problem/unknown/ok] 37998 28120 / 9878 [86 / 0 / 28034]
Required server performance, new values per second 330.89 ----
Один хост, 2.0.5, немножко допиленный. Очередь почти всегда пустая. После рестарта прочесывается (опустошает очередь) за ~10 минут. Активно используются скриптовые (external) опросы, и discovery - как по хостам, так и по элементам.
Сам Zabbix: ESXi 5.1, 2 x Xeon E5620 @ 2.40GHz, 3 vCores, 3 Gb RAM.
DB-сервер: ESXi 5.1, 2 x Xeon E5620 @ 2.40GHz, 8 vCores, 8 Gb RAM, MariaDB 5.5.30/TokuDB 7.0.1. Диски SATA.База в TokuDB, объем сырой базы вместе с историей на сейчас - 15 Гб (это около 45 Гб несжатых). Параллельно заббиксу на этом DB-сервере крутятся (только базы, естественно) еще Cacti (Boost) на 37000 графиков, архив RADIUS с начала времен, и всякая мелочевка.
---
Если интересно - неспецифичные патчи для заббиха выложу, там в основном мелочевка - обход косяков оптимизатора. Вполне возможно, что в MariaDB часть косяков испарилась - но проверять депатчингом на боевой инсталляции не хочу :)
Несколько целиком переписанных запросов завязаны на нашу специфику - но и пресловутых патчей на обход съезжающего под его запросами оптимизатора нам уже хватило для того, чтобы заббих прочесался из небытия до рабочего состояния.
> А как себя чувствуют Monitoring/Events / Monitoring/Triggers?У меня-то всё ничего, у zabbix-super-admin-а.
У пользователей протормаживает. Или протормаживало. Думал, пересчёт ACL-ей и прав доступа.
Потом игрался с pr_repack-ом (онлайн дефрагментация таблицы и её индексов для Pg) и CREATE INDEX CONCURRENTLY (пересоздание индекса в онлайне опять же), после этого, вроде, тормоза отрисовки экрана Mon/Triggers "отпустили".
Или располовинивание сервера помогло. Кто ж его знает.
> Потом игрался с pr_repack-ом (онлайн дефрагментация таблицы и её индексов для Pg)pg_repack, извините. http://reorg.github.io/pg_repack/