LINUX.ORG.RU
ФорумAdmin

Zabbix agent «недоступен»

 


0

2

Доброго времени суток товарищи, помогите пожалуйста разобраться с проблемой.

После 5 минут после старта сервера появляеться алерт о недоступности всех агентов. Агенты по факту доступны, agent.ping возвращает 1, кнопка ZBX в настройках узла зеленая, графики по данным от агента строяться, триггеры отрабатывают. Немного поковыряв, обнаружил такое в логах заббикс сервера:

12474:20160825:143706.330 slow query: 4.800225 sec, "insert into history_text
 12471:20160825:143724.260 slow query: 54.320339 sec, "insert into history_uint
В вэбке заббикса что-то такое проскакивает:
Error in query [INSERT INTO functions (itemid,triggerid,function,parameter,functionid) VALUES ('594217','183869','nodata','5m','480331')] [Lock wait timeout exceeded; try restarting transaction]
Не удалось раскрыть выражение "{linux_host:agent.ping.nodata(5m)}=1". Ошибка при выполнении SQL запроса "INSERT INTO functions (itemid,triggerid,function,parameter,functionid) VALUES ('594217','183869','nodata','5m','480331')".

Действительно, судя по ошибкам в mysql в очереди много незавершенных транзакций, залоченые таблици, ну и вообще очередь разростаеться, удаление транзакций нечего не дает. Главная проблема в том, что при этом имеют место фризы и лаги самого заббикса, не говоря уже о том, что события не отрабатываються. Рестарт zabbix-server временно спасает-транзакции пролетают,события отрабатывают, пока подпер этим костылем.

Сам сервер не перегружен, исправен. Проблема возникла после обновы агентов и сервера до 3.0.4 и переноса контейнера lxc с заббиксом на новую машину.

1) что в этот момент показывает таблица очереди?

2) Сколько весит сама БД?

3) innodb file per table стоит?

snaf ★★★★★ ()
Ответ на: комментарий от snaf

1)http://pastebin.com/YQiUUhxx

2)Прямо сейчас ~18 Гб

3)Выборочно с my.cnf

#innodb_force_recovery = 5
innodb_file_per_table = 1
innodb_data_file_path=ibdata1:10M:autoextend:max:3G
innodb_buffer_pool_size = 8192M
innodb_flush_method = O_DIRECT
innodb_read_io_threads = 8
innodb_write_io_threads = 8
#innodb_log_file_size = 512M
innodb_flush_log_at_trx_commit = 0
innodb_file_per_table
innodb_buffer_pool_instances = 6
max_connections = 400

venom253 ()

1. Housekeeper включен? Если да, выключайте нафик и делайте партицирование базы.

2. Оптимизируйте сервер БД и I/O. Если есть возможность съезжайте базу на аппаратный RAID10 (или любой другой быстрый) с хорошими _не_ десктопными хардами. После этого можно будет подкрутить ФС с точки зрения убыстрения ценой меньшей надежности.

trancefer ★★ ()
Ответ на: комментарий от venom253

1) я про очередь самого zabbix сервера. aka zabbix queue

innodb_file_per_table

и действительно работает? База было создана до или после активации переменной?

snaf ★★★★★ ()
Последнее исправление: snaf (всего исправлений: 2)
Ответ на: комментарий от snaf

База была создана до активации переменной, все побито, 1 таблица- 1 файл

total 18G
-rw-r----- 1 mysql mysql 4.9G Aug 28 11:57 events.ibd
-rw-r----- 1 mysql mysql 3.7G Aug 28 11:57 history_text.ibd
-rw-rw---- 1 mysql mysql 3.3G Aug 28 11:57 history_uint.ibd
-rw-r----- 1 mysql mysql 2.8G Aug 28 11:57 history.ibd
-rw-r----- 1 mysql mysql 2.2G Aug 26 08:22 trends_uint.ibd
-rw-r----- 1 mysql mysql 240M Aug 28 11:54 alerts.ibd
-rw-r----- 1 mysql mysql 196M Aug 26 08:22 trends.ibd

Сам заббикс говорит, что у него в очереди:

Всего: 498 (Укорочено)
На всех задержка 6с указана. После рестарта очередь плавно с 0 вверх растет.

venom253 ()
Ответ на: комментарий от trancefer

1. Да включен, вырублю, вручную вычищу, дефрагментирую. Под каждую таблицу свой файл сейчас. 2. Сейчас не самое лучшее решение, софтовый зеркальный RAID1, диски хорошие, но десктопные-WD Black2.5. По возможности-придумаю другое аппаратное решение.

venom253 ()
Ответ на: комментарий от snaf

load average: 2.53, 3.10, 2.86 Memory: 9812/12288 Swap: 206/19071 Все, что кроме дефолта,настроек доступа к бд и логирования:

StartPollers=90
StartIPMIPollers=5
StartPollersUnreachable=25
StartPingers=25
StartDiscoverers=25
StartHTTPPollers=4
StartTimers=15
SenderFrequency=15
MaxHousekeeperDelete=1500
CacheSize=384M
HistoryCacheSize=128M
Timeout=8

venom253 ()
Ответ на: комментарий от snaf
MemTotal:       12582912 kB
MemFree:         1764368 kB
MemAvailable:    1764368 kB
Buffers:               0 kB
Cached:           756060 kB
SwapCached:            0 kB
Active:         10149584 kB
Inactive:        1825616 kB
Active(anon):    9024744 kB
Inactive(anon):  1436680 kB
Active(file):    1124840 kB
Inactive(file):   388936 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:      19529720 kB
SwapFree:       19317760 kB

cpu


2x Xeon X5460 @ 3.16GHz

venom253 ()
Ответ на: комментарий от venom253

По тому что уже есть в форуме картина не строиться, хаотично все представлено. Возможно причина в этом:

--innodb_flush_log_at_trx_commit = 0
++innodb_flush_log_at_trx_commit = 2
service mysql restart

Конкурентные транзакции.

petav ★★★★★ ()
Последнее исправление: petav (всего исправлений: 1)
Ответ на: комментарий от petav

совершенно не вижу смысла в данном изменении.

snaf ★★★★★ ()
Ответ на: комментарий от venom253

StartPollers=90
182 Хоста

а не слишком большое значение у вас? Согласно вики

General rule - keep value of this parameter as low as possible. Every additional instance of zabbix_server adds known overhead

snaf ★★★★★ ()

Подскажите, удалось ли Вам решить проблему?

Spako ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.