LINUX.ORG.RU
ФорумAdmin

Out of memory

 , ,


0

2

По не понятным причинам стал вылетать mysql сервер. Стало такое случаться последний месяц где-то, сначала не так часто, а сейчас уже почти каждый день валится. Памяти на сервере 15 гигов, через htop смотрю сижу больше 9 гигов памяти не использовалось(графики zabbix говорят также). Читал, что могут быть пики, которые не заметить и как раз в эти пики и вылетает по ходу.

В данный момент mysql VIRT=9084M, RES=3176M

Конфиг такой

innodb_buffer_pool_size = 6G
innodb_flush_log_at_trx_commit = 2
innodb_log_file_size = 512M
innodb_flush_method = O_DSYNC


Все остальное по дефолту.


Feb  3 01:13:13 rdv kernel: [12610391.748903] Node 0 Normal: 2036*4kB (ME) 686*8kB (UME) 779*16kB (UME) 209*32kB (UME) 308*64kB (UM) 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 52496kB
Feb  3 01:13:13 rdv kernel: [12610391.748911] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=2048kB
Feb  3 01:13:13 rdv kernel: [12610391.748911] 20546 total pagecache pages
Feb  3 01:13:13 rdv kernel: [12610391.748913] 5899 pages in swap cache
Feb  3 01:13:13 rdv kernel: [12610391.748913] Swap cache stats: add 192970232, delete 192963694, find 513890025/589162305
Feb  3 01:13:13 rdv kernel: [12610391.748914] Free swap  = 0kB
Feb  3 01:13:13 rdv kernel: [12610391.748914] Total swap = 1074172kB
Feb  3 01:13:13 rdv kernel: [12610391.748915] 4185545 pages RAM
Feb  3 01:13:13 rdv kernel: [12610391.748915] 0 pages HighMem/MovableOnly
Feb  3 01:13:13 rdv kernel: [12610391.748916] 90670 pages reserved
Feb  3 01:13:13 rdv kernel: [12610391.748916] 0 pages hwpoisoned
...processes...
Feb  3 01:13:13 rdv kernel: [12610391.749060] Out of memory: Kill process 24065 (mysqld) score 213 or sacrifice child
Feb  3 01:13:13 rdv kernel: [12610391.750270] Killed process 24065 (mysqld) total-vm:9301092kB, anon-rss:3341608kB, file-rss:0kB, shmem-rss:0kB


cat /var/log/syslog | grep «Out of memory»
Feb  2 22:01:42 rdv kernel: [12598900.498640] Out of memory: Kill process 65035 (mysqld) score 216 or sacrifice child
Feb  2 22:24:20 rdv kernel: [12600259.045621] Out of memory: Kill process 20674 (mysqld) score 215 or sacrifice child
Feb  2 22:46:23 rdv kernel: [12601582.218126] Out of memory: Kill process 28816 (mysqld) score 219 or sacrifice child
Feb  2 23:35:14 rdv kernel: [12604513.339722] Out of memory: Kill process 35001 (mysqld) score 220 or sacrifice child
Feb  3 00:28:22 rdv kernel: [12607700.986707] Out of memory: Kill process 54682 (mysqld) score 224 or sacrifice child
Feb  3 00:57:57 rdv kernel: [12609476.511797] Out of memory: Kill process 13654 (mysqld) score 221 or sacrifice child
Feb  3 01:13:13 rdv kernel: [12610391.749060] Out of memory: Kill process 24065 (mysqld) score 213 or sacrifice child
Feb  3 01:41:19 rdv kernel: [12612078.147444] Out of memory: Kill process 30852 (mysqld) score 220 or sacrifice child
Feb  3 02:00:49 rdv kernel: [12613247.978070] Out of memory: Kill process 39418 (mysqld) score 216 or sacrifice child
Feb  3 03:01:12 rdv kernel: [12616870.773658] Out of memory: Kill process 44571 (mysqld) score 225 or sacrifice child
Feb  3 03:38:12 rdv kernel: [12619090.028045] Out of memory: Kill process 3708 (mysqld) score 217 or sacrifice child
Feb  3 04:04:37 rdv kernel: [12620676.371188] Out of memory: Kill process 14891 (mysqld) score 231 or sacrifice child
Feb  3 05:09:46 rdv kernel: [12624583.826479] Out of memory: Kill process 27736 (mysqld) score 214 or sacrifice child
Feb  3 05:33:50 rdv kernel: [12626027.467635] Out of memory: Kill process 54957 (mysqld) score 213 or sacrifice child
Feb  3 06:00:21 rdv kernel: [12627620.009034] Out of memory: Kill process 63123 (mysqld) score 205 or sacrifice child
Feb  3 06:22:27 rdv kernel: [12628946.149432] Out of memory: Kill process 8480 (mysqld) score 217 or sacrifice child


Куда смотреть, на запросы, которые съедают память? Если да, то как их отловить? Или не обязательно в mysql дело?

★★★★

Дело точно не в mysql.

Feb 3 01:13:13 rdv kernel: [12610391.750270] Killed process 24065 (mysqld) total-vm:9301092kB, anon-rss:3341608kB, file-rss:0kB, shmem-rss:0kB

в этой строчке написано, что на момент прихода OOM killer mysql занимал немногим больше 3 Гб памяти.

Осмелюсь предположить, что проблема в каком-нибудь php-fpm, которому вы по давней традиции выкрутили max_children до фантастических величин.

NeOlip ★★ ()
Ответ на: комментарий от NeOlip

Да, больше 3 гигов mysql не поднимается. php-fpm вряд ли, статичный пул на 30 стоит, да и сайт так себе по посещяемости. Как бы узнать точно какой процесс шалит?

gobot ★★★★ ()
Ответ на: комментарий от gobot

статичный пул на 30 стоит

А лимит потребляемой пыхом памяти какой? Может у тебя там код в бесконечную рекурсию срывается, поглощая сотни памяти, а php-fpm и не против.

r_asian ★☆☆ ()
Ответ на: комментарий от unicorne

Да посмотрел, ничего подозрительного нет. Всех больше занимает памяти mysql
Вот полный список (отсортировал по total_vm)

[12633395.309073] [  pid  ]   uid  tgid total_vm      rss pgtables_bytes swapents oom_score_adj name
[12633395.309172] [  27335]   108 27335  2325316   827101  8228864   132979             0 mysqld
[12633395.309099] [  11565]  1000 11565   222898      644   786432     7293             0 node
[12633395.309235] [  40740]  1000 40740   200525    10606   303104        0             0 ffmpeg
[12633395.309084] [    463]   107   463    94769      199   167936     4810             0 named
[12633395.309092] [  14158]     0 14158    62607     1022   126976     1828             0 fail2ban-server
[12633395.309164] [  19133]     0 19133    56456      235    86016      184             0 rsyslogd
[12633395.309206] [  38639]  1000 38639    51999     7488   262144     1073             0 php-fpm5.6
[12633395.309213] [  40388]  1000 40388    51938     7165   262144      847             0 php-fpm5.6
[12633395.309215] [  40394]  1000 40394    51871     7282   262144      849             0 php-fpm5.6
[12633395.309236] [  40767]  1000 40767    50484     1285   208896     1237             0 php-fpm5.6
[12633395.309237] [  40773]     0 40773    50426      623   196608     1363             0 php-fpm5.6
[12633395.309100] [  26401]     0 26401    50348      440   208896     1529             0 php-fpm5.6
[12633395.309120] [  63452]  1000 63452    45673     6264   294912    13980             0 ffmpeg
[12633395.309091] [    508]  1000   508    42648        1   102400      579             0 (sd-pam)
[12633395.309210] [  40154]  1000 40154    40019     8618   237568      452             0 php
[12633395.309119] [  63450]  1000 63450    35552      898   212992     3803             0 php
[12633395.309127] [  32629]  1000 32629    35060     6565   249856     8750             0 ffmpeg
[12633395.309125] [  32627]  1000 32627    34784      916   204800     3032             0 php
[12633395.309152] [   1774]  1000  1774    34144     1149   204800     2191             0 php
[12633395.309155] [   6871]  1000  6871    33953     1132   204800     1954             0 php
[12633395.309175] [  30293]  1000 30293    33888     1453   200704     1600             0 php
[12633395.309156] [  10957]  1000 10957    33760      997   204800     1936             0 php
[12633395.309193] [  33111]  1000 33111    33632     2804   196608        0             0 php
[12633395.309159] [  18029]  1000 18029    33632     1556   204800     1273             0 php
[12633395.309169] [  21866]  1000 21866    33568      917   196608     1830             0 php
[12633395.309194] [  33145]  1000 33145    33440     2641   192512        0             0 php
[12633395.309183] [  30321]  1000 30321    33376     2540   200704        0             0 php
[12633395.309201] [  33171]  1000 33171    33312     2475   192512        0             0 php
[12633395.309185] [  30347]  1000 30347    33312     2507   200704        0             0 php
[12633395.309180] [  30310]  1000 30310    33312     2461   196608        0             0 php
[12633395.309178] [  30299]  1000 30299    33312     1964   192512      525             0 php
[12633395.309192] [  33106]  1000 33106    33248     2429   200704        0             0 php
[12633395.309191] [  33101]  1000 33101    33248     2425   188416        0             0 php
[12633395.309190] [  33075]  1000 33075    33248     2433   192512        0             0 php
[12633395.309187] [  33056]  1000 33056    33248     2331   196608       78             0 php
[12633395.309234] [  40729]  1000 40729    33120     2267   188416        0             0 php
[12633395.309233] [  40712]  1000 40712    33120     2295   188416        0             0 php
[12633395.309232] [  40702]  1000 40702    33120     2269   196608        0             0 php
[12633395.309230] [  40697]  1000 40697    33120     2255   200704        0             0 php
[12633395.309229] [  40667]  1000 40667    33120     2260   192512        0             0 php
[12633395.309227] [  40644]  1000 40644    33120     2301   200704        0             0 php
[12633395.309225] [  40630]  1000 40630    33120     2303   196608        0             0 php
[12633395.309223] [  40610]  1000 40610    33120     2315   192512        0             0 php
[12633395.309218] [  40588]  1000 40588    33120     2289   192512        0             0 php
[12633395.309217] [  40583]  1000 40583    33120     2282   192512        0             0 php
[12633395.309216] [  40578]  1000 40578    33120     2311   188416        0             0 php
[12633395.309153] [   1776]  1000  1776    29972     6477   217088     4194             0 ffmpeg
[12633395.309170] [  21901]  1000 21901    28809     6336   204800     2753             0 ffmpeg
[12633395.309160] [  18031]  1000 18031    28684     7842   200704     1856             0 ffmpeg
[12633395.309157] [  10959]  1000 10959    26457     3446   188416     3832             0 ffmpeg
[12633395.309198] [  33157]  1000 33157    26285     7398   188416        0             0 ffmpeg
[12633395.309179] [  30304]  1000 30304    26246     7089   192512      209             0 ffmpeg
[12633395.309186] [  30352]  1000 30352    26181     7707   192512        0             0 ffmpeg
[12633395.309181] [  30313]  1000 30313    26180     7190   188416        0             0 ffmpeg
[12633395.309189] [  33063]  1000 33063    24950     6166   184320      185             0 ffmpeg
[12633395.309197] [  33156]  1000 33156    24903     6381   180224        0             0 ffmpeg
[12633395.309177] [  30295]  1000 30295    24887     5225   176128     1146             0 ffmpeg
[12633395.309200] [  33165]  1000 33165    24883     6229   180224        0             0 ffmpeg
[12633395.309195] [  33155]  1000 33155    24856     6259   184320        0             0 ffmpeg
[12633395.309202] [  33243]  1000 33243    24310     5820   180224        0             0 ffmpeg
[12633395.309184] [  30323]  1000 30323    24226     5794   176128        0             0 ffmpeg
[12633395.309226] [  40632]  1000 40632    23875     5102   172032        0             0 ffmpeg
[12633395.309220] [  40596]  1000 40596    23869     5592   172032        0             0 ffmpeg
[12633395.309222] [  40597]  1000 40597    23868     4830   167936        0             0 ffmpeg
[12633395.309199] [  33158]  1000 33158    23805     5388   167936        0             0 ffmpeg
[12633395.309243] [  40778]  1000 40778    23191     4895   159744        0             0 ffmpeg
[12633395.309241] [  40776]  1000 40776    23170     4839   163840        0             0 ffmpeg
[12633395.309242] [  40777]  1000 40777    23152     4839   155648        0             0 ffmpeg
[12633395.309240] [  40775]  1000 40775    23113     5049   159744        0             0 ffmpeg
[12633395.309224] [  40626]  1000 40626    22701     4480   163840        0             0 ffmpeg
[12633395.309219] [  40595]  1000 40595    22649     4494   155648        0             0 ffmpeg
[12633395.309228] [  40646]  1000 40646    22648     4470   167936        0             0 ffmpeg
[12633395.309076] [    265]     0   265    20914      519   180224     5989             0 systemd-journal
[12633395.309238] [  40774]  1000 40774    19808     1517   135168        0             0 ffmpeg
[12633395.309104] [  11597]  1000 11597    12427      840    69632      539             0 nginx
[12633395.309105] [  11598]  1000 11598    12266      521    69632      604             0 nginx
[12633395.309103] [  11596]  1000 11596    12065      602    69632      512             0 nginx
[12633395.309101] [  11595]  1000 11595    12035      602    69632      446             0 nginx
[12633395.309106] [  11599]  1000 11599    11972      293    65536      387             0 nginx
[12633395.309094] [  16027]     0 16027    11891      308    65536      381             0 nginx



gobot ★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.