LINUX.ORG.RU
решено Форум — Admin  

[Xen][Debian]Высокий %st и LA

 ,


0

1

Доброго локального времени. Столкнулся с проблемой - виртуальная машина на Xen, 6 ядер, 3 гб озу, на ней крутится база данных mysql. Загрузка процессоров по 15-20%, load average растет до 30, в top заметил аномально высокий %st - до 85%. Чуток погуглил, что это, понял только, что связано с ожиданием ответа гипервизора. Собственно вопрос - как можно убрать высокий LA и высокий %st?


Ответ на: комментарий от ventilator

Да, начинает тормозить абсолютно все - top'ы по секунд 5 запускаются, запросы тоже ощутимо медленнее работают.

hwnd
() автор топика

Ааа, ну это уже вопрос к хостеру. Из man top ясно вытекает что тачка перегружена. Т.е. кто-то другой на этой тачке делает что-то жестокое. Твоей вины тут нет.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

Ааа, ну это уже вопрос к хостеру.

Все бы хорошо, но я и есть сразу и хостер и клиент сам себе. На dom0 машине LA 0.1 и %st пару процентов. Внутри вдс уже - беда.

а может дело в этих запросах таки?

Что посмотреть в запросах можно?

hwnd
() автор топика
Ответ на: комментарий от true_admin

Внутри domU (LA потихоньку растет, уже заметны тормоза): 

top - 11:39:14 up 1 day,  1:51,  2 users,  load average: 5.41, 3.61, 2.29
Tasks: 106 total,   1 running, 105 sleeping,   0 stopped,   0 zombie
Cpu(s):  5.1%us,  7.5%sy,  0.0%ni, 27.5%id,  0.0%wa,  0.0%hi,  0.0%si, 59.9%st
Mem:   3161948k total,   873964k used,  2287984k free,        4k buffers
Swap:        0k total,        0k used,        0k free,   567512k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                    
 3658 mysql     20   0  494m 131m 7000 S  608  4.3 156:02.98 mysqld                                                     
    1 root      20   0  8352  808  668 S    0  0.0   0:01.10 init                                                       
    2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd                                                   
    3 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/0                                                
    4 root      20   0     0    0    0 S    0  0.0   0:00.22 ksoftirqd/0                                                
    5 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/0

dom0: 

top - 12:48:16 up 90 days, 10:42,  1 user,  load average: 0.03, 0.04, 0.00
Tasks: 186 total,   1 running, 185 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us,  0.1%sy,  0.0%ni, 99.2%id,  0.7%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:    251740k total,   248144k used,     3596k free,     4280k buffers
Swap:  3905528k total,    65540k used,  3839988k free,    86644k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                               
    1 root      20   0  8352  616  584 S    0  0.2   0:54.97 init                                                  
    2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd                                              
    3 root      RT   0     0    0    0 S    0  0.0   0:22.37 migration/0                                           
    4 root      20   0     0    0    0 S    0  0.0   0:17.45 ksoftirqd/0                                           
    5 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/0

Скопипастил не все, т.к. ругается форум при отправке.

hwnd
() автор топика
Ответ на: комментарий от hwnd

Так, а может там лимиты какие на domU выставлены? Вроде к ксене это рулится, погугли. Уверен что-то не так выставлено в настройках.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

Сделал xm sched-credit -d domain -c 600, LA упал, процы грузятся на 100% иногда, но система отзывчивая. Хост-машина подняла LA до 0.13 - почему так мало?

hwnd
() автор топика
Ответ на: комментарий от hwnd

Забей на ЛА, тебя интересует только cpu idle. Как этот ЛА считается одному богу известно. Причём в разных версиях ядра по-разному.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

Чуток не правильно может сформулировал вопрос - поставил сейчас -c 0, чтобы она забирала все ресурсы сервера - да, вдс работает шустрее, но процессоры хост-машины я не могу так же нагрузить. Как можно еще поднять производительность?

hwnd
() автор топика
Ответ на: комментарий от hwnd

Так а не в диски ли случаем все упирается (особенно учитывая, что крутится там БД)?

madgnu ★★★★★
()
Ответ на: комментарий от hwnd

domU: 

top - 14:13:38 up 1 day,  4:25,  2 users,  load average: 8.01, 5.37, 3.46
Tasks: 106 total,   1 running, 105 sleeping,   0 stopped,   0 zombie
Cpu(s): 93.8%us,  2.0%sy,  0.1%ni,  4.1%id,  0.0%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:   3161948k total,   872544k used,  2289404k free,        4k buffers
Swap:        0k total,        0k used,        0k free,   621996k cached

dom0: 

top - 15:24:59 up 90 days, 13:19,  1 user,  load average: 0.08, 0.08, 0.02
Tasks: 186 total,   1 running, 185 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:    251740k total,   246576k used,     5164k free,     5304k buffers
Swap:  3905528k total,    62292k used,  3843236k free,    72468k cached

hwnd
() автор топика
Ответ на: комментарий от hwnd

Я не понимаю как ты умудрился загрузить проц внутри тазика так чтобы снаружи в топ это совсем никак не отображалось. У тебя всегда в dom0 cpu idle 100%? Ну и покажи раздельную статистику загрузки по процам (нажми 1 в топ).

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

domU

top - 14:54:18 up 1 day,  5:06,  2 users,  load average: 8.89, 3.34, 5.31
Tasks: 106 total,   1 running, 105 sleeping,   0 stopped,   0 zombie
Cpu0  : 10.2%us,  7.3%sy,  0.0%ni, 24.8%id,  0.2%wa,  0.0%hi,  0.0%si, 57.5%st
Cpu1  :  9.0%us,  6.9%sy,  0.0%ni, 28.5%id,  0.0%wa,  0.0%hi,  0.0%si, 55.5%st
Cpu2  :  8.6%us,  6.8%sy,  0.0%ni, 29.5%id,  0.0%wa,  0.0%hi,  0.0%si, 55.1%st
Cpu3  :  8.6%us,  6.8%sy,  0.0%ni, 29.4%id,  0.0%wa,  0.0%hi,  0.0%si, 55.1%st
Cpu4  :  8.2%us,  6.8%sy,  0.0%ni, 30.8%id,  0.0%wa,  0.0%hi,  0.0%si, 54.3%st
Cpu5  :  8.1%us,  6.7%sy,  0.0%ni, 31.5%id,  0.0%wa,  0.0%hi,  0.0%si, 53.7%st
Mem:   3161948k total,   913732k used,  2248216k free,        4k buffers
Swap:        0k total,        0k used,        0k free,   644128k cached

dom0: 

top - 16:05:12 up 90 days, 13:59,  1 user,  load average: 0.22, 0.09, 0.02
Tasks: 186 total,   1 running, 185 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.0%us,  0.0%sy,  0.0%ni, 99.2%id,  0.8%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu1  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu4  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu5  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu6  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu7  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:    251740k total,   237308k used,    14432k free,     3404k buffers
Swap:  3905528k total,    63064k used,  3842464k free,    66068k cached

hwnd
() автор топика
Ответ на: комментарий от hwnd

Хыы, прикольно. Короче, смотри xentop. top реальной картины на dom0 не покажет.

Вообще не понимаю как ты всего этого добился. Я ставил зен всего один раз и он тупо работал из коробки :) Ты помнишь что ты тюнил? Сколько у тебя всего виртуалок?

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

3 виртуалки. 2 из них - 1200 мгц, 1 ядро и 1 гб озу. Третья - 6х2000мгц, 3 гб озу. Тюнил не я, досталаось такое чудо мне.

Так а не в диски ли случаем все упирается (особенно учитывая, что крутится там БД)?

Нет, с дисков чтение и запись минимальны, если верить iotop'y.

hwnd
() автор топика
Ответ на: комментарий от hwnd

Понятно. Так что показывает зентоп? Что у тебя за проц? Там реально 8 ядер или это с гипертредингом?

Короче, я думаю у тебя процы выжираются. Т.е. никаких проблем с виртуалками нет, просто ресурсов не хватает.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

Вывод xentop из dom0

xentop - 16:17:18   Xen 4.0.1
4 domains: 2 running, 2 blocked, 0 paused, 0 crashed, 0 dying, 0 shutdown
Mem: 8382324k total, 5080624k used, 3301700k free    CPUs: 8 @ 2327MHz
      NAME  STATE   CPU(sec) CPU(%)     MEM(k) MEM(%)  MAXMEM(k) MAXMEM(%) VCPUS NETS NETTX(k) NETRX(k) VBDS   VBD_OO   VBD_RD   VBD_WR  VBD_RSECT  VBD_WSECT SSID
    ****** --b---      14044    1.6     520448    6.2     524288       6.3     1    1  1658475 11972613    1        0   207742  2085505    6710018   27309672    0
    ******--b---      48762    2.7    1048576   12.5    1048576      12.5     1    1 15180243 46450517    1        0  1085135  4750376   40218794  146360440    0
    Domain-0 -----r     221437    2.2     251136    3.0   no limit       n/a     8    0        0        0    0        0        0        0          0          0    0
    database -----r     113708  597.7    3161344   37.7    3170304      37.8     6    1   343484   310480    1        0    62487    51220    1290808     433664    0
hwnd
() автор топика
Ответ на: комментарий от hwnd

Поставь atop, он (может быть) подсветит КТО тормоз. Но помоему это диск.

anonymous
()
Ответ на: комментарий от true_admin

Нет, гипертридинга в процессорах нету. Процессоры - 2х Xeon E5410 (# of Cores 4/ # of Threads 4) на процессор

atop говорит так: domU 

PRC | sys   1.15s | user  55.84s | #proc    107 | #zombie    0 | #exit      0 |
CPU | sys     11% | user    516% | irq       0% | idle     73% | wait      0% |
CPU | steal    0% | stl/cpu   0% |              |              |              |
cpu | sys      2% | user     90% | irq       0% | idle      8% | cpu004 w  0% |
cpu | sys      2% | user     90% | irq       0% | idle      8% | cpu005 w  0% |
cpu | sys      2% | user     89% | irq       0% | idle     10% | cpu002 w  0% |
cpu | sys      2% | user     88% | irq       0% | idle     10% | cpu000 w  0% |
cpu | sys      2% | user     86% | irq       0% | idle     12% | cpu001 w  0% |
cpu | sys      1% | user     75% | irq       0% | idle     24% | cpu003 w  0% |
CPL | avg1   0.41 | avg5    1.50 | avg15   9.25 | csw    51474 | intr   45641 |
MEM | tot    3.0G | free    2.0G | cache 714.1M | buff    0.0M | slab   19.5M |
SWP | tot    0.0M | free    0.0M |              | vmcom 482.2M | vmlim   1.5G |
DSK |        xvda | busy      0% | read       0 | write     12 | avio    0 ms |
NET | transport   | tcpi    1456 | tcpo    1582 | udpi       4 | udpo       4 |
NET | network     | ipi     1460 | ipo     1586 | ipfrw      0 | deliv   1460 |
NET | eth0   ---- | pcki    1472 | pcko    1586 | si  195 Kbps | so  227 Kbps |

dom0: 

PRC | sys   0.24s | user   0.11s | #proc    194 | #zombie    0 | #exit      0 |
CPU | sys      0% | user      0% | irq       0% | idle    796% | wait      1% |
CPU | steal    2% | stl/cpu   0% |              |              |              |
cpu | sys      0% | user      0% | irq       0% | idle    100% | cpu006 w  0% |
cpu | sys      0% | user      0% | irq       0% | idle    100% | cpu003 w  0% |
cpu | sys      0% | user      0% | irq       0% | idle     98% | cpu000 w  1% |
cpu | sys      0% | user      0% | irq       0% | idle    100% | cpu001 w  0% |
cpu | sys      0% | user      0% | irq       0% | idle    100% | cpu002 w  0% |
cpu | sys      0% | user      0% | irq       0% | idle    100% | cpu005 w  0% |
cpu | sys      0% | user      0% | irq       0% | idle    100% | cpu007 w  0% |
cpu | sys      0% | user      0% | irq       0% | idle    100% | cpu004 w  0% |
CPL | avg1   0.20 | avg5    0.09 | avg15   0.03 | csw     8593 | intr   10383 |
MEM | tot  245.8M | free   13.8M | cache  65.5M | buff    3.1M | slab   22.5M |
SWP | tot    3.7G | free    3.7G |              | vmcom 774.3M | vmlim   3.8G |
DSK |         sda | busy      1% | read      29 | write     34 | avio    1 ms |
NET | transport   | tcpi       4 | tcpo       4 | udpi       0 | udpo       0 |
NET | network     | ipi        4 | ipo        4 | ipfrw      0 | deliv      4 |
NET | peth0    0% | pcki    1532 | pcko    1584 | si  214 Kbps | so  258 Kbps |
NET | vif22. ---- | pcki    1552 | pcko    1516 | si  230 Kbps | so  213 Kbps |
NET | vif19. ---- | pcki       9 | pcko      19 | si    5 Kbps | so    1 Kbps |
NET | eth0   ---- | pcki      11 | pcko       4 | si    0 Kbps | so    4 Kbps |
NET | vif2.0 ---- | pcki       0 | pcko       7 | si    0 Kbps | so    0 Kbps |
В диск вроде не упирается (4х SAS на хардварном RAID5)

hwnd
() автор топика
Ответ на: комментарий от true_admin

Остальные 2 виртуалки не поваляются? Из мануала, что был дан выше, сделал xm sched-credit -d database -c 0 - как я понял, это позволит виртуалке заюзать все доступные ресурсы?

hwnd
() автор топика
Ответ на: комментарий от hwnd

Остальные 2 виртуалки не поваляются?

зависит от их приоритета. Выставь всем одинаковый приоритет и не повалятся.

это позволит виртуалке заюзать все доступные ресурсы?

Да, результат увидишь в зентоп.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

Проблему решил - потыкал xm sched-credit -d domain -c 600 (поигрался с разными значениями, остановился на 600) + оптимизировали запросы к базе. Итого - пара ядер загружена процентов на 5, остальные простаивают (в вдс). Спасибо за помощь . Будешь в моих краях - с меня пиво :)

hwnd
() автор топика
Ответ на: комментарий от true_admin

В Могилеве - очень врядли. В Минске - есть варгейминг, танки :) Им надо админы, но я пока не тяну на их уровень.

hwnd
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin