LINUX.ORG.RU
Форум — Admin  

Как узнать какой процес или что грузит диск в кластере proxmox?


0

2

два обычных компа - по два SATA диска 4ТБ в каждом. два диска в drbd для KVM виртуалок. два других под системы.
Всего 8 виртуалок (sql сервер,файл сервер, два контроллера домена, теримнальный сервер,шлюз в инет,астериск и по мелочи) - 7 на одной ноде и одна на другой. drbd Primary/Primary. Загрузки нет никакой в виртуалках но диск под ними грузится на 50-75% по команде atop видно. Как понять что грузит этот диск ОСь или какой либо процесс.
Что покрутить или только SSD диск спасет ситуацию?

★★★★

Ответ на: комментарий от ziemin 
Total DISK READ: 855.40 K/s | Total DISK WRITE: 2928.56 K/s
...
95430 be/4 root      855.40 K/s 2885.25 K/s  0.00 %  0.00 % kvm -id 101 -chardev socket,id=qmp,p~00 -rtc driftfix=slew,base=localtime
...

Видно всю нагрузку создает одна машина - где то 4МБ/с при этом atop показывает 33-45% загрузки диска sdb.
НО! Скорость диска - хорошо было видно при инициировании drbd диска была на уровне 50-55МБ/с. Сейчас загрузка от виртуалок меньше в 10 раз, но atop показывает соизмеримые цифры как во время синхронизации drbd.
Получается что виртуалкам сейчас доступно максимум 12МБ, а где остальные 35МБ?

Процессоры отдыхают загрузка 25-30% и оперативка занята на 30%

Vlad-76 ★★★★
() автор топика
Ответ на: комментарий от Vlad-76

Я имел в виду в госте запустить. Для офтопа тоже есть подобные утилиты. process explorer от русиновича следит за диском.

ziemin ★★
()
Ответ на: комментарий от tazhate 
root@proxmox1:/# cat /proc/drbd
version: 8.3.13 (api:88/proto:86-96)
GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by root@sighted, 2012-10-09 12:47:51
 0: cs:Connected ro:Primary/Primary ds:UpToDate/UpToDate C r-----
    ns:76210467 nr:0 dw:75192519 dr:1480470001 al:2482277 bm:482 lo:0 pe:1 ua:0 ap:0 ep:1 wo:b oos:0
root@proxmox1:/#

немного подсократил вывод 

root@proxmox1:/# cat /var/log/syslog | grep -v -E "pvedaemon|CRON|rrdc|postfix"
Jul 13 06:25:03 proxmox1 rsyslogd: [origin software="rsyslogd" swVersion="4.6.4" x-pid="1673" x-info="http://www.rsyslog.com"] rsyslogd was HUPed, type 'lightweight'.
Jul 13 06:26:36 proxmox1 smartd[1877]: Device: /dev/sda [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 110 to 111
Jul 13 06:26:36 proxmox1 smartd[1877]: Device: /dev/sdb [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 102 to 103
Jul 13 06:54:21 proxmox1 vzdump[416443]: INFO: Finished Backup of VM 101 (04:54:20)
Jul 13 06:54:21 proxmox1 vzdump[416443]: INFO: Backup job finished successfully
Jul 13 06:54:22 proxmox1 vzdump[416440]: <root@pam> end task UPID:proxmox1:00065ABB:078DF5B0:51E07C61:vzdump::root@pam: OK
Jul 13 06:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful
Jul 13 07:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful
Jul 13 07:56:36 proxmox1 smartd[1877]: Device: /dev/sdb [SAT], SMART Usage Attribute: 7 Seek_Error_Rate changed from 100 to 200
Jul 13 08:26:36 proxmox1 smartd[1877]: Device: /dev/sdb [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 103 to 104
Jul 13 08:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful
Jul 13 09:00:24 proxmox1 pvemailforward[447562]: forward mail to <support@vts24.ru>
Jul 13 09:00:45 proxmox1 pvemailforward[447594]: forward mail to <support@vts24.ru>
Jul 13 09:26:36 proxmox1 smartd[1877]: Device: /dev/sda [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 111 to 112
Jul 13 09:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful
Jul 13 10:26:36 proxmox1 smartd[1877]: Device: /dev/sda [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 112 to 109
Jul 13 10:26:36 proxmox1 smartd[1877]: Device: /dev/sdb [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 104 to 101
Jul 13 10:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful
Jul 13 10:56:36 proxmox1 smartd[1877]: Device: /dev/sda [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 109 to 111
Jul 13 10:56:36 proxmox1 smartd[1877]: Device: /dev/sdb [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 101 to 103
Jul 13 11:26:36 proxmox1 smartd[1877]: Device: /dev/sda [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 111 to 112
Jul 13 11:26:36 proxmox1 smartd[1877]: Device: /dev/sdb [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 103 to 104
Jul 13 11:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful
Jul 13 12:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful
Jul 13 13:26:36 proxmox1 smartd[1877]: Device: /dev/sdb [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 104 to 105
Jul 13 13:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful
Jul 13 13:56:36 proxmox1 smartd[1877]: Device: /dev/sdb [SAT], SMART Usage Attribute: 194 Temperature_Celsius changed from 105 to 104
Jul 13 14:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful
Jul 13 15:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful
Jul 13 16:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful
Jul 13 17:03:05 proxmox1 pmxcfs[1848]: [status] notice: received log
Jul 13 17:03:05 proxmox1 pmxcfs[1848]: [status] notice: received log
Jul 13 17:56:35 proxmox1 pmxcfs[1848]: [dcdb] notice: data verification successful

а *top какие?

Vlad-76 ★★★★
() автор топика
Ответ на: комментарий от ziemin

по iotop загрузка от всех kvm виртуалок - 3-7МБайт/с, а по аtop загрузка диска - 50%
. т.е. загрузка создаваемая гостевой ОСью уже сидит в этих цифрах

Vlad-76 ★★★★
() автор топика
Ответ на: комментарий от Vlad-76

Это tazhate хотел. Я только про pastebin подсказал.

По поводу iotop в гостях - а вдруг там какой процесс реально много обращается. Так его сразу и вычислишь.

ziemin ★★
()
Ответ на: комментарий от Vlad-76

в первом посте - под «загрузки нет никакой» имел ввиду - что при низкой загрузке диска 3-5МБ/с по atop диск загружен на 50%. т.е. кто съел остальные 40-45МБ?

Vlad-76 ★★★★
() автор топика
Ответ на: комментарий от ziemin

виртуалка которая создает нагрузку иногда это файл сервер - суммарно 3-4 МБ/с, это хорошо видно в хостовой части - загрузка по iotop аналогична. Но больше скорости на файл сервере невозможно достичь, это и есть проблема.

Vlad-76 ★★★★
() автор топика

Как понять что грузит этот диск ОСь или какой либо процесс.

CPU, memmory 

top -c
диск 
iotop -с

petav ★★★★★
()

БЛИИН как надоела эта кнопка отмены справа!!!!!!!!!!!

короче последовательная чтение/запись одно дело, а рендомное другое. скорость последовательных операций можешь проверить с помощью dd(ну понятное дело на простаивающей системе), если в пределах, привет ssd, хотябы под кэш! sql сервер с прочей лабудой на одном диске очень здоровое решение - запустит бух проводку за квартал и привед аторизация, печать и интернет.

anykey_mlya ★
()
Ответ на: комментарий от ziemin

все виртуалки на proxmox переехали с сервера (обычный комп) под Hyper-V в Windows Server 2008, на этом сервере они были тоже виртуалками. Все виртуалки спокойно уживались и файлсервер нормально работал, кстати то что скорость не поднимается выше 3-5 МБ/с и было замечено при переезде - копировании файлов со старого файл сервера. При этом atop на proxmox пишет, что диск сильно занят 50-75%. На старом дисковая подсистема - это два диска в зеркале, программный RAID. Файл сервер только и осталось перенести, но система чувствую не взлетает.

Vlad-76 ★★★★
() автор топика
Последнее исправление: Vlad-76 (всего исправлений: 1)
Ответ на: комментарий от tazhate

два диска - в двух компах являются одним drbd устройством, на котором одна партиция типа LVM. Виртуалка это один том LVM

root@proxmox1:~# lvmdiskscan | grep drbd
  /dev/drbd0                [       3.64 TiB] LVM physical volume
  /dev/drbdvg/vm-100-disk-1 [      10.00 GiB]
  /dev/drbdvg/vm-102-disk-1 [       5.00 GiB]
  /dev/drbdvg/vm-107-disk-1 [       4.00 GiB]
  /dev/drbdvg/vm-101-disk-2 [     750.00 GiB]
  /dev/drbdvg/vm-101-disk-1 [      32.00 GiB]
  /dev/drbdvg/vm-103-disk-1 [      11.00 GiB]
  /dev/drbdvg/vm-103-disk-2 [      16.00 GiB]
  /dev/drbdvg/vm-104-disk-1 [      16.00 GiB]
  /dev/drbdvg/vm-104-disk-2 [      11.00 GiB]
  /dev/drbdvg/vm-105-disk-1 [      21.00 GiB]
root@proxmox1:~#

Vlad-76 ★★★★
() автор топика
Ответ на: комментарий от tazhate

неа
к одной виртуалке с линукс гостем добавил virtio диск, потестил есть прирост по скорости с 14 до 24 МБ/с на запись. Буду переводить виндовых гостей на VIRTIO

Vlad-76 ★★★★
() автор топика
Последнее исправление: Vlad-76 (всего исправлений: 1)
Ответ на: комментарий от Vlad-76

неа
к одной виртуалке с линукс гостем добавил virtio диск, потестил есть прирост по скорости с 14 до 24 МБ/с на запись. Буду переводить виндовых гостей на VIRTIO

Всех переводи на virtio. Это стандартик уже.

tazhate ★★★★★
()
18 октября 2013 г.
Ответ на: комментарий от Vlad-76

Перевел всех win гостей на virtio, но скорость хреновая. Кто с 1C работает от тормозов уже устали. Причем похожие тесты из под linux гостей показывают в разы лучшую производительность чем из под win. Буду ставить еще один диск в сервер и цеплять разделы с него в win гостей по iSCSI.

Vlad-76 ★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin