LINUX.ORG.RU

высокий iowait, низкая скорость работы дисков


0

0

Привет.

Есть два одинаковых сервера на базе Atom-330, на них крутятся одни и те же приложения, конфигурация тоже вроде как одинаковая - CentOS 5.3 занимаются раздачей файлов по http

Но вот незадача, в последнее время на первом сервере стал безумно расти iowait % и очевидны тормоза дисковой подсистемы:

top - 10:48:21 up 3:23, 1 user, load average: 8.09, 9.38, 7.10 Tasks: 175 total, 1 running, 174 sleeping, 0 stopped, 0 zombie Cpu(s): 0.2%us, 0.3%sy, 0.0%ni, 53.2%id, 43.7%wa, 0.3%hi, 2.3%si, 0.0%st

[root@www16 www17]# hdparm -t /dev/sda

/dev/sda: Timing buffered disk reads: 4 MB in 3.78 seconds = 1.06 MB/sec [root@www16 www17]# hdparm -t /dev/sdb

/dev/sdb: Timing buffered disk reads: 10 MB in 3.01 seconds = 3.32 MB/sec [root@www16 www17]# hdparm -t /dev/sdb

На втором сервере, даже при нагрузке в 2 раза большей, все ОК: /dev/sda: Timing buffered disk reads: 266 MB in 3.02 seconds = 88.13 MB/sec

Замена одного из дисков на первом сервере результатов не дала - опять все плохо.

Куда посмотреть, чтобы порешить эту проблему? Явно, что конфигурация сервера должна справляться с нагрузкой без проблем (второй сервер-то работает на ура). Конфигурация apache-а одинаковая...

спасибо!

ps. Тормоза начинаются при ~80-100 подключениях к httpd.

Сейчас вот этому первому серверу вообще туго:

[root@www16 grub]# w 12:42:56 up 5:18, 2 users, load average: 46.43, 47.63, 44.97 USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT root pts/0 home 07:25 1:34m 0.23s 0.23s -bash root pts/1 home 11:30 6.00s 0.11s 0.02s w

[root@www16 grub]# hdparm -t /dev/sda

/dev/sda: Timing buffered disk reads: 4 MB in 4.71 seconds = 868.87 kB/sec

105 коннектов на 80й порт У второго сервера - 145 коннекта, но он работает без проблем.

moskovitter
() автор топика

[телепатия] У тебя деградированный RAID5 из трех дисков?

В dmesg ошибки связанные с дисковой системой есть?

sdio ★★★★★
()

Замена одного из дисков на первом сервере результатов не дала - опять все плохо.

а дисков небось больше трех, и рейд небось железячный. да? я бы контролер поменял в первую очередь, и smartctl-ом по всем винтам.

Komintern ★★★★★
()
Ответ на: комментарий от DJAnto

А подскажите, какие параметры и где есть смысл еще посравнивать между двумя серверами. если один дохнет, а другой держит без прооблем нагрузку в 2-3 раза большую? Железо одинаковое, софт тоже, приложения идентичные

moskovitter
() автор топика
Ответ на: комментарий от moskovitter

Вот еще что нашлось...

[root@www16 ~]# vmstat -S M (Тормозная машина) procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 1 49 0 51 4 1844 0 0 1481 90 133 324 1 3 59 36 0

[root@fast ~]# vmstat -S M (нетормозная машина) procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 0 50 5 1825 0 0 278 55 3 5 2 4 87 7 0

Видно, что IO/BI разнится в 5 раз...

moskovitter
() автор топика

> 3.32 MB/sec

PIO0? Советую проверить режимы дисков в hdparm...

sig_wall
()
Ответ на: комментарий от Komintern

Сразу на двух дисках накрылись шнурки и когда менялся один из дисков, шнурок тоже менялся... Не вариант

moskovitter
() автор топика
Ответ на: комментарий от moskovitter

Скорость работы дисков пропорциональна нагрузке создаваемой httpd. Сейчас вот 8 подключений к виртуалхосту, который на втором диске к примеру, скорость видно что уже ненормальная:

/dev/sdb: Timing buffered disk reads: 58 MB in 3.13 seconds = 18.52 MB/sec

Повторюсь, что на каждом сервере по два диска и грубо говоря на каждом есть директория одного виртуалхоста. На первом сервере начинают тормозить оба диска в зависимости и пропорционально подключениям к виртуалхостам На втором сервере все летает мухой вне зависимости от всего.

moskovitter
() автор топика
Ответ на: комментарий от Black_Shadow

hdparm для тормозной машины:

[root@www16 ~]# hdparm -I /dev/sdb

/dev/sdb:

ATA device, with non-removable media Model Number: ST3500630AS Serial Number: 6QG14M7J Firmware Revision: 3.AAK Standards: Supported: 7 6 5 4 Likely used: 7 Configuration: Logical max current cylinders 16383 16383 heads 16 16 sectors/track 63 63 -- CHS current addressable sectors: 16514064 LBA user addressable sectors: 268435455 LBA48 user addressable sectors: 976773168 device size with M = 1024*1024: 476940 MBytes device size with M = 1000*1000: 500107 MBytes (500 GB) Capabilities: LBA, IORDY(can be disabled) Queue depth: 32 Standby timer values: spec'd by Standard, no device specific minimum R/W multiple sector transfer: Max = 16 Current = 16 Recommended acoustic management value: 254, current value: 0 DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 udma5 *udma6 Cycle time: min=120ns recommended=120ns PIO: pio0 pio1 pio2 pio3 pio4 Cycle time: no flow control=120ns IORDY flow control=120ns Commands/features: Enabled Supported: * SMART feature set Security Mode feature set * Power Management feature set * Write cache * Look-ahead * Host Protected Area feature set * WRITE_BUFFER command * READ_BUFFER command * DOWNLOAD_MICROCODE SET_MAX security extension * 48-bit Address feature set * Device Configuration Overlay feature set * Mandatory FLUSH_CACHE * FLUSH_CACHE_EXT * SMART error logging * SMART self-test * General Purpose Logging feature set * SATA-I signaling speed (1.5Gb/s) * Native Command Queueing (NCQ) * Phy event counters Device-initiated interface power management * Software settings preservation Security: Master password revision code = 65534 supported not enabled not locked frozen not expired: security count not supported: enhanced erase Checksum: correct

Для нетормозной:

[root@fast ~]# hdparm -I /dev/sdb

/dev/sdb:

ATA device, with non-removable media Model Number: ST3500418AS Serial Number: 6VM0DM15 Firmware Revision: CC34 Transport: Serial Standards: Supported: 8 7 6 5 Likely used: 8 Configuration: Logical max current cylinders 16383 16383 heads 16 16 sectors/track 63 63 -- CHS current addressable sectors: 16514064 LBA user addressable sectors: 268435455 LBA48 user addressable sectors: 976773168 device size with M = 1024*1024: 476940 MBytes device size with M = 1000*1000: 500107 MBytes (500 GB) Capabilities: LBA, IORDY(can be disabled) Queue depth: 32 Standby timer values: spec'd by Standard, no device specific minimum R/W multiple sector transfer: Max = 16 Current = 16 Recommended acoustic management value: 254, current value: 0 DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 udma5 *udma6 Cycle time: min=120ns recommended=120ns PIO: pio0 pio1 pio2 pio3 pio4 Cycle time: no flow control=120ns IORDY flow control=120ns Commands/features: Enabled Supported: * SMART feature set Security Mode feature set * Power Management feature set * Write cache * Look-ahead * Host Protected Area feature set * WRITE_BUFFER command * READ_BUFFER command * DOWNLOAD_MICROCODE Power-Up In Standby feature set SET_FEATURES required to spinup after power up SET_MAX security extension * Automatic Acoustic Management feature set * 48-bit Address feature set * Device Configuration Overlay feature set * Mandatory FLUSH_CACHE * FLUSH_CACHE_EXT * SMART error logging * SMART self-test * General Purpose Logging feature set * WRITE_{DMA|MULTIPLE}_FUA_EXT * 64-bit World wide name Write-Read-Verify feature set * WRITE_UNCORRECTABLE command * {READ,WRITE}_DMA_EXT_GPL commands * Segmented DOWNLOAD_MICROCODE * SATA-I signaling speed (1.5Gb/s) * SATA-II signaling speed (3.0Gb/s) * Native Command Queueing (NCQ) * Phy event counters Device-initiated interface power management * Software settings preservation Security: Master password revision code = 65534 supported not enabled not locked frozen not expired: security count supported: enhanced erase 80min for SECURITY ERASE UNIT. 80min for ENHANCED SECURITY ERASE UNIT. Checksum: correct

moskovitter
() автор топика
Ответ на: комментарий от moskovitter

По моему и козе понятно, что тормоза из-за диска, потому как он поддерживает только SATA-1 и скорость по интерфейсу только 1.5 Гб/с.

Второй диск поддерживает 3 Гб/с.

Меняйте диски на правильные. Вероятно и контроллер тоже имеет смысл посмотреть.

В общем, не все диски одинаково полезны.

anonymous
()

Та-же самая беда и у меня на Atom 330 под Ubuntu 9.04. иногда начинаются жуткие тормоза при работе с диском. В iotop так ничего и не поймал.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.