LINUX.ORG.RU

HP DL-160G5 ESXi 6.0.0 скорость дисков

 


0

2

Добрый день. Проблема со скоростью записи на диски. Что имеем: HP Proliant DL-160 G5 SSD: ADATA 512G HDD: WD 640G ESXi 6.0.0 Диски подключены в материнскую плату (есть еще контроллер LSI 1064E, но я его исключил в процессе разбирательства. Могу только сказать что разницы никакой. Рейдов в системе нет). Итак, цифры:

  1. Тест на LiveDVD Ubuntu 18 Desktop: Запись 8 ГБ на SSD командой time dd if=/dev/zero of=tempfile bs=8k count=1000000 - 65.82 сек 124 MB/s; Запись 8 ГБ на HDD командой time dd if=/dev/zero of=tempfile bs=8k count=1000000 - 114.36 сек 71 MB/s;

  2. Тест на ESXi 6.0.0 в BIOS ATAPI Write Cache - Enable: Запись 4 ГБ на SSD командой time dd if=/dev/zero of=tempfile bs=8k count=500000 - 1m 4.97s 121 MB/s; Запись 4 ГБ на HDD командой time dd if=/dev/zero of=tempfile bs=8k count=500000 - 5m 58.81s 24 MB/s;

  3. Тест на ESXi 6.0.0 в BIOS ATAPI Write Cache - Disable: Запись 4 ГБ на SSD командой time dd if=/dev/zero of=tempfile bs=8k count=500000 - 1m 12.48s 109 MB/s; Запись 4 ГБ на HDD командой time dd if=/dev/zero of=tempfile bs=8k count=500000 - 14m 17.37s 11 MB/s

Вот такие результаты. Заменил драйвер на scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib. Не первый день пытаюсь определить причину. Понимаю, что железо очень старое, но для того и делался тест с Убунту, чтобы исключить проблемы с железом (но даже там скорости как-будто бы медленные. Возможно потому, что запускалось с LiveDVD и были использованы какие-то стандартные драйвера). Образы устанавливал 5.5, 6.0, 6.5 - всё от HPE. Результаты такие же даже на 5.5. Если у кого-то есть идеи - пишите. Спасибо.

Ответ на: комментарий от bigbit

Да, ты прав! У меня файл по https не открылся, а по http - открылся. Вот это лолище! HP засунул туда вместо честного чипсетного интеловского SATAII свой Embedded raid SATAI.

Dimez ★★★★★
()
Ответ на: комментарий от bigbit

Гуглится нечто похожее на это https://skilline.ru/products/kontroller-hp-sc40ge-host-bus-adapter-hba---serial-ata-sata--serial-attached-scsi-sas-pci-express---half-height-447430-001 Оно и есть LSI LOGIC 1064E, который я оттуда выкинул. А подключено все к материнке, на которй Intel 5400 чипсет, который умеет в SATA II

Serg_sh
() автор топика
Ответ на: комментарий от Dimez
[root@hv-01:~] lspci
0000:00:00.0 Bridge: Intel Corporation 5400 Chipset Memory Controller Hub [PCIe RP[0000:00:00.0]]
0000:00:01.0 Bridge: Intel Corporation 5400 Chipset PCI Express Port 1 [PCIe RP[0000:00:01.0]]
0000:00:05.0 Bridge: Intel Corporation 5400 Chipset PCI Express Port 5 [PCIe RP[0000:00:05.0]]
0000:00:09.0 Bridge: Intel Corporation 5400 Chipset PCI Express Port 9 [PCIe RP[0000:00:09.0]]
0000:00:10.0 Bridge: Intel Corporation 5400 Chipset FSB Registers 
0000:00:10.1 Bridge: Intel Corporation 5400 Chipset FSB Registers 
0000:00:10.2 Bridge: Intel Corporation 5400 Chipset FSB Registers 
0000:00:10.3 Bridge: Intel Corporation 5400 Chipset FSB Registers 
0000:00:10.4 Bridge: Intel Corporation 5400 Chipset FSB Registers 
0000:00:11.0 Bridge: Intel Corporation 5400 Chipset CE/SF Registers 
0000:00:15.0 Bridge: Intel Corporation 5400 Chipset FBD Registers 
0000:00:15.1 Bridge: Intel Corporation 5400 Chipset FBD Registers 
0000:00:16.0 Bridge: Intel Corporation 5400 Chipset FBD Registers 
0000:00:16.1 Bridge: Intel Corporation 5400 Chipset FBD Registers 
0000:00:1c.0 Bridge: Intel Corporation 631xESB/632xESB/3100 Chipset PCI Express Root Port 1 [PCIe RP[0000:00:1c.0]]
0000:00:1c.1 Bridge: Intel Corporation 631xESB/632xESB/3100 Chipset PCI Express Root Port 2 [PCIe RP[0000:00:1c.1]]
0000:00:1c.2 Bridge: Intel Corporation 631xESB/632xESB/3100 Chipset PCI Express Root Port 3 [PCIe RP[0000:00:1c.2]]
0000:00:1d.0 Serial bus controller: Intel Corporation ProLiant DL140 G3 
0000:00:1d.1 Serial bus controller: Intel Corporation ProLiant DL140 G3 
0000:00:1d.2 Serial bus controller: Intel Corporation ProLiant DL140 G3 
0000:00:1d.3 Serial bus controller: Intel Corporation 631xESB/632xESB/3100 Chipset UHCI USB Controller #4 
0000:00:1d.7 Serial bus controller: Intel Corporation ProLiant DL140 G3 
0000:00:1e.0 Bridge: Intel Corporation 82801 PCI Bridge 
0000:00:1f.0 Bridge: Intel Corporation ProLiant DL140 G3 
0000:00:1f.1 Mass storage controller: Intel Corporation 631xESB/632xESB IDE Controller [vmhba0]
0000:00:1f.2 Mass storage controller: Intel Corporation 631xESB/632xESB SATA Storage Controller AHCI [vmhba1]
0000:02:00.0 Display controller: Matrox Electronics Systems Ltd. ProLiant DL140 G3 
0000:03:00.0 Network controller: Broadcom Corporation NetXtreme BCM5722 Gigabit Ethernet [vmnic0]
0000:04:00.0 Network controller: Broadcom Corporation NetXtreme BCM5722 Gigabit Ethernet [vmnic1]
0000:05:00.0 Bridge: Intel Corporation 6311ESB/6321ESB PCI Express Upstream Port 
0000:05:00.3 Bridge: Intel Corporation 6311ESB/6321ESB PCI Express to PCI-X Bridge 
0000:06:00.0 Bridge: Intel Corporation 6311ESB/6321ESB PCI Express Downstream Port E1 
Serg_sh
() автор топика

dd if=/dev/zero of=tempfile bs=8k count=1000000 на линуксе пишет не на диск, а в блочный кэш в оперативной памяти хоста. Блочный кэш агрегирует твои 8K блоки и пишет их на HDD

  1. крупным блоком
  2. с глубиной очереди более 1.

ESXi не кеширует операции записи (во всяком случае, от виртуалок).

Если хочешь сравнить корректно, на линуксе используй dd if=/dev/zero of=tempfile bs=8k count=1000000 oflag=direct. Это отключит кеширование операций записи на хосте и будет у тебя настоящий 8K QD1.

iliyap ★★★★★
()
Ответ на: комментарий от bigbit
2025-07-09T11:07:30.056Z cpu4:33081)VMWARE SCSI Id: Id for vmhba33:C0:T0:L0 
0x20 0x20 0x20 0x20 0x20 0x57 0x44 0x2d 0x57 0x43 0x41 0x53 0x59 0x41 0x39 0x30 0x39 0x30 0x34 0x31 0x57 0x44 0x43 0x20 0x57 0x44 
2025-07-09T11:07:30.056Z cpu4:33081)ScsiDeviceIO: 8409: Get VPD 86 Inquiry for device "t10.ATA_____WDC_WD6400AAKS2D22A7B2________________________WD2DWCASYA909041" from Plugin "NMP" failed. Not supported
2025-07-09T11:07:30.056Z cpu4:33081)ScsiDeviceIO: 7047: QErr is correctly set to 0x0 for device t10.ATA_____WDC_WD6400AAKS2D22A7B2________________________WD2DWCASYA909041. 
2025-07-09T11:07:30.056Z cpu4:33081)ScsiDeviceIO: 7544: Could not detect setting of sitpua for device t10.ATA_____WDC_WD6400AAKS2D22A7B2________________________WD2DWCASYA909041. Error Not supported. 
2025-07-09T11:07:30.080Z cpu4:33081)ScsiEvents: 300: EventSubsystem: Device Events, Event Mask: 40, Parameter: 0x4301a0b68800, Registered!
2025-07-09T11:07:30.080Z cpu4:33081)ScsiDevice: 3838: Successfully registered device "t10.ATA_____WDC_WD6400AAKS2D22A7B2________________________WD2DWCASYA909041" from plugin "NMP" of type 0
2025-07-09T11:07:30.080Z cpu4:33081)ScsiEvents: 300: EventSubsystem: Device Events, Event Mask: 180, Parameter: 0x4303320a8eb0, Registered!
2025-07-09T11:07:30.081Z cpu4:33081)vmw_psp_fixed: psp_fixedSelectPathToActivateInt:479: Changing active path from NONE to vmhba34:C0:T0:L0 for device "Unregistered Device".
2025-07-09T11:07:30.081Z cpu4:33081)StorageApdHandler: 982: APD Handle  Created with lock[StorageApd-0x4301a0b69d90]
2025-07-09T11:07:30.081Z cpu4:33081)ScsiEvents: 501: Event Subsystem: Device Events, Created!

2025-07-09T11:07:30.081Z cpu4:33081)VMWARE SCSI Id: Id for vmhba34:C0:T0:L0 
0x20 0x20 0x20 0x20 0x20 0x57 0x44 0x2d 0x57 0x4d 0x41 0x5a 0x41 0x38 0x32 0x38 0x39 0x32 0x37 0x30 0x57 0x44 0x43 0x20 0x57 0x44 
2025-07-09T11:07:30.081Z cpu4:33081)ScsiDeviceIO: 8409: Get VPD 86 Inquiry for device "t10.ATA_____WDC_WD20EURS2D63S48Y0_________________________WD2DWMAZA8289270" from Plugin "NMP" failed. Not supported
2025-07-09T11:07:30.081Z cpu4:33081)ScsiDeviceIO: 7047: QErr is correctly set to 0x0 for device t10.ATA_____WDC_WD20EURS2D63S48Y0_________________________WD2DWMAZA8289270. 
2025-07-09T11:07:30.081Z cpu4:33081)ScsiDeviceIO: 7544: Could not detect setting of sitpua for device t10.ATA_____WDC_WD20EURS2D63S48Y0_________________________WD2DWMAZA8289270. Error Not supported. 
2025-07-09T11:07:30.119Z cpu5:33081)ScsiEvents: 300: EventSubsystem: Device Events, Event Mask: 40, Parameter: 0x4301a0b6cfc0, Registered!
2025-07-09T11:07:30.119Z cpu5:33081)ScsiDevice: 3838: Successfully registered device "t10.ATA_____WDC_WD20EURS2D63S48Y0_________________________WD2DWMAZA8289270" from plugin "NMP" of type 0
2025-07-09T11:07:30.119Z cpu5:33081)ScsiEvents: 300: EventSubsystem: Device Events, Event Mask: 180, Parameter: 0x4303320a8230, Registered!
2025-07-09T11:07:30.119Z cpu5:33081)vmw_psp_fixed: psp_fixedSelectPathToActivateInt:479: Changing active path from NONE to vmhba0:C0:T0:L0 for device "Unregistered Device".
2025-07-09T11:07:30.119Z cpu5:33081)StorageApdHandler: 982: APD Handle  Created with lock[StorageApd-0x4301a0b6e670]
2025-07-09T11:07:30.119Z cpu5:33081)ScsiEvents: 501: Event Subsystem: Device Events, Created!

2025-07-09T11:07:30.119Z cpu5:33081)VMWARE SCSI Id: Id for vmhba0:C0:T0:L0 
0x42 0x42 0x38 0x32 0x30 0x37 0x37 0x31 0x30 0x33 0x31 0x37 0x30 0x30 0x30 0x30 0x30 0x35 0x34 0x39 0x4d 0x65 0x6c 0x74 0x72 0x6f 
2025-07-09T11:07:30.119Z cpu5:33081)ScsiDeviceIO: 8409: Get VPD 86 Inquiry for device "t10.ATA_____Meltron_iCF8G___________________________BB820771031700000549" from Plugin "NMP" failed. Not supported
2025-07-09T11:07:30.119Z cpu5:33081)ScsiDeviceIO: 7047: QErr is correctly set to 0x0 for device t10.ATA_____Meltron_iCF8G___________________________BB820771031700000549. 
2025-07-09T11:07:30.119Z cpu5:33081)ScsiDeviceIO: 7544: Could not detect setting of sitpua for device t10.ATA_____Meltron_iCF8G___________________________BB820771031700000549. Error Not supported. 
2025-07-09T11:07:30.122Z cpu5:33081)ScsiEvents: 300: EventSubsystem: Device Events, Event Mask: 40, Parameter: 0x4301a0b6f9c0, Registered!
2025-07-09T11:07:30.122Z cpu5:33081)ScsiDevice: 3838: Successfully registered device "t10.ATA_____Meltron_iCF8G___________________________BB820771031700000549" from plugin "NMP" of type 0
2025-07-09T11:07:30.122Z cpu5:33081)ScsiEvents: 300: EventSubsystem: Device Events, Event Mask: 180, Parameter: 0x4303320a7660, Registered!
2025-07-09T11:07:30.131Z cpu5:33081)ScsiUid: 273: Path 'vmhba0:C0:T1:L0' does not support VPD Device Id page.
2025-07-09T11:07:30.134Z cpu5:33081)VMWARE SCSI Id: Could not get disk id for vmhba0:C0:T1:L0
2025-07-09T11:07:30.134Z cpu5:33081)vmw_psp_fixed: psp_fixedSelectPathToActivateInt:479: Changing active path from NONE to vmhba0:C0:T1:L0 for device "Unregistered Device".
2025-07-09T11:07:30.134Z cpu5:33081)StorageApdHandler: 982: APD Handle  Created with lock[StorageApd-0x4301a0b711f0]
2025-07-09T11:07:30.134Z cpu5:33081)ScsiEvents: 501: Event Subsystem: Device Events, Created!
2025-07-09T11:07:30.137Z cpu5:33081)VMWARE SCSI Id: Could not get disk id for vmhba0:C0:T1:L0
2025-07-09T11:07:30.137Z cpu5:33081)ScsiDeviceIO: 8362: Get VPD 80 Inquiry for device "mpx.vmhba0:C0:T1:L0" from Plugin "NMP" failed. Not supported
2025-07-09T11:07:30.137Z cpu5:33081)ScsiDeviceIO: 8372: Get VPD 83 Inquiry for device "mpx.vmhba0:C0:T1:L0" from Plugin "NMP" failed. Not supported
2025-07-09T11:07:30.137Z cpu5:33081)ScsiDeviceIO: 8409: Get VPD 86 Inquiry for device "mpx.vmhba0:C0:T1:L0" from Plugin "NMP" failed. Not supported
2025-07-09T11:07:30.137Z cpu5:33081)ScsiDeviceIO: 7030: Could not detect setting of QErr for device mpx.vmhba0:C0:T1:L0. Error Medium not found. 
2025-07-09T11:07:30.137Z cpu5:33081)ScsiEvents: 300: EventSubsystem: Device Events, Event Mask: 40, Parameter: 0x4301a0b74180, Registered!
2025-07-09T11:07:30.137Z cpu5:33081)ScsiDevice: 3838: Successfully registered device "mpx.vmhba0:C0:T1:L0" from plugin "NMP" of type 5
2025-07-09T11:07:34.367Z cpu7:33249)Loading module lvmdriver ...
2025-07-09T11:07:34.372Z cpu7:33249)Elf: 1865: module lvmdriver has license VMware
2025-07-09T11:07:34.374Z cpu7:33249)LVM: 958: LVM max heap size: 8192KB
2025-07-09T11:07:34.374Z cpu7:33249)FDS: 400: lvm
2025-07-09T11:07:34.374Z cpu7:33249)Mod: 4943: Initialization of lvmdriver succeeded with module ID 72.
2025-07-09T11:07:34.374Z cpu7:33249)lvmdriver loaded successfully.
2025-07-09T11:07:34.409Z cpu2:33250)Loading module deltadisk ...
2025-07-09T11:07:34.414Z cpu2:33250)Elf: 1865: module deltadisk has license VMware
2025-07-09T11:07:34.419Z cpu2:33250)FDS: 400: deltadisks
2025-07-09T11:07:34.419Z cpu2:33250)VmfsSparse: 8988: VMFSSparse max memory pool size : 256 MB
2025-07-09T11:07:34.440Z cpu2:33250)VmfsSparse: 789: COW root entry cache initialized with highWater 243 MB, lowWater 217 MB
2025-07-09T11:07:34.440Z cpu2:33250)SESparse: 246: SESparse Memory Size :2496 MB

2025-07-09T11:07:34.441Z cpu2:33250)Mod: 4943: Initialization of deltadisk succeeded with module ID 73.
2025-07-09T11:07:34.441Z cpu2:33250)deltadisk loaded successfully.

Ууу, так у тебя не G5, а G3

PID: 445202-421 - G5

Serg_sh
() автор топика
  1. oflag=direct

  2. bs=512k

bs=8k используют только для теста IOPS (операций в секунду), а без oflag=direct ты тестируешь вообще непонятно что. И прочти man fio в конце то концов.

no-dashi-v2 ★★★★
()
Последнее исправление: no-dashi-v2 (всего исправлений: 1)