LINUX.ORG.RU
Форум — Linux-hardware  

Proxmox на лезвии IBM BladeCenterS'а, что-то диски в storage module не аллё.

 , , ,


0

1

Поставил тут на лезвие (диск внутри) BladeCenter S proxmox, на удивление всё подхватилось. А с дисками начались проблемы. С полки DS3215 6Tb руками присобачил multipath (кстати, подскажите как скрыть ghost-диск, раздражает и ошибками сыпет), а вот с модулей (1слева,1справа) 2x2Tb ведут себя странно. Вижу норм, smartctl норм

root@pve2:~# smartctl -a /dev/sdd
smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.15.102-1-pve] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Vendor:               IBM-ESXS
Product:              HUS723020ALS64
Revision:             J3K7
Compliance:           SPC-4
User Capacity:        2,000,398,934,016 bytes [2.00 TB]
Logical block size:   512 bytes
Formatted with type 2 protection
8 bytes of protection information per logical block
Rotation Rate:        7200 rpm
Form Factor:          3.5 inches
Logical Unit id:      0x5000cca01bc33da0
Serial number:        YFKGBMWK
Device type:          disk
Transport protocol:   SAS (SPL-3)
Local Time is:        Mon Apr  3 11:40:29 2023 MSK
SMART support is:     Available - device has SMART capability.
SMART support is:     Enabled
Temperature Warning:  Enabled

=== START OF READ SMART DATA SECTION ===
SMART Health Status: OK

Current Drive Temperature:     32 C
Drive Trip Temperature:        65 C

Accumulated power on time, hours:minutes 23469:04
Manufactured in week 32 of year 2013
Specified cycle count over device lifetime:  50000
Accumulated start-stop cycles:  27
Specified load-unload count over device lifetime:  600000
Accumulated load-unload cycles:  3481
Elements in grown defect list: 0

Error counter log:
           Errors Corrected by           Total   Correction     Gigabytes    Total
               ECC          rereads/    errors   algorithm      processed    uncorrected
           fast | delayed   rewrites  corrected  invocations   [10^9 bytes]  errors
read:          0       11         0        11   21351486     133374.648           0
write:         0        0         0         0     666901      49893.727           0
verify:        0        0         0         0    2003838          0.000           0

Non-medium error count:        0

No Self-tests have been logged

root@pve2:~# smartctl -a /dev/sde
smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.15.102-1-pve] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Vendor:               IBM-ESXS
Product:              HUS723020ALS64
Revision:             J3K7
Compliance:           SPC-4
User Capacity:        2,000,398,934,016 bytes [2.00 TB]
Logical block size:   512 bytes
Formatted with type 2 protection
8 bytes of protection information per logical block
Rotation Rate:        7200 rpm
Form Factor:          3.5 inches
Logical Unit id:      0x5000cca01b9c0220
Serial number:        YFJSTSXD
Device type:          disk
Transport protocol:   SAS (SPL-3)
Local Time is:        Mon Apr  3 11:46:32 2023 MSK
SMART support is:     Available - device has SMART capability.
SMART support is:     Enabled
Temperature Warning:  Enabled

=== START OF READ SMART DATA SECTION ===
SMART Health Status: OK

Current Drive Temperature:     30 C
Drive Trip Temperature:        65 C

Accumulated power on time, hours:minutes 23469:46
Manufactured in week 08 of year 2013
Specified cycle count over device lifetime:  50000
Accumulated start-stop cycles:  25
Specified load-unload count over device lifetime:  600000
Accumulated load-unload cycles:  3479
Elements in grown defect list: 0

Error counter log:
           Errors Corrected by           Total   Correction     Gigabytes    Total
               ECC          rereads/    errors   algorithm      processed    uncorrected
           fast | delayed   rewrites  corrected  invocations   [10^9 bytes]  errors
read:          0        0         0         0    3565601     672463.829           0
write:         0        0         0         0    5100863     168815.982           0
verify:        0        0         0         0     116336          0.000           0

Non-medium error count:        0

No Self-tests have been logged

могу разделы создать. Но не форматируется ни руками ни proxmox’ом directory не создаёт.

lshw (только сейчас заметил, почему такая разница между size и capacity?)

  *-disk:7
       description: SCSI Disk
       product: HUS723020ALS64
       vendor: IBM-ESXS
       physical id: 0.3.0
       bus info: scsi@0:0.3.0
       logical name: /dev/sdd
       version: J3K7
       serial: YFKGBMWK
       size: 1863GiB (2TB)
       capacity: 2686GiB (2884GB)
       capabilities: 7200rpm gpt-1.00 partitioned partitioned:gpt
       configuration: ansiversion=6 guid=db557656-3348-4f11-b372-7127419fd0e9 logicalsectorsize=512 sectorsize=512
  *-disk:8
       description: SCSI Disk
       product: HUS723020ALS64
       vendor: IBM-ESXS
       physical id: 0.4.0
       bus info: scsi@0:0.4.0
       logical name: /dev/sde
       version: J3K7
       serial: YFJSTSXD
       size: 1863GiB (2TB)
       capacity: 2686GiB (2884GB)
       capabilities: 7200rpm gpt-1.00 partitioned partitioned:gpt
       configuration: ansiversion=6 guid=ee2aa8d3-8993-49b8-8e32-38ba1952479c logicalsectorsize=512 sectorsize=512

lsscsi (sdd/sde, два брата-акробата)

[0:0:0:0]    disk    SEAGATE  ST1200MM0009     N005  /dev/sda
[0:0:1:0]    disk    IBM      1746      FAStT  1070  -
[0:0:1:5]    disk    IBM      1746      FAStT  1070  /dev/sdb
[0:0:1:31]   disk    IBM      Universal Xport  1070  -
[0:0:2:0]    disk    IBM      1746      FAStT  1070  -
[0:0:2:5]    disk    IBM      1746      FAStT  1070  /dev/sdc
[0:0:2:31]   disk    IBM      Universal Xport  1070  -
[0:0:3:0]    disk    IBM-ESXS HUS723020ALS64   J3K7  /dev/sdd
[0:0:4:0]    disk    IBM-ESXS HUS723020ALS64   J3K7  /dev/sde
[1:0:0:0]    cd/dvd  HL-DT-ST DVDRAM GSA-T50N  RY06  /dev/sr0

fdisk

root@pve2:~# fdisk -l /dev/sdd
Disk /dev/sdd: 1.82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: HUS723020ALS64
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: D51D308E-8740-42E9-AED3-BD4F844D474B

Device     Start        End    Sectors  Size Type
/dev/sdd1   2048 3907029134 3907027087  1.8T Linux filesystem
root@pve2:~# fdisk -l /dev/sde
Disk /dev/sde: 1.82 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: HUS723020ALS64
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: EE2AA8D3-8993-49B8-8E32-38BA1952479C

Device     Start        End    Sectors  Size Type
/dev/sde1   2048 3907029134 3907027087  1.8T Linux filesystem

Ошибка proxmox на вайпнутом диске

# /sbin/sgdisk -n1 -t1:8300 /dev/sdd
Warning: Partition table header claims that the size of partition table
entries is 0 bytes, but this program  supports only 128-byte entries.
Adjusting accordingly, but partition table may be garbage.
Warning: Partition table header claims that the size of partition table
entries is 0 bytes, but this program  supports only 128-byte entries.
Adjusting accordingly, but partition table may be garbage.
Creating new GPT entries in memory.
The operation has completed successfully.
# /sbin/mkfs -t ext4 /dev/sdd1
mke2fs 1.46.5 (30-Dec-2021)
Creating filesystem with 488378385 4k blocks and 122101760 inodes
Filesystem UUID: 6d6b8fc6-5a21-49ae-bf6f-9c3e28159038
Superblock backups stored on blocks: 
	32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
	4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 
	102400000, 214990848

Allocating group tables:     0/14905           done                            
Writing inode tables:     0/14905           done                            
ext2fs_write_inode_full: Input/output error while writing reserved inodes
TASK ERROR: command '/sbin/mkfs -t ext4 /dev/sdd1' failed: exit code 1

Попробовал dd занулить - ругается в конце. И опять та же ошибка при попытке создать directory, ext4.

root@pve2:~# dd if=/dev/zero of=/dev/sdd bs=4096
dd: error writing '/dev/sdd': No space left on device
488378647+0 records in
488378646+0 records out
2000398934016 bytes (2.0 TB, 1.8 TiB) copied, 16142.4 s, 124 MB/s

Меня немного смущает, что Logical Unit id: 0x5000cca01b9c0220/0x5000cca01bc33da0 отличается на единицу от того что я вижу в zoning 5000CCA01B9C0221/5000CCA01BC33DA1. Я бы подумал что пытаюсь использовать фантомный диск, но до корзин ведь не multipath.

★

Ответ на: комментарий от TepakoT

Это плохо или это пофиг?

Apr 04 11:05:17 pve2 systemd-udevd[822]: 0:0:3:0: /usr/lib/udev/rules.d/50-udev-default.rules:14 Importing properties from results of builtin command 'hwdb --subsystem=scsi'
Apr 04 11:05:17 pve2 systemd-udevd[822]: 0:0:3:0: hwdb modalias key: "scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[822]: 0:0:3:0: /usr/lib/udev/rules.d/50-udev-default.rules:14 Failed to run builtin 'hwdb --subsystem=scsi': No data available
Apr 04 11:05:17 pve2 systemd-udevd[822]: 0:0:3:0: Running built-in command "kmod load scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[822]: Loading module: scsi:t-0x00
Apr 04 11:05:17 pve2 systemd-udevd[822]: Failed to find module 'scsi:t-0x00'
Apr 04 11:05:17 pve2 systemd-udevd[822]: sdd: /usr/lib/udev/rules.d/55-scsi-sg3_id.rules:58 Importing properties from results of '/usr/bin/sg_inq --export --inhex=/sys/class/scsi_device/0:0:3:0/device/inquiry --raw'
Apr 04 11:05:17 pve2 systemd-udevd[822]: sdd: Starting '/usr/bin/sg_inq --export --inhex=/sys/class/scsi_device/0:0:3:0/device/inquiry --raw'
Apr 04 11:05:17 pve2 systemd-udevd[844]: 0:0:4:0: /usr/lib/udev/rules.d/50-udev-default.rules:14 Importing properties from results of builtin command 'hwdb --subsystem=scsi'
Apr 04 11:05:17 pve2 systemd-udevd[844]: 0:0:4:0: hwdb modalias key: "scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[844]: 0:0:4:0: /usr/lib/udev/rules.d/50-udev-default.rules:14 Failed to run builtin 'hwdb --subsystem=scsi': No data available
Apr 04 11:05:17 pve2 systemd-udevd[844]: 0:0:4:0: Running built-in command "kmod load scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[844]: Loading module: scsi:t-0x00
Apr 04 11:05:17 pve2 systemd-udevd[844]: Failed to find module 'scsi:t-0x00'
Apr 04 11:05:17 pve2 systemd-udevd[844]: sde: /usr/lib/udev/rules.d/55-scsi-sg3_id.rules:58 Importing properties from results of '/usr/bin/sg_inq --export --inhex=/sys/class/scsi_device/0:0:4:0/device/inquiry --raw'
Apr 04 11:05:17 pve2 systemd-udevd[844]: sde: Starting '/usr/bin/sg_inq --export --inhex=/sys/class/scsi_device/0:0:4:0/device/inquiry --raw'
Apr 04 11:05:17 pve2 systemd-udevd[857]: 0:0:1:0: /usr/lib/udev/rules.d/50-udev-default.rules:14 Importing properties from results of builtin command 'hwdb --subsystem=scsi'
Apr 04 11:05:17 pve2 systemd-udevd[857]: 0:0:1:0: hwdb modalias key: "scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[793]: 0:0:1:31: /usr/lib/udev/rules.d/50-udev-default.rules:14 Importing properties from results of builtin command 'hwdb --subsystem=scsi'
Apr 04 11:05:17 pve2 systemd-udevd[793]: 0:0:1:31: hwdb modalias key: "scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[857]: 0:0:1:0: /usr/lib/udev/rules.d/50-udev-default.rules:14 Failed to run builtin 'hwdb --subsystem=scsi': No data available
Apr 04 11:05:17 pve2 systemd-udevd[857]: 0:0:1:0: Running built-in command "kmod load scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[857]: Loading module: scsi:t-0x00
Apr 04 11:05:17 pve2 systemd-udevd[793]: 0:0:1:31: /usr/lib/udev/rules.d/50-udev-default.rules:14 Failed to run builtin 'hwdb --subsystem=scsi': No data available
Apr 04 11:05:17 pve2 systemd-udevd[857]: Failed to find module 'scsi:t-0x00'
Apr 04 11:05:17 pve2 systemd-udevd[852]: 0:0:1:5: /usr/lib/udev/rules.d/50-udev-default.rules:14 Importing properties from results of builtin command 'hwdb --subsystem=scsi'
Apr 04 11:05:17 pve2 systemd-udevd[852]: 0:0:1:5: hwdb modalias key: "scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[793]: 0:0:1:31: Running built-in command "kmod load scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[793]: Loading module: scsi:t-0x00
Apr 04 11:05:17 pve2 systemd-udevd[793]: Failed to find module 'scsi:t-0x00'
Apr 04 11:05:17 pve2 systemd-udevd[852]: 0:0:1:5: /usr/lib/udev/rules.d/50-udev-default.rules:14 Failed to run builtin 'hwdb --subsystem=scsi': No data available
Apr 04 11:05:17 pve2 systemd-udevd[852]: 0:0:1:5: Running built-in command "kmod load scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[852]: Loading module: scsi:t-0x00
Apr 04 11:05:17 pve2 systemd-udevd[852]: Failed to find module 'scsi:t-0x00'
Apr 04 11:05:17 pve2 systemd-udevd[857]: sdb: /usr/lib/udev/rules.d/55-scsi-sg3_id.rules:58 Importing properties from results of '/usr/bin/sg_inq --export --inhex=/sys/class/scsi_device/0:0:1:5/device/inquiry --raw'
Apr 04 11:05:17 pve2 systemd-udevd[857]: sdb: Starting '/usr/bin/sg_inq --export --inhex=/sys/class/scsi_device/0:0:1:5/device/inquiry --raw'
Apr 04 11:05:17 pve2 systemd-udevd[852]: 0:0:2:0: /usr/lib/udev/rules.d/50-udev-default.rules:14 Importing properties from results of builtin command 'hwdb --subsystem=scsi'
Apr 04 11:05:17 pve2 systemd-udevd[852]: 0:0:2:0: hwdb modalias key: "scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[823]: 0:0:2:31: /usr/lib/udev/rules.d/50-udev-default.rules:14 Importing properties from results of builtin command 'hwdb --subsystem=scsi'
Apr 04 11:05:17 pve2 systemd-udevd[852]: 0:0:2:0: /usr/lib/udev/rules.d/50-udev-default.rules:14 Failed to run builtin 'hwdb --subsystem=scsi': No data available
Apr 04 11:05:17 pve2 systemd-udevd[823]: 0:0:2:31: hwdb modalias key: "scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[852]: 0:0:2:0: Running built-in command "kmod load scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[852]: Loading module: scsi:t-0x00
Apr 04 11:05:17 pve2 systemd-udevd[852]: Failed to find module 'scsi:t-0x00'
Apr 04 11:05:17 pve2 systemd-udevd[823]: 0:0:2:31: /usr/lib/udev/rules.d/50-udev-default.rules:14 Failed to run builtin 'hwdb --subsystem=scsi': No data available
Apr 04 11:05:17 pve2 systemd-udevd[834]: 0:0:2:5: /usr/lib/udev/rules.d/50-udev-default.rules:14 Importing properties from results of builtin command 'hwdb --subsystem=scsi'
Apr 04 11:05:17 pve2 systemd-udevd[823]: 0:0:2:31: Running built-in command "kmod load scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[834]: 0:0:2:5: hwdb modalias key: "scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[823]: Loading module: scsi:t-0x00
Apr 04 11:05:17 pve2 systemd-udevd[823]: Failed to find module 'scsi:t-0x00'
Apr 04 11:05:17 pve2 systemd-udevd[834]: 0:0:2:5: /usr/lib/udev/rules.d/50-udev-default.rules:14 Failed to run builtin 'hwdb --subsystem=scsi': No data available
Apr 04 11:05:17 pve2 systemd-udevd[834]: 0:0:2:5: Running built-in command "kmod load scsi:t-0x00"
Apr 04 11:05:17 pve2 systemd-udevd[834]: Loading module: scsi:t-0x00
Apr 04 11:05:17 pve2 systemd-udevd[834]: Failed to find module 'scsi:t-0x00'
TepakoT ★
() автор топика
Ответ на: комментарий от TepakoT

Возможно ответ здесь, после форматирования sg_format узнаю.

Protection: prot_en=1, p_type=1, p_i_exponent=0 [type 2 protection]

Почему эти ваши линексы не умеют в scsi protection information? Какой-то винсервер раньше стоял на лезвии и жужжал.

TepakoT ★
() автор топика
Последнее исправление: TepakoT (всего исправлений: 2)
Ответ на: комментарий от TepakoT

udevadm test-builtin hwdb /sys/$path_to_device
оно покажет откуда данные берёт.
hwdb.bin есть?
multipath настроен, на всякий случай - заранее?

etwrq ★★★★★
()
Последнее исправление: etwrq (всего исправлений: 1)
Ответ на: комментарий от etwrq

Уже порешал sg_format на 512, но команду схоронил, как раз на низком уровне информации не хватало. Там нет multipath, точнее 1.2Тб внутренний на лезвии под систему, с полки DS3512 мультик 6Тб уже настроил без проблем почти и два по 2Тб со storage module’ей самого BladeCenter’а, вот с ними трабла была. Никогда не втыкал себе SAS с сектором 520 байт напрямую, не сталкивался, да и не помог бы такой опыт, напрямую должно писать Unsupported sector size 520, а у меня только Protection: prot_en=1, p_type=1, p_i_exponent=0 [type 2 protection]. Другой вопрос почему на этом лезвии работал оффтопик (волшебный CD с драйверами?) и почему контроллер не отбрасывает эти 8 давая логический 512. Может стоило где-то изменить настройки IBM, но не нашёл, для полки выбор ОС есть, а для корзины только zonning.

TepakoT ★
() автор топика
Linux-hardware