LINUX.ORG.RU
решено ФорумAdmin

Proxmox + Eternus DX200, проблема с multipath, wwid not in wwids file

 , , ,


1

1

Что я могу делать нее так?

SAN - 2 порта in Port Group c разными IP и IQN
172.16.20.228:3260,3 iqn.2000-09.com.fujitsu:storage-system.eternus-dxl:002c0534
172.16.20.229:3260,4 iqn.2000-09.com.fujitsu:storage-system.eternus-dxl:002c0535

Proxmox - добавлен iSCSI, потом LVM over iSCSI
172.16.20.149

/etc/multipath.conf

defaults {
    user_friendly_names    yes
        polling_interval        2
        path_selector           "round-robin 0"
        path_grouping_policy    multibus
        path_checker            readsector0
        uid_attribute          "ID_SERIAL"
        rr_min_io               100
        failback                immediate
        no_path_retry           queue
}
blacklist {
        wwid .*
}
blacklist_exceptions {
        wwid "3600000e00d2c0000002c014d00020000"
}
multipaths {
  multipath {
        wwid "3600000e00d2c0000002c014d00020000"
        alias mpath0
  }
}

# multipath -ll

ничего..

# multipath -v3

===== paths list =====
uuid                              hcil     dev dev_t pri dm_st chk_st vend/pro
3600000e00d2c0000002c014d00020000 33:0:0:1 sdb 8:16  50  undef undef  FUJITSU,
3600000e00d2c0000002c014d00020000 34:0:0:1 sdc 8:32  50  undef undef  FUJITSU,
May 23 01:37:48 | libdevmapper version 1.02.155 (2018-12-18)
May 23 01:37:48 | DM multipath kernel driver v1.13.0
May 23 01:37:48 | sdb: udev property ID_WWN whitelisted
May 23 01:37:48 | sdb: wwid 3600000e00d2c0000002c014d00020000 whitelisted
May 23 01:37:48 | wwid 3600000e00d2c0000002c014d00020000 not in wwids file, skipping sdb
May 23 01:37:#48 | sdb: orphan path, only one path
May 23 01:37:48 | sysfs prioritizer refcount 2
May 23 01:37:48 | sdc: udev property ID_WWN whitelisted
May 23 01:37:48 | sdc: wwid 3600000e00d2c0000002c014d00020000 whitelisted
May 23 01:37:48 | wwid 3600000e00d2c0000002c014d00020000 not in wwids file, skipping sdc
May 23 01:37:48 | sdc: orphan path, only one path
May 23 01:37:48 | sysfs prioritizer refcount 1
May 23 01:37:48 | unloading sysfs prioritizer
May 23 01:37:48 | unloading const prioritizer
May 23 01:37:48 | unloading tur checker

# lsscsi

Code:
[2:0:0:0]    disk    VMware   Virtual disk     2.0   /dev/sda
[3:0:0:0]    cd/dvd  NECVMWar VMware SATA CD00 1.00  /dev/sr0
[33:0:0:1]   disk    FUJITSU  ETERNUS_DXL      1088  /dev/sdb
[34:0:0:1]   disk    FUJITSU  ETERNUS_DXL      1088  /dev/sdc

# /lib/udev/scsi_id -g -d /dev/sdb
3600000e00d2c0000002c014d00020000

# /lib/udev/scsi_id -g -d /dev/sdc
3600000e00d2c0000002c014d00020000

# pvesm scan lvm

Code:
WARNING: Not using device /dev/sdc for PV MdueSG-N3wH-J11f-8BNN-Ddrq-CEY2-LPTJk9.
  WARNING: PV MdueSG-N3wH-J11f-8BNN-Ddrq-CEY2-LPTJk9 prefers device /dev/sdb because device was seen first.
lvm
pve

Если исключаю один порт, естественно, мультипат не нужен и проблемы нет. Все подобные топикие где только можно изучил, но всё-равно, не могу понять где я туплю.

Написано же - девайс пропускается потому, что его нет в файле wwids.

Логично же, что следующий шаг - заглянуть в файл /etc/multipath/wwids, и разобраться, почему у тебя в нем чего-то там нет.

bigbit ★★★★★ ()
Ответ на: комментарий от bigbit

Изначально был пустой, тоже самое, добавлял руками, хотя написано не править его, ничего не изменилось. Какая-либо запись не влияет на вывод multipath -v3

/etc/multipath/wwids

# Multipath wwids, Version : 1.0
# NOTE: This file is automatically maintained by multipath and multipathd.
# You should not need to edit this file in normal circumstances.
#
# Valid WWIDs:

3600000e00d2c0000002c014d00020000
mishki ()

Настраивал с проксом точно такую же железку.
Посмотри в админке схд настройки включен ли мультипас, что там с alua.

Deleted ()
Ответ на: комментарий от mishki

Проверка на налицие WWID в этом файле происходит только если выставлен find_multipaths.

Попробуй так:

find_multipaths no

Но это только как тест или workaround, даже если заработает после этого. Правильно разобраться, почему они у тебя не добавляются в этот файл.

bigbit ★★★★★ ()
Последнее исправление: bigbit (всего исправлений: 1)
Ответ на: комментарий от mishki

Не, вручную не надо добавлять, там у multipath соответствующие опции есть.
У меня, кстати, этот файлик выглядит вот так.
Видишь слэши по бокам?

# Multipath wwids, Version : 1.0
# NOTE: This file is automatically maintained by multipath and multipathd.
# You should not need to edit this file in normal circumstances.
#
# Valid WWIDs:
/360000970000296800772533030304642/
/360000970000296800772533030313035/
/360000970000296800772533030313036/
/360000970000296800772533030313037/
/360000970000296800772533030313038/
bigbit ★★★★★ ()
Ответ на: комментарий от Deleted

Настройки СХД тут ни при чем, хост ведь видит диск по двум путям.
Здесь явная проблема в конфиге multipath.

bigbit ★★★★★ ()
Ответ на: комментарий от bigbit

У меня почти такой же конфиг, за исключением того что подключено 2 луна и нет параметра path_checker.

Deleted ()

Как подсказали на форуме прокмокса, всё было правильно, но заработало после команды multipath -a /dev/xx (в моём случае multipath -a /dev/sdb)

mishki ()
Ответ на: комментарий от mishki

А почему он автоматически не добавляется, не рассказали?
У редхата есть статья https://access.redhat.com/solutions/4768081

Баг в device-mapper-multipath, проявляется только при определенных условиях:

This issue occurs only when multipath is configured to blacklist all the wwids and accept only specific devices mentioned in blacklist_exceptions

Т.е. прямо как у тебя.

И то, что добавлять надо не вручную редактированием файла, а через командочку multipath, я писал еще тогда:

Не, вручную не надо добавлять, там у multipath соответствующие опции есть.

bigbit ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.