LINUX.ORG.RU

Почему может не работать iSERt в infiniband?

 ,


0

2

В общем. Чтобы разобратся с ib, я собрал на домашнем тестовом стенде infiniband среду с коммутатором is5022, и двумя карточками CX2, настроил ipoib, NFSoRDMA, все прекрасно, все работает. Но беда с iser, при добавление iser портала в tgt targetcli выдает ошибку:

Cannot change iser

При этом в dmesg сыпится ошибка

isert: isert_setup_id: rdma_bind_addr() failed: -99

Ясно дело, модуль isert загружен, хост на debian 12, ядро - 6.1.0-18-amd64. При этом такой ошибки небыло при включении NFSoRDMA В чем может быть проблема? Я нашел описание такой же проблемы на форуме sth но там за полгода так и не ответили : /


Ответ на: комментарий от steemandlinux

Так беда в том, что я не могу настроить таргет, причем тут iscsiadm на инициализаторе? Если в тупую создать портал с tcp, и добавить его адрес на другой хост через ip адрес ipoib, то да, все работает, но тогда у нас используется ipoib а не RDMA, и скорость из +-20гб/с получается 2-4гб/с.

Bermut
() автор топика
Ответ на: комментарий от steemandlinux

Да, верно, это приминимо к инициализатору, но для этого необходимо создать iser портал в таргите, в противном случае он будет ругатся на ошибку.

Bermut
() автор топика
Ответ на: комментарий от Bermut

iscsiadm при -I iser показывает ошибки вместо пустого списка, если что-то с модулями неправильно.

RoCE же используешь?

Модуль ib_isert загружен? демон tgtd запущен?

Что выдаёт tgt-setup-lun с флагом -t iser?

steemandlinux ★★★★★
()
Последнее исправление: steemandlinux (всего исправлений: 3)

Так какой командой ты добавляешь портал? Просто код ошибки 99 это EADDRNOTAVAIL. Ты какой адрес указываешь при создании портала? Вот пример диалога с targetcli для настройки iser: https://gist.github.com/hiroyuki-sato/1be13ebf4872a98315f2

iliyap ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.