LINUX.ORG.RU
решено Форум — Admin  

Не поднимается сетевой интерфейс оптики

 qlcnic, , ,


0

2

предыстория:
подключил кабель в карты (подключение карта<->карта)
всё замигало.
сделал на обоих машинах ifconfig enp1s0f1 192.168.1.199 netmask 255.255.255.0 up
- пинг пошёл...
======================
прописал всё в interfaces,
перезагрузил - не поднимается интерфейс.
поднимаю вручную, командой выше - не поднимается -

в дмесг, после ifup
[ 213.609384] qlcnic 0000:01:00.1 `
[ 213.661472] qlcnic 0000:01:00.1 enp1s0f1: Tx Context[0x8001] Created, state 0x2
[ 213.676501] qlcnic 0000:01:00.1 enp1s0f1: Tx Context[0x8009] Created, state 0x2
[ 213.692531] qlcnic 0000:01:00.1 enp1s0f1: Tx Context[0x800b] Created, state 0x2
[ 213.707560] qlcnic 0000:01:00.1 enp1s0f1: Tx Context[0x800d] Created, state 0x2

3: enp1s0f0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN group default qlen 1000
    link/ether a0:48:1c:e0:ba:90 brd ff:ff:ff:ff:ff:ff
4: enp1s0f1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether a0:48:1c:e0:ba:94 brd ff:ff:ff:ff:ff:ff


Причём заметил, после ребута, до загрузки ОС светодиоды карты мигают. т.е. физически линк жив. А после загрузки ОС - выключаются. будто драйвер гадит и гасит карту.
пробовал в граб добавлять qlcnic.use_msi_x=0 - не помогает.
карты HP NC523SFP
lspci:
 Ethernet controller: QLogic Corp. cLOM8214 1/10GbE Controller (rev 54)
        Subsystem: Hewlett-Packard Company NC523SFP 10Gb 2-port Server Adapter
 Kernel driver in use: qlcnic
        Kernel modules: qlcnic

А с другой стороны что происходит?

ethtool что говорит?

я бы попробовал в явном виде с обоих сторон задать параметры линка (перед подъёмом его) и по возможности отключил autonegotation. Или наоборот убедился в том, что autonegotation присутствует с двух сторон.

А с фирмварью все нормально? auto_fw_reset менять не пробовал?

vel ★★★★★
()
Ответ на: комментарий от vel

А с фирмварью все нормально?

ну, например при обновлении на initramfs ругани на сетевуху не вижу.
update-initramfs: Generating /boot/initrd.img-5.6.15cutedmyver
W: Possible missing firmware /lib/firmware/amdgpu/navi12_gpu_info.bin for module amdgpu

auto_fw_reset

можно поподробнее?
modprobe qlcnic auto_fw_reset=0
оно?

sudo ethtool enp1s0f0
Settings for enp1s0f0:
        Supported ports: [ TP FIBRE ]
        Supported link modes:   10000baseT/Full 
        Supported pause frame use: No
        Supports auto-negotiation: No
        Supported FEC modes: Not reported
        Advertised link modes:  10000baseT/Full 
        Advertised pause frame use: No
        Advertised auto-negotiation: No
        Advertised FEC modes: Not reported
        Speed: Unknown!
        Duplex: Unknown! (255)
        Port: FIBRE
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: off
        Supports Wake-on: g
        Wake-on: g
        Current message level: 0x00000000 (0)
                               
        Link detected: no
darkshvein@lexx9:~$ sudo ethtool enp1s0f1
Settings for enp1s0f1:
        Supported ports: [ TP FIBRE ]
        Supported link modes:   10000baseT/Full 
        Supported pause frame use: No
        Supports auto-negotiation: No
        Supported FEC modes: Not reported
        Advertised link modes:  10000baseT/Full 
        Advertised pause frame use: No
        Advertised auto-negotiation: No
        Advertised FEC modes: Not reported
        Speed: Unknown!
        Duplex: Unknown! (255)
        Port: FIBRE
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: off
        Supports Wake-on: g
        Wake-on: g
        Current message level: 0x00000000 (0)
                               
        Link detected: no

darkenshvein ★★★★★
() автор топика
Последнее исправление: darkenshvein (всего исправлений: 1)
Ответ на: комментарий от darkenshvein

Auto-negotiation: off

А если попробовать включить? «ethtool -s enp1s0f1 autoneg on» ?

Есть бредовое предположение, что с одной стороны нужно «autoneg on» а с другой стороны «autoneg off speed 10000 duplex full»

Оба интерфейса не пробовали поднимать «ip li set enp1s0f0 up ; ip li set enp1s0f1 up»?

Если линк есть после ребута до загрузки драйвера, то видимо нужно пробовать разные варианты параметров auto_fw_reset и load_fw_file

qlcnic_main.c:MODULE_PARM_DESC(auto_fw_reset, «Auto firmware reset (0=disabled, 1=enabled)»); qlcnic_main.c:MODULE_PARM_DESC(load_fw_file, «Load firmware from (0=flash, 1=file, 2=POST in fast mode, 3= POST in medium mode, 4=POST in slow mode)»);

Выгружать драйвер и загружать с разными параметрами не пробовали? Это быстрее, чем ребут :)

vel ★★★★★
()
Последнее исправление: vel (всего исправлений: 1)

сделал на обоих машинах ifconfig enp1s0f1 192.168.1.199 netmask 255.255.255.0 up
- пинг пошёл...

Откатиться к этому состоянию уже не получается? С этого бы момента по одной смотреть, зная что на второй состояние рабочее.

AS ★★★★★
()
Ответ на: комментарий от vel

Есть бредовое предположение, что с одной стороны нужно «autoneg on» а с другой стороны «autoneg off speed 10000 duplex full»

Не должно бы. Как будет autoneg работать, если ему никто не отвечает?

AS ★★★★★
()
Ответ на: комментарий от darkenshvein

а где?

Вариантов ровно два: параметры драйвера при загрузке и ethtool. Хотя, может быть, есть третий - устаревший mii-tool. Но устаревший.

AS ★★★★★
()
Последнее исправление: AS (всего исправлений: 1)
Ответ на: комментарий от AS

Откатиться к этому состоянию уже не получается?

я думаю, всё заработает, если достать кабель, и снова подключить его
но внешний трансивер там создан таким странным образом - чтобы достать трансивер из сетевой карты, надо сначала достать оптический кабель из трансивера

достать
оптический
кабель
из трансивера

ну вы поняли сарказм, да?
чего мне крайне не хочется делать. ну и решение постоянно доставать оптический кабель... ну такое...

darkenshvein ★★★★★
() автор топика
Последнее исправление: darkenshvein (всего исправлений: 1)

хорошая новость - это не моё самосборное ядро.
плохая - интерфейс всё так же не поднимается.
у меня есть догадка что на другом конце - где вторая сетевая карта, ОС не дождалась после ребута и таки драйвер «усыпил» интерфейс. то есть дело не в бобине.

darkenshvein ★★★★★
() автор топика
Ответ на: комментарий от darkenshvein

вот лог со второй машины:

23863.006042] CE: hpet increased min_delta_ns to 20115 nsec
[94001.470788] r8168: eth0: link down
[94004.578776] r8168: eth0: link up
[94010.718635] r8168: eth0: link down
[94013.822619] r8168: eth0: link up
[137422.120482] qlcnic 0000:02:00.0 eth1: Rx Context[0] Created, state 0x2
[137422.435481] qlcnic 0000:02:00.0 eth1: Tx Context[0x8000] Created, state 0x2
[137422.450456] qlcnic 0000:02:00.0 eth1: Tx Context[0x8016] Created, state 0x2
[137422.553815] IPv6: ADDRCONF(NETDEV_UP): eth1: link is not ready
[138438.804731] qlcnic 0000:02:00.0 eth1: NIC Link is up
[138438.805052] IPv6: ADDRCONF(NETDEV_CHANGE): eth1: link becomes ready
[139178.303014] nfsd: last server has exited, flushing export cache
[139178.732029] NFSD: Using /var/lib/nfs/v4recovery as the NFSv4 state recovery directory
[139178.732159] NFSD: starting 90-second grace period (net f0000098)
[144792.626868] TCP: eth1: Driver has suspect GRO implementation, TCP performance may be compromised.
[181823.468958] qlcnic 0000:02:00.0 eth1: NIC Link is down



[181823.468958] qlcnic 0000:02:00.0 eth1: NIC Link is down

может это из-за ребута, а может и по другой причине?

darkenshvein ★★★★★
() автор топика

короче.
ситация немного прояснилась.
в результате разборок задел оконцовку и испортил один сетевой кабель.(но это неточно!)

надо достать(!) кабель на обоих(!!) машинах, и переподключить чтобы интерфейс поднялся!!!
вот такой вот блядский цирк с конями.
если одна машина ребутится, то клоуны разбегаются. Интерфейс падает.
и надо делать всё заново.

darkenshvein ★★★★★
() автор топика
Последнее исправление: darkenshvein (всего исправлений: 2)
Ответ на: комментарий от darkenshvein

Битое волокно - это доооо. Учитывая что в отличие от кабельного тестера для витухи рефлектометры имеют не только лишь все - дебажить такие проблемы то еще удовольствие

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte

нет, проблема пока наблюдается только при ребуте.
я проверял через iperf и долгим пингом потери. их нет.
вот уже с полуночи сеть работает. и ломается только при перезагрузке.
возможно, трансиверы предназначены втыкаться только в свитч, который распознает и поднимает соединение, когда оно готово. но это как то неудобно, когда свитчей нет.

https://kb.vmware.com/s/article/2000131 - собственно, аналогичное железо.

darkenshvein ★★★★★
() автор топика
Последнее исправление: darkenshvein (всего исправлений: 1)
Ответ на: комментарий от darkenshvein

трансиверы предназначены втыкаться только в свитч, который распознает и поднимает соединение, когда оно готово

This, была такая же ситуация. В итоге вылечил более другими трансиверами.

Jameson ★★★★★
()
Ответ на: комментарий от darkenshvein

во включённом состоянии:

 ethtool enp1s0f1
Settings for enp1s0f1:
        Supported ports: [ TP FIBRE ]
        Supported link modes:   10000baseT/Full 
        Supported pause frame use: No
        Supports auto-negotiation: No
        Supported FEC modes: Not reported
        Advertised link modes:  10000baseT/Full 
        Advertised pause frame use: No
        Advertised auto-negotiation: No
        Advertised FEC modes: Not reported
        Speed: 10000Mb/s
        Duplex: Full
        Port: FIBRE
        PHYAD: 1
        Transceiver: internal
        Auto-negotiation: off
Cannot get wake-on-lan settings: Operation not permitted
        Current message level: 0x00000000 (0)
                               
        Link detected: yes

darkenshvein ★★★★★
() автор топика
Ответ на: комментарий от Jameson

This, была такая же ситуация. В итоге вылечил более другими трансиверами.


спасибо за информацию. теперь деньги жалко на покупку новых(

darkenshvein ★★★★★
() автор топика
Ответ на: комментарий от darkenshvein

Мне в этом плане повезло, железки были конторские и в наличии была коробочка с кучкой трансиверов. Так что столкнувшись с подобным я особо вникать не стал, пометил эту пару как проблемную и воткнул более другие.

Jameson ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin