LINUX.ORG.RU
решено ФорумAdmin

проблемы с сетевыми адаптерами в Debian 12

 , , ,


0

2

Добрый день уважаемые форумчане! Обьясните пожалуйста куда копать в моей ситуации, рассказываю: Имеется железо IBM Bladecenter H в нем 2 свитча на Blade OS, каждый из них подключен через LACP 6-портов в zyxel gs-2200, активных лезвий 3 штуки (на других лезвиях нет проблем), в одном из них постоянно возникает проблема, при перезагрузке все два интерфейса которые я настроил замечательно работают и пингуются, их MAC адреса видны в таблице зукселя, я сверял, но стоит только сделать sudo systemctl restart networking или sudo ifdown –exclude=lo -a && sudo ifup –exclude=lo -a все намерво зависает и вывод ошибку что на интерфейсах нет линка, хотя все полностью работает если ничего не делать после перезагрузки, далее помогает только снова перезагрузить сервер и все снова работает, все интерфейсы поднимаются, как ни в чем не бывало…. все конфиги и выхлоп скидываю ниже—->

конфиг /etc/network/interfaces

# The loopback network interface
auto lo
iface lo inet loopback


#auto enp16s0f0
auto eno1
iface eno1 inet static
address 192.168.3.15
netmask 255.255.255.0
gateway 192.168.3.1

#auto enp16s0f1
auto eno2
iface eno2 inet static
address 192.168.3.16
netmask 255.255.255.0
#gateway 192.168.3.1

инфо по железкам, использую первые 2

root@srv-configurator:~# lspci | grep Ether
10:00.0 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme II BCM5709S Gigabit Ethernet (rev 20)
10:00.1 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme II BCM5709S Gigabit Ethernet (rev 20)
15:00.2 Ethernet controller: Cavium QLogic 1010/1020/1007/1741 10Gbps CNA (rev 01)
15:00.3 Ethernet controller: Cavium QLogic 1010/1020/1007/1741 10Gbps CNA (rev 01)

выхлоп IP A

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host noprefixroute 
       valid_lft forever preferred_lft forever
2: eno1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 40:f2:e9:3a:87:88 brd ff:ff:ff:ff:ff:ff
    altname enp16s0f0
    inet 192.168.3.15/24 brd 192.168.3.255 scope global eno1
       valid_lft forever preferred_lft forever
    inet6 fe80::42f2:e9ff:fe3a:8788/64 scope link 
       valid_lft forever preferred_lft forever
3: eno2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 40:f2:e9:3a:87:8a brd ff:ff:ff:ff:ff:ff
    altname enp16s0f1
    inet 192.168.3.16/24 brd 192.168.3.255 scope global eno2
       valid_lft forever preferred_lft forever
    inet6 fe80::42f2:e9ff:fe3a:878a/64 scope link 
       valid_lft forever preferred_lft forever

выхлоп ethtool по этим двум адаптерам

Settings for eno1:
        Supported ports: [ FIBRE ]
        Supported link modes:   1000baseT/Full
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  1000baseT/Full
        Advertised pause frame use: No
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Speed: 1000Mb/s
        Duplex: Full
        Auto-negotiation: on
        Port: FIBRE
        PHYAD: 2
        Transceiver: internal
        Supports Wake-on: g
        Wake-on: g
        Link detected: yes
root@srv-configurator:~# ethtool -i eno1
driver: bnx2
version: 6.1.0-11-amd64
firmware-version: bc 7.4.0 NCSI 2.0.11
expansion-rom-version: 
bus-info: 0000:10:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no



root@srv-configurator:~# ethtool eno2
Settings for eno2:
        Supported ports: [ FIBRE ]
        Supported link modes:   1000baseT/Full
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  1000baseT/Full
        Advertised pause frame use: No
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Speed: 1000Mb/s
        Duplex: Full
        Auto-negotiation: on
        Port: FIBRE
        PHYAD: 2
        Transceiver: internal
        Supports Wake-on: g
        Wake-on: g
        Link detected: yes
root@srv-configurator:~# ethtool -i eno2
driver: bnx2
version: 6.1.0-11-amd64
firmware-version: bc 7.4.0 NCSI 2.0.11
expansion-rom-version: 
bus-info: 0000:10:00.1
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no


Последнее исправление: maksimus007 (всего исправлений: 1)

У Вас точно LACP?

У меня такой конфиг в interfaces.Debian 12 LACP:

cat /etc/network/interfaces
--
auto lo eth0 eth1 bond0
allow-hotplug eth0 eth1
iface bond0 inet static
slaves eth0 eth1
bond-mode 802.3ad
bond-lacp-rate slow
bond-ad-select bandwidth
address 172.16.0.15/16
gateway 172.16.0.1
dns-nameservers 172.16.0.2 172.16.55.2
dns-search gutter.local
dns-search better.local
--

ukass
()
cat /proc/net/bonding/bond0 
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: slow
Min links: 0
Aggregator selection policy (ad_select): bandwidth
System priority: 65535
System MAC address: 44:a8:42:37:d9:5f
Active Aggregator Info:
        Aggregator ID: 2
        Number of ports: 2
        Actor Key: 9
        Partner Key: 1000
        Partner Mac Address: a8:f9:4b:fe:6b:80

Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 4
Permanent HW addr: 44:a8:42:37:d9:5f
Slave queue ID: 0
Aggregator ID: 2
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
    system priority: 65535
    system mac address: 44:a8:42:37:d9:5f
    port key: 9
    port priority: 255
    port number: 1
    port state: 61
details partner lacp pdu:
    system priority: 1
    system mac address: a8:f9:4b:fe:6b:80
    oper key: 1000
    port priority: 1
    port number: 53
    port state: 61

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 4
Permanent HW addr: 44:a8:42:37:d9:60
Slave queue ID: 0
Aggregator ID: 2
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
    system priority: 65535
    system mac address: 44:a8:42:37:d9:5f
    port key: 9
    port priority: 255
    port number: 2
    port state: 61
details partner lacp pdu:
    system priority: 1
    system mac address: a8:f9:4b:fe:6b:80
    oper key: 1000
    port priority: 1
    port number: 54
    port state: 61
ukass
()
Ответ на: комментарий от ukass

Немного по другому у меня сделано, у вас LACP настроен на самом сервере, у меня IBM Bladecenter H, это шасси в которое вставляются лезвия-серверы (14 штук) и 2 коммутатора, коммутаторы имеют каждый по: 14 внутренних портов, которые в шасси соединены с лезвиями и по 6 внешних медных портов, вот эти 6 внешних портов и обьединены в LACP в самом коммутаторе, далее в зукселе тоже настроены LACP на эти порты

maksimus007
() автор топика

А какая-нибудь консоль есть на блейде? Чтобы не через сеть заходить. Возможно при дерганье ifdown/ifup плывут имена интерфейсов, а потом при ребуте восстанавливаются в правильном порядке.

imul ★★★★★
()
Ответ на: комментарий от imul

На проблемном лезвии стоит Debian 12, через его консоль перезапускаю интерфейсы, когда отваливается сеть подключаюсь через гипервизор корзины, там отдельный служебный порт. вы правы, он их переименовывает, изначально они назывались типа enp21s0f0 и enp21s0f1 теперь eno1 и eno2 но в altname старые имена. а как можно отключить переименование интерфейсов?

maksimus007
() автор топика
Ответ на: комментарий от router

Нет, ifdown/ifup делаю через консоль самого лезвия, когда отваливается сеть, через гипервизор корзины подключаюсь. По поводу посмотреть ethtool’ом в момент отвала, это сделаю, выхлоп выложу.

maksimus007
() автор топика
Ответ на: комментарий от maksimus007

Смотри, ты делаешь ifdown, у тебя отваливается доступ по сети, ssh сессия умирает. и абсолютно не важно, какая там команда была после && - скорее всего, она не успеет запуститься

В следующий раз хотя бы в screen/tmux запускай. А лучше опасные операции (настройка сети или файрвола) делать через консоль, а не через ssh

Про переименование интерфейсов ничего сказать не могу, не сталкивался. Вместо скриптов ifdown/ifup использую networkmanager

router ★★★★★
()

Коллеги, всем спасибо кто откликнулся! Данную тему решил, рассказываю как: Удаленно, через гипервизор ковырял\настраивал его, эффекта ноль, все так же, работает только после перезагрузки…. Переустановил драйвер BNX2 на сетевухах, самый новый поставил и сеть вообще пропала и больше не запускалась)))) Решил приехать к серверу, глянуть на него так сказать изнутри, приехал, достал из корзины разобрал, осмотрел внимательно плату, потыкал тестером в обвязку контроллера сети, все хорошо, нет даже намека на неисправности…. Все почистил, собрал, запустил - реакции 0. Скачиваю Debian 12.1 с офф.сайта, раскатываю на флешку и устанавливаю заново, во время установки все интерфейсы видно, настроились без проблем, после установки вернул настройки точно такие, как были на старой системе и все работает вот уже несколько дней без проблем.Вывод: старая система стоит на сервере уже более 3-х лет и обновлялась до Debian 12 с версии 9 + эксперименты с драйверами и попытки ускорить сеть, видимо я убил систему, а восстановить мозгов не хватило))) В общем, теперь буду аккуратнее! Всем спасибо!

maksimus007
() автор топика