LINUX.ORG.RU
ФорумAdmin

jumbo frame в L2 на Cisco Nexus N3K-C3132Q-40GX

 , ,


0

1

Добрый день. Столкнулся с проблемой настройки локальной сети на коммутаторе Cisco Nexus N3K-C3132Q-40GX, прошу помоши. Конфиг всей инфраструктуры такой:

  1. Главный сервер, несколько сетевых карт 40GbE, обьеденненые в LACP.
  2. Вспомогательный сервер, два порта по 40GbE, LACP, должен поддерживать связь с главным сервером на скорости близкой к 80Гбит.
  3. Клиенты, сеть 10GbE, подключены через кабель DAC BREAKOUT 40GbE->4x10G.

Пробовал настроить в режиме L2 коммутации. Для первых двух серверов создал два отдельных port-channel

# interface port-channel 1
# interface ethernet 1/29-32
# channel-group 1 mode active

и такой же, для второго.

Для клиентов

# Interface breakout module 1 port 1-24 map 10g-4x

Поднял интерфейсы для каждого 1-24{1,4} порта

# interface ethernet 1/1/1-4
# no shutdown

Включил джабмо фреймы глобально.

policy-map type network-qos jumbo
  class type network-qos class-default
          mtu 9216
system qos
  service-policy type network-qos jumbo

Но на физических портах по прежнему остается MTU 1500, по 10Гбит линку все окей, выжимаю полную скорость. При тесте ipef3 между 1 и 2 сервером, скорость не превышает 30 Гбит.

Настройка агрегации так выглядит: /etc/netplan/01-bonding.yaml

network:
  version: 2
  renderer: networkd
  ethernets:
    eth12:
      dhcp4: no
      optional: true
    eth13:
      dhcp4: no
      optional: true
    eth16:
      dhcp4: no
      optional: true
    eth17:
      dhcp4: no
      optional: true
  bonds:
    bond0:
      dhcp4: no
      mtu: 9000
      addresses:
        - 10.2.1.1/24
      interfaces:
        - eth12
        - eth13
        - eth16
        - eth17
      parameters:
        mode: 802.3ad  # Режим LACP
        mii-monitor-interval: 100
        lacp-rate: fast

Коммутатор древний, часть фичей из мануалов с интернета попросту не работают, установить mtu при L2 для интерфейса - нельзя. Нет такого пункта.

Software
  BIOS: version 5.3.1
  NXOS: version 7.0(3)I7(10)
  BIOS compile time:  05/17/2019
  NXOS image file is: bootflash:///nxos.7.0.3.I7.10.bin
  NXOS compile time:  8/20/2021 6:00:00 [08/20/2021 07:16:06]

В какую стороную хоть копать? Может я не тот коммутатор купил, или обновить ОС надо? Заводить в L3 ?



Последнее исправление: gg32 (всего исправлений: 1)
Ответ на: комментарий от stave

MTU это первое, что бросилось в глаза. Если не размер пакета влияет на скорость, то тогда что? Даже если агрегация не работает, все равно должна быть цифра, близкая к 40 Гбит.

gg32
() автор топика