LINUX.ORG.RU
Форум — Linux-hardware  

Intel X540-T1 (10 Гбит) линкуется только на 1 Гбит


0

1

Добрый день.

Приобрели пару сетевух 10Г Intel X540-T1. Планируется их использовать для высокоскоростной связи пары нод кластера для HA. Сетевухи воткнули и «увиделись» дистрибутивом (Proxmox, на базе Debian). Соединили их напрямик готовым («заводским») патч-кордом Cat. 6 (пр-ва Molex, написано что соотв. ANSI/TIA-568-C.2, т.е. для 10G подходит).

Только соединили - линк загорелся зеленым, т.е. сеть установилась на скорости 10 Gbps. Однако буквально сразу один из серверов выключили и после включения линк стал загораться оранжевым, т.е. обычные 1 Gbps.

Смотрю ethtool: 

# ethtool eth2
Settings for eth2:
        Supported ports: [ TP ]
        Supported link modes:   100baseT/Full 
                                1000baseT/Full 
                                10000baseT/Full 
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Advertised link modes:  100baseT/Full 
                                1000baseT/Full 
                                10000baseT/Full 
        Advertised pause frame use: No
        Advertised auto-negotiation: Yes
        Speed: 1000Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 0
        Transceiver: external
        Auto-negotiation: on
        MDI-X: Unknown
        Supports Wake-on: d
        Wake-on: d
        Current message level: 0x00000007 (7)
                               drv probe link
        Link detected: yes

# ethtool -i eth2
driver: ixgbe
version: 3.19.1
firmware-version: 0x8000037c

Уже и серверы перезагружал и патч-корд менял (правда на такой же, и пробовал еще для эксперимента Cat 5E) - заводится на 1 Гбите. При этом долго думает при подключении кабеля, около 15 секунд проходит до появления линка.

Кто-нибудь сталкивался? Что может быть и что попробовать еще (кроме другого патч-корда - нет его под рукой пока).

★
← Восстановление данных с hdd, замена электроники
Nvidia Prime →

Если принудительно пытаюсь выставить скорость через ethtool, линк не видится вообще:

# ifconfig eth2 down
# ethtool -s eth2 speed 10000 duplex full autoneg off
# ifconfig eth2 up
# ethtool eth2

Settings for eth2:
        Supported ports: [ TP ]
        Supported link modes:   100baseT/Full 
                                1000baseT/Full 
                                10000baseT/Full 
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Advertised link modes:  100baseT/Full 
                                1000baseT/Full 
                                10000baseT/Full 
        Advertised pause frame use: No
        Advertised auto-negotiation: Yes
        Speed: Unknown!
        Duplex: Unknown! (255)
        Port: Twisted Pair
        PHYAD: 0
        Transceiver: external
        Auto-negotiation: on
        MDI-X: Unknown
        Supports Wake-on: d
        Wake-on: d
        Current message level: 0x00000007 (7)
                               drv probe link
        Link detected: no
nstorm ★
() автор топика
Последнее исправление: nstorm (всего исправлений: 2)
Ответ на: комментарий от b_a

а если отключить auto-negotiation ? чего говорит ?

во 2ом посте написал

И вопрос почему MDI-X в состояние unknown ?

Видимо сетевуха или драйвер об этом не сообщают. Встречал такое еще на 100/1000 сетевых иногда.

nstorm ★
() автор топика
Ответ на: комментарий от Mr_Alone

Да вот думал об этом уже. Только на хосте нет build утилит (make, gcc и т.п.), как-то не хотелось его хламить этим. Почитал changelog драйвера 3.21.2 в отличии от моего 3.19.1 - вроде такого существенного ничего нет.

nstorm ★
() автор топика
Ответ на: комментарий от Mr_Alone

Дело в том, что линк устанавливается такой даже до загрузки OS и драйвера, т.е. даже если просто в BIOS «посидеть». Может там конечно EEPROM или фирмварь искосились драйвером...

nstorm ★
() автор топика
Ответ на: комментарий от Mr_Alone

Пересобрал драйвер на последний из исходников, загрузил модуль новый на обоих машинах. Всё-равно на 1Гбите включается: 

Intel(R) 10 Gigabit PCI Express Network Driver - version 3.21.2
Copyright (c) 1999-2014 Intel Corporation.
ixgbe 0000:01:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16
ixgbe 0000:01:00.0: setting latency timer to 64
ixgbe: 0000:01:00.0: ixgbe_check_options: FCoE Offload feature enabled
ixgbe 0000:01:00.0: irq 42 for MSI/MSI-X
ixgbe 0000:01:00.0: irq 43 for MSI/MSI-X
ixgbe 0000:01:00.0: irq 44 for MSI/MSI-X
ixgbe 0000:01:00.0: irq 45 for MSI/MSI-X
ixgbe 0000:01:00.0: irq 46 for MSI/MSI-X
ixgbe 0000:01:00.0: PCI Express bandwidth of 16GT/s available
ixgbe 0000:01:00.0: (Speed:5.0GT/s, Width: x4, Encoding Loss:20%)
ixgbe 0000:01:00.0: eth2: MAC: 3, PHY: 3, PBA No: G54042-005
ixgbe 0000:01:00.0: a0:36:9f:23:cd:ec
ixgbe 0000:01:00.0: eth2: Enabled Features: RxQ: 4 TxQ: 4 FdirHash 
ixgbe 0000:01:00.0: eth2: Intel(R) 10 Gigabit Network Connection
ADDRCONF(NETDEV_UP): eth2: link is not ready
ixgbe 0000:01:00.0: eth2: NIC Link is Up 1 Gbps, Flow Control: RX/TX

nstorm ★
() автор топика
Ответ на: комментарий от nstorm

Дело в том, что линк устанавливается такой даже до загрузки OS и драйвера

Хм. Гуголь показывает что у многих такая проблема, кто-то решил так " 2 of the Intel cards were bad. They just hung up and stayed at 1gb. Intel replaced and they worked fine."

Mr_Alone ★★★★★
()

у меня вот так, правда у меня SFP+ 

Settings for eth1:
	Supported ports: [ FIBRE ]
	Supported link modes:   10000baseT/Full 
	Supported pause frame use: No
	Supports auto-negotiation: No
	Advertised link modes:  10000baseT/Full 
	Advertised pause frame use: No
	Advertised auto-negotiation: No
	Speed: 10000Mb/s
	Duplex: Full
	Port: Other
	PHYAD: 0
	Transceiver: external
	Auto-negotiation: off
	Supports Wake-on: d
	Wake-on: d
	Current message level: 0x00000007 (7)
			       drv probe link
	Link detected: yes

init_ ★★★
()
Ответ на: комментарий от nstorm

Есть подозрение, что сетевухи до жути капризны к кабелю. Т.к. обычный дешевый патч-корд категории 5E заводит сетевухи лишь на 100 Мбит вообще. При это гигабитные сетевые карты с этим кабелем работают нормально, на скорости 1 Гбит. При этом самостоятельно обжатый 5E на скорую руку дает скорость в 1 Гбит. Буду пробовать достать другой кабель. Однако странно, что с этим не включается 10 Гбит. Всё-таки кабель относительно фирменный, пр-ва Molex Premise Networks, все надписи на нём свидетельствуют о поддержке 10 Гбит.

nstorm ★
() автор топика
Ответ на: комментарий от nstorm

мой тебе совет опыта... я конечно не знаю как ты там с rj45... мы хапнули в свое время дохерища просто глюков на sfp+ включая твики драйверов... в общем мы используем sfp+ на нат серверах в провайдинге, море ошибок хапали на rx, пока не заменили медь на оптику sfp+, потом купили другие sfp+ медные патч корды snr какие-то... а сначала ваще галимую китайщину, пересобирали драйвер чтобы он понимал модуль на коммутаторе не интеловый... там в инете есть патчи на эту тему. посмотри может что есть в патчинге этой сетевки на твою тему, в общем нахапались мы в свое время с этими сетевками ))))) замечу что сейчас жует 4 гига на двухпроцессорном с милионным количеством трансляций.

Бери все брэндовое и если идти в сторону таких скоростей то лучше сразу SFP+, и напиши что за коммут в который ты вставляешь эти патчи...

init_ ★★★
()
Последнее исправление: init_ (всего исправлений: 1)
Ответ на: комментарий от Mr_Alone

2 of the Intel cards were bad. They just hung up and stayed at 1gb. Intel replaced and they worked fine

Кстати тоже вариант (не заметил ваш пост как-то сразу). Но там у человека линк всё-таки на 10 Гбит поднимался, а скорости передачи низкая была. А у меня даже линк 1 Гбит только.

Пойду всё-таки искать другой патч-корд и пробовать его. Но параллельно в саппорт Интела всё-таки написал.

nstorm ★
() автор топика
Ответ на: комментарий от stave

напиши что за коммут в который ты вставляешь эти патчи

Я же написал опять же сразу - соединено напрямик, без коммутаторов. Не нужно мне там коммутировать ничего, коммутации по отдельным интерфейсам идут.

nstorm ★
() автор топика
Ответ на: комментарий от stave

Большая экономия относительно оптики вышла?

Оптические X520 стоит почти столько же. А если их соединить медью твинаксиальной - то и цена выйдет такая же. Ну именно оптика будет дороже на стоимость SFP+ модулей.

Дело не в экономии. Хотелось просто соединить 2 сервера в одной стойке - смысл тут городить с оптикой?

nstorm ★
() автор топика
Ответ на: комментарий от Revent

С оптикой тоже свои проблемы возникают. Хотя бы та же несовместимость SFP модулей с оборудованием и т.п.

nstorm ★
() автор топика
Ответ на: комментарий от init_

Патч-корд такой: http://www.citilink.ru/catalog/net_equipment/patchcords/712412/ Molex производитель вроде как. Но странно что по этому P/N нашел даташит на него и там сказано про Compliant With TIA/EIA-568-B.2-1, а на самом кабеле написано ETL Verified TIA/EIA-568-C.2.

nstorm ★
() автор топика
Ответ на: комментарий от init_

Сегодня проверил кабель 1м кат. 6а - результат такой же. Так что всё-таки не в кабеле дело.

nstorm ★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Восстановление данных с hdd, замена электроники
Linux-hardware
Nvidia Prime →