Публичные IP вне шлюза

Если оба сервера подключены в гигабитный коммутатор, находятся в одной IP-подсети и VLAN, ethtool показывает скорость гигабит,то они будут общаться напрямую без участию маршрутизатора. Как проводились измерения скорости?

то есть получается, что все работает через шлюз, что логично

Да, как бы, не совсем.

Да, все верно. Находятся в одной сети, В одном VLAN и ethtool показывает линк на обоих серверах 1Г Проверял протоколом передачи scp. Может в нем кроется проблема? Сейчас протестировал iperf , результат :

[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  1.11 GBytes   950 Mbits/sec

Потому что scp, используй rsync в ssh с хитрыми ключами:

rsync -aHAXxv --numeric-ids --delete --progress -e "ssh -T -c arcfour -o Compression=no -x" user@<from_host>:<from_dir> <dest_dir>

Хочется еще быстрее? Тогда так для передачи с A -> B:

# Host A
tar -c /path/to/data | nc -q 10 8888
# Host B
nc -w 10 -l -p 12345 | tar -x

поправочка:

# Host A
tar -c /path/to/data | nc -q 10 8888
# Host B
nc -w 10 -l -p 8888 | tar -x

iperf показывает почти гигабит, так что с сетью всё в порядке, ограничение на уровне используемого приложения. SCP не очень шустрый, поэтому лучше использовать rsync.