Привезли мне тут новую игрушку - пару карточек, да кабель. Собрал, поднял ipoib, протестировал скорость. В одну сторону iperf 11Гбит/с, в другую - 8, что медленнее чем должно было быть, но тоже неплохо. На одном из хостов в процессор упирается.
А с реальными данными всё оказалось намного печальнее. На одной машине raid5 о четырёх винтах, с чтением ~600МБ/с и записью ~500МБ/с. На другой - ненастроенный raid6 на 6 дисках, с чтением ~700МБ/с и записью ~600МБ/с. Копирование в любую сторону - 50МБ/с по ssh и rsync, до 220МБ/с через cifs.
На массивах 4 с лишним терабайта информации, и перегнать её предстоит далеко не один раз.
Куда копать?
И там и там debian 7, opensm-3.3.18.
