LINUX.ORG.RU
Форум — Admin  

Скорость Infiniband SAN

 , , ,


1

2

Помогите кто может пожалуйста.

Есть ферма коммутаторов IB к ней подключены узлы кластера и СХД,

топология смешанная LAN, SAN, работает всё это под управлением GPFS,

так же имеет половинную блокировку.

Тесты скорости какие-то странные

тест IB 

local address:  LID 0x0066, QPN 0x000053, PSN 0x16e9c0, GID ::
remote address: LID 0x0040, QPN 0x002e11, PSN 0x7e98ae, GID ::
8192000 bytes in 0.01 seconds = 8627.70 Mbit/sec
1000 iters in 0.01 seconds = 7.60 usec/iter

А тест записи на хранилище 

[root@login ~]# dd if=/dev/zero of=/gpfs/***/temp1 bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 3.95755 s, 271 MB/s

куда копать что бы реальные данные снять ?



Последнее исправление: bkmz12332 (всего исправлений: 3)

А в чём конкретно проблема?

куда копать что бы реальные данные снять ?

«Реальные» - это какие? Если хочешь потестить производительность ФС, попробуй позапускать fio с разными конфигами.

Deleted
()
Ответ на: комментарий от Deleted

Спасибо попробую fio.

интересно найти бутылочное горло либо это ферма коммутаторов или схд

bkmz12332
() автор топика

Обычно используют слово не ферма, а фабрика. Ферма немного не про то. Так вот, вы проверяли целостность фабрики, что все линки физически видны, линки поднятны на требуемой скорости??? Кажется эта утилита называется iblinkinfo

Ну и что вы запускаете в качестве теста?? может объем сообщения еще увеличить??

gvtlor
()

а чего получить то хотел?
первый тест неинформативен, т.к. не указаны физические скорости IB соответствующих адаптеров и свича, еще может упереться в шину PCIe (например, вполне вероятно PCIe-2.0 x4)
второй тест, скорее всего, показывает скорость современного механического диска на 7200, где-то в самом его начале

anonymous
()
Ответ на: комментарий от anonymous

я хочу узнать на что способен этот SAN, то есть максимальная производительность его дисковой системы при работе с IB (iops, mb/s)

GPFS параллельная FS и пишет в моем случаи файл одновременно на 16 пулов, а каждый пул это 6 raid (всего дисков 168) за счёт этого и должна получатся огромная скорость.

как вы правильно заметили DD не информативен ещё же кеш делает свое дело, можно конечно сразу запускать его по 10 экземпляров с direct, но эта полная фигня.

СХД DDN, графиков производительности и тд на нём нет, а среди утилит ib я не нашёл софтины для измерения san производительности.

А вот шины я проверю, по спецификации все pci 3.0 x16

bkmz12332
() автор топика
Ответ на: комментарий от gvtlor

Фабрика без проблем, iblinkinfo видит все линки как 10.0 Gbps 4X (тут все окей)

кажется дело в СХД и настройке конфига GPFS

в качестве теста dd так же есть информация из логов расчётных программ.

bkmz12332
() автор топика
Ответ на: комментарий от bkmz12332

я хочу узнать на что способен этот SAN, то есть максимальная производительность его дисковой системы при работе с IB (iops, mb/s)

ну тогда тест с dd показал то что нужно, если предположить, что большой размер файла исключил сильное влияние кеша; для гарантированной отстройки от него лучше действительно использовать флаг директа

то что результат уперся в скорость одного диска, видимо, говорит о неправильной конфигурации fs, если от нее ожидается обеспечение более высоких скоростей (а иначе зачем IB, впрочем, может быть тебе достаточно скорости одного диска на один поток, а широкий сетевой канал для многопотока, когда каждый поток будет писать на свой диск)

для проверки скорости инфраструктуры IB есть утилиты ib_write/ib_read/ib_send, точно не помню, но префикс 'ib', там надо на одном хосте запустить утилиту с ключем сервера, а на другом — как клиента

anonymous
()
Ответ на: комментарий от bkmz12332

Фабрика без проблем, iblinkinfo видит все линки как 10.0 Gbps 4X (тут все окей)

для физики в 40Gbps скорость 8Gbps полезных данных на 8МБ блоках все же маловата, впрочем, измеренная скорость fs меньше даже этой в 4 раза, т.е. это пока не узкое место

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin