LINUX.ORG.RU

Помогите Nic Bonding iSCSI RAMDrive - Debian


0

1

Доброе время суток, возникла проблема которую не смог решить сам поэтому прошу вашей помощи.
Необходимо добиться максимальной скорости передачи данных между 2 серверами.
При удачных тестах все введется в эксплуатацию на боевых серверах с приличным объемом РАМ

----
Что имеем:
2 одинаковых сервера (тестовая лаборатория):
P4 x64
сетевая карта 1 - 1 Гбит
сетевая карта 2 - 4-х портовая 1Гбит
4GB Ram
eth0 - интерфейс 1 карты

bond0 - бондинг с задействоваными интерфейсами eth1 eth2 eth3 eth4


Cisco Catalyst 3560G
----

Что сделано

1. Созданы виртуальные РАМдиски на каждом сервере ( mount -t tmpfs -o size=3000M tmpfs /mnt/RAMDrive/ )
2. Вроде как настроен Nic Bonding (Nic Teaming) На обоих серверах, IP 10.10.250.3 и 10.10.250.2

auto bond0
iface bond0 inet static
address 10.10.250.3
netmask 255.255.255.0
network 10.10.250.0
bond_mode balance-rr
bond_miimon 100
bond_downdelay 200
bond_updelay 200
slaves eth1 eth2 eth3 eth4

3. Поднят iSCSI-Target & iSCSI Initiator (/nmt/iSCSI)

конфиг iSCSI-target
mount -t tmpfs -o size=3000M tmpfs /mnt/tmpfs/
dd if=/dev/zero of=/mnt/tmpfs/image.img bs=1024k count=2000


Target test.802:test-debian.lun0
IncomingUser
OutgoingUser
Lun 0 Path=/mnt/tmpfs/image.img,Type=fileio
Alias LUN0
# MaxConnections 1
# ImmediateData Yes # Data can accompany command
# MaxRecvDataSegmentLength 8192 # Max data per PDU to receive
# FirstBurstLength 65536 # Max unsolicited data sequence


Далее мои результаты:
Создаем файлик 1.1 гиг dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1024

И результаты скорости:
iSCSI - > RAMDrive 298MB/sec
RAMDrive - > iSCSI 177MB/sec

Как увеличить скорость?

тесты проводятся в «тепличных условиях» для дальнейшего применения на боевых серверах фирмы.
Так же на боевых машинках используется infinyband и корзинки =)

Результаты:

~# dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 9.35884 s, 115 MB/s


iotop 80-260Mb/Sec

iptraf показывает 0..... новерно он не понял bonding...

Скорость работы с файлами (замерена через mc):
Копирование:
iSCSI -> RAMDrive 185-310M/Sec
RAMDrive -> iSCSI 135-185M/Sec

Перезапись файла:
iSCSi -> RAMDrive 180-320M/Sec
RAMDrive -> iSCSI 150-175M/Sec

Поставил режим balance-tlb и попробовал посоздавать файлы разных размеров вот что вышло...
# dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=200 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=400 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=600 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=750
200+0 records in
200+0 records out
209715200 bytes (210 MB) copied, 0.159145 s, 1.3 GB/s
400+0 records in
400+0 records out
419430400 bytes (419 MB) copied, 0.511152 s, 821 MB/s
600+0 records in
600+0 records out
629145600 bytes (629 MB) copied, 3.38926 s, 186 MB/s
750+0 records in
750+0 records out
786432000 bytes (786 MB) copied, 5.69244 s, 138 MB/s

3# dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=800 && dd if=/dev/zero of=/mnt/iscsi/image.img bs=1024k count=1100
800+0 records in
800+0 records out
838860800 bytes (839 MB) copied, 6.24761 s, 134 MB/s
1100+0 records in
1100+0 records out
1153433600 bytes (1.2 GB) copied, 10.3507 s, 111 MB/s

скорость РАМдрайва сама по себе нормальная.

Выше показано создание файла на РАМдиск по сети по iSCSI в bonding.

Локально на любом сервере скорость работы РАМдиска нормальная, вот результаты
# dd if=/dev/zero of=/mnt/ramdrv/image.img bs=1024k count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.861937 s, 1.2 GB/s


Скорость при использовании НЕ iSCSI, попытка на NFS
# dd if=/dev/zero of=/mnt/nfs/imeea.img bs=1024k count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 9.28765 s, 116 MB/s

ФТП тоже самое....

А как с прерываниями на 4х-портовках? MSI есть? Что в /proc/interrupts?

Suigintou ★★★★ ()

И ещё, покажи ещё описание интерфейса Port-channel на своём каталисте.
У меня на C2970 только 802.3ad нормально заработало (хотелось аггрегирования линков + бэкап).

Kuzmich ★★ ()
Ответ на: комментарий от Suigintou

1259: 54 61 PCI-MSI-edge eth4
1260: 346146 345368 PCI-MSI-edge eth4-rx1
1261: 353786 347363 PCI-MSI-edge eth4-rx0
1262: 1110685 1161674 PCI-MSI-edge eth4-tx0
1263: 50 54 PCI-MSI-edge eth3
1264: 133756 129007 PCI-MSI-edge eth3-rx1
1265: 71366 69439 PCI-MSI-edge eth3-rx0
1266: 1164915 1127627 PCI-MSI-edge eth3-tx0
1267: 51 55 PCI-MSI-edge eth2
1268: 42512 43043 PCI-MSI-edge eth2-rx1
1269: 67883 64291 PCI-MSI-edge eth2-rx0
1270: 1108332 1160733 PCI-MSI-edge eth2-tx0
1272: 61 56 PCI-MSI-edge eth1
1273: 1289709 1289537 PCI-MSI-edge eth1-rx1
1274: 961939 960822 PCI-MSI-edge eth1-rx0
1275: 1492948 1462184 PCI-MSI-edge eth1-tx0

Korang ()
Ответ на: комментарий от Kuzmich

802.3ad стало вешать каталист, поставил простой свитч гигабитный...

Korang ()
Ответ на: комментарий от Korang

Видимо бондинг на каталисте как-то криво сделал :)

Kuzmich ★★ ()
Ответ на: комментарий от Kuzmich

Разобрался, но заявленых в спецификации технологии скорость добиться не удалось... Буду тестить InfiniBand ^^

Korang ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.