LINUX.ORG.RU
ФорумAdmin

Низкая скорость копирования файлов в ВМ Proxmox

 , ,


0

1

Всем бобра!

Решил вникнуть в виртуализацию на базе opensource.

Вводные: 2 х сервера физических с нодами проксмокса 6.0. 1 х физический сервер с freenas 11.2-u5. Все это дружит киска 3560g. У физических серваков 4 дырки, так вот по одной оставил на сеть управления, остальные 3 в отдельном влане под SAN сеть, включена агрегация портов 803.2ad. Ноды в кластере, фринас подключил по NFS. iperf, между нодами и фринасом, говорит стабильно гигаббит.

Вроде всё здорово, НО при копировании файлов, внутри ВМ, скорость может упасть падает с 500/250/100(старт скорости копирования может быть разный) мегабит до 50 или даже 10. С чем связано найти не могу. Подскажите гуру, куда копать?

А при копировании «по сети», с одной ВМ на другую, скорость стабильно 11,2-11,1. Как будто, не гагабит а 100ка... Внутри ВМ в свойствах сетевого адаптера пишет скорость гигабит.

Причем, если включить 3 ВМ, и 2м из них сказать скопировать файл «по-сети» с третьей ВМ, то скорость скачивания будет ~ 5-6 мегабит... Шо за хня!?

Тестирование производится на ВМ: Win 2012r2, 1x4 cpu, 4096 mem, virtio scsi, raw - hdd, intel e1000.

Думается мне что искусственно всё это тормозится proxmox'ом...

Ответ на: комментарий от Deleted

Гипервизоры 2x Dell R710, 2x5690, 96Gb mem NAS - DL380 G7, 2x5620, 32Gb mem + 2xHBA LSI SAS2008 + HP D2700 + 1xIntel D4510 960Gb.

Так же в полке стоят SAS300 10k - ситуация со скоростью такая же.

BadSimon ()
Ответ на: комментарий от Deleted

Да, в шаре забраной через NFS. ФС не выбирал. Создал пул через веб морду, назначил точку монтирования, а затем опубликовал его через NFS. ФС вообще не выбирал, как узнать?

Гипервизоры без свопа.

BadSimon ()
Ответ на: комментарий от BadSimon

NFS и случайный доступ чет не очень дружат. Т.е. ты пишешь большой файл и каждый раз в нём что-то меняешь. Это nfs ставит раком.
Лучше iscsi запили.

Deleted ()
Ответ на: комментарий от BadSimon

Давай-ка подмонтируй nfs к любой ОС, которую ты считаешь производительной и запусти тест fio с рандомной записью.
Ну или создай loop файл и пиши в него последовательно файлы, если тебе так удобно.

Deleted ()
Ответ на: комментарий от BadSimon

Файлы? Которые лежат на файловой системе? Ну вот тебе и ответ.

targitaj ★★★★★ ()
Ответ на: комментарий от anonymous

Так и сделал. Но устройство в /dev/sdX не создается. Инструкций море, это дебиан, приводить не буду. В общем виде чт о делал, создал портал, цель, экстент. Нашел с ноды портал, цель и т.д. Говорю: iscsiadm -m node --targetname «iqn.2019-09.test.local:wm-iscsi-hdd» --portal «172.16.50.50:3260» --login

Мне в ответ радостно: Logging in to [iface: default, target: iqn.2019-09.test.local:wm-iscsi-hdd, portal: 172.16.50.50,3260] (multiple) Login to [iface: default, target: iqn.2019-09.test.local:wm-iscsi-hdd, portal: 172.16.50.50,3260] successful.

Но устройств новых не создается. Что я делаю не так?

BadSimon ()
Ответ на: комментарий от BadSimon

приводить не буду

Вангую, что что-то не так с таргетом сделали. Приводить надо. Перед этим попробуйте iscsi/iscsid перезапустить (или как он там в Debian называется).

anonymous ()
Ответ на: комментарий от BadSimon

Чтоб наглядно показать что nfs не годится для хранения образов ВМ.

Deleted ()
Ответ на: комментарий от anonymous

iSCSI Transport Class version 2.0-870
version 2.0-874
Target: iqn.2019-09.test.local:wm-iscsi-hdd (non-flash)
Current Portal: 172.16.50.50:3260,1
Persistent Portal: 172.16.50.50:3260,1
**********
Interface:
**********
Iface Name: default
Iface Transport: tcp
Iface Initiatorname:
iqn.1993-08.org.debian:01:fc2c372c3ed
Iface IPaddress: 172.16.50.20
Iface HWaddress: <empty>
Iface Netdev: <empty>
SID: 2
iSCSI Connection State: LOGGED IN
iSCSI Session State: LOGGED_IN
Internal iscsid Session State: NO CHANGE
*********
Timeouts:
*********
Recovery Timeout: 120
Target Reset Timeout: 30
LUN Reset Timeout: 30
Abort Timeout: 15
*****
CHAP:
*****
username: <empty>
password: ********
username_in: <empty>
password_in: ********
************************
Negotiated iSCSI params:
************************
HeaderDigest: None
DataDigest: None
MaxRecvDataSegmentLength: 262144
MaxXmitDataSegmentLength: 131072
FirstBurstLength: 131072
MaxBurstLength: 16776192
ImmediateData: Yes
InitialR2T: Yes
MaxOutstandingR2T: 1
************************
Attached SCSI devices:
************************
Host Number: 3 State: runnin

BadSimon ()
Ответ на: комментарий от BadSimon

Ну, если все так, то ок. Вопрос закрыт.

anonymous ()
Ответ на: комментарий от anonymous

Кхм... Что есть лун? 6 сас дисков объедены в пул. В пуле создан zvol. Zvol добавлен в экстентах. Всё делалось через веб морду.

BadSimon ()
Ответ на: комментарий от Deleted

NFS и случайный доступ чет не очень дружат.

ну вообще-то нормально у nfs всё с этим, и есть преимущества перед тем же iscsi.

anonymous ()
Ответ на: комментарий от BadSimon

Что есть лун?

В выхлопе iscsiadm написано, что не найдено ни однго луна. Скорее всего это потому, что их нет.

Разберитесь «Что есть лун». Пошаговые руководство и вебморды ничего не дадут.

anonymous ()
Ответ на: комментарий от anonymous

если в esxi цеплять, то nfs и iscsi примерно равны. в линуксе же с nfs какая-то печаль.

Deleted ()
Ответ на: комментарий от BadSimon
Attached SCSI devices:
                ************************
                Host Number: 4  State: running
                scsi4 Channel 00 Id 0 Lun: 0
                        Attached scsi disk sdc      State: running
                scsi4 Channel 00 Id 0 Lun: 1
                        Attached scsi disk sde      State: running
                scsi4 Channel 00 Id 0 Lun: 2
                        Attached scsi disk sdg      State: running
                
anonymous ()
Ответ на: комментарий от BadSimon

И так, «дело было не в бабине...»!
Не стоит сразу грешить на веб интерфейс, а данном случае freenas, тем более штука эта является коммерческой...
В конце концов, снеся всё к хер.м и открыв мануал, начал делать всё с самого начала и «по-слогам», т.е. прочитал строчку - ткнул мышкой, прочитал ещё строчку - вбил значение, etc. Выполняя оное, увидел что не всё-то я делал!
Я, с упорством барана завидным постоянством, раз за разом игнорировал последний пункт настройки таргетов iscsi во freenas, а именно не делал согласования таргетов и экстендов.
Как говорится, ларчик-то открывался просто!
При переходе с nfs на iscsi, скорость так же возросла до стабильного гигабита. Хотя я еще не проверял на свежей системе скорость NFS.
Если кому интересно, если опять же всё правильно делал, опыты показали, что lacp 802,3ad(агрегация линков) не складывает скорости линков, а наоборот, раскладывает весь трафик на несколько линков, т.е. получить скорость скачивания c 2х гигабитных линков = 2 гигабитам не получится.

Как-то так, Всем большое спасибо!

BadSimon ()
Ответ на: комментарий от BadSimon

Агрегация линков работает только когда трафик идёт на разные маки или ip. Для iscsi идеально подходит multipath, а всяческие lacp и bond противопоказаны. Если непонятно как в проксе настроить multipath - спрашивай. Про freenas не подскажу, я в нём полный ноль.

Deleted ()
Ответ на: комментарий от BadSimon

не делал согласования таргетов и экстендов.

То есть, луны не создали. Как и было предсказано.

на свежей системе скорость NFS.

Файлы образов на zfs — это не будет работать.

anonymous ()
Ответ на: комментарий от Deleted

Для iscsi идеально подходит multipath, а всяческие lacp и bond противопоказаны.

Т.е. я ошибаюсь и скорость копирования/чтения может возрасти в раз=кол-ву линков при использовании multipath?

BadSimon ()
Ответ на: комментарий от anonymous

Файлы образов на zfs — это не будет работать.

В процессе я это понял. NFS - это просто папка.

BadSimon ()
Ответ на: комментарий от BadSimon

MPIO увеличивает скорость и повышает надежность. Можно спокойно сунуть линки в разные свичи и никоим образом не требуется эти линки агрегировать.

Deleted ()
Ответ на: комментарий от Deleted

Занятная статья, т.е, при прочих равных, скорость отличается почти в 2 раза! Вы сами это проверяли? Пробовали эксперементировать со кол-вом линков/свитчами/вланами?

BadSimon ()
Ответ на: комментарий от BadSimon

Делал подключение к днище СХД, скорость «дисков» там чуть больше гигабита. Поэтому 4 линка совсем незначительно добавляли скорость, но зато отказоустойчивость имеется.

Deleted ()
Ответ на: комментарий от Deleted

Я правильно понял, MPIO не имеет ограничения по кол-в линков? Тогда как lacp имеет ограничение всего 8 линков на устройство.

BadSimon ()
Ответ на: комментарий от BadSimon

Ограничения по количеству одновременных соединений, таргетов, и прочим прелестям скорее зависит от конкретных реализаций сервера и клиента.
Кмк правильней купить 10/40Gbe сетевые, чем городить по 100500 гигабитных линков.

Deleted ()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от BadSimon

Почитайте уже книжки, а не тыкайте на кнопочки в вебморде по мануалам. Сейчас вам насоветуют, а когда что-то пойдет не так, вы ничего не сможете исправить.

Если трудно найти самостоятельно, то вот, например. И там куча ссылок.

https://documentation.suse.com/sles/15-SP1/pdf/book-storage_color_en.pdf

anonymous ()
Ответ на: комментарий от Deleted

Вы, как человек сведущий в этой теме, 10/40 гигабитное бюджетное БУшное оборудование какое посоветуете?
Да чтоб его в продакт не страшно стыдно поставить можно было?)))

BadSimon ()
Ответ на: комментарий от BadSimon

Я сам не пробовал, но говрят что двухголовые 10Gbe интелы - неплохие. Можно найти на avito,ebay или у торгашей бу железа типа galtsystems,trinity.
За бу свичи не в курсе, могу только сказать, что свичам чисто под mpio не обязательны vlan и прочие плюшки.

Deleted ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.