LINUX.ORG.RU
решено ФорумAdmin

копирование 2 МБайта в секунду

 , ,


1

4

Привет!

Дисковая подсистема тормозит вот в таком слоеном пироге:
2 x Жесткий диск 3.5" TOSHIBA DT01ACA200, 2Тб, HDD, SATA III в SATA 3 гнездах на матери. =
(/dev/sda, /dev/sdb) в soft рэйде /dev/md127 на разделе /dev/mapper/md127p4 с XFS
в файле VHD отданном через NFS (127.0.0.1:/vhds) версии 3
для гостевой оффтопик-системы с NTFS внутри vhd.
.
вижу два слабых звена XFS и NFS,
фрагментация XFS:
actual 2571, ideal 2513, fragmentation factor 2.26%
есть способы ускорить?

подписался, будет смешно.

sdio ★★★★★ ()
Ответ на: комментарий от sdio

Это врядли. Редкий человек смеется над техническими вопросами. Понимание ситуации есть? Опыт?

vugluscr ()
Ответ на: комментарий от vugluscr

Да ладно. Вопросы школоло по си вначале кажутся смешными.

nanoolinux ★★★★ ()

А вот и первый толковый ответ!

Очко засчитывается гуглу и буржуям:
http://www.gossamer-threads.com/lists/xen/users/289442
суть темы в том, что XCP монтирует nfs-шару с опцией «soft», в то время как мне вообще не надо nfs как тормоз для передачи данных на ту же самую машину.
И появилась идея сделать линк на папку с vhd-файлами в каталоге
/var/run/sr-mount/
но будет ли платформа корректно работать с этим хранилищем, если не давать ей команд «sr-detach, sr-forget» и прочих destroy

vugluscr ()
Ответ на: А вот и первый толковый ответ! от vugluscr

Понимание ситуации есть? Опыт?

Опыт и суть не помогут, ибо, вопрос задан в жутко некорректной форме...

Скажем так, из первого поста невозможно догадаться о чём речь. То ли в гостевую систему копируют VHD-файл, то ли гостевая система живёт в этом VHD, внутри которой ntfs... О том, что речь идёт о XEN, всплывает несколькими постами ниже. И это (127.0.0.1:/vhds) в этом каталоге лежит сам файл, или там видны его внутренности...

В общем, тут нужен специалист не по виртуализации, а по libastral.

Jurik_Phys ★★★★★ ()
Ответ на: комментарий от vugluscr

Редкий человек смеется над техническими вопросами

У тебя разве технический вопрос? Если ты думаешь, что "да", то это не так.

sdio ★★★★★ ()
Последнее исправление: sdio (всего исправлений: 1)
Ответ на: комментарий от Jurik_Phys

Извините, что ж ... Буду конкретизировать по ходу пьесы: Итак: есть XCP 1.6 платформа виртуализации на базе гипервизора Xen 4.1,
она установлена на soft RAID 1 (пакет с mdadm),
к корневой системе подмонтирован XFS раздел,
данные этого раздела расшарены в сеть при помощи NFS v3,
на этой NFS шаре в XCP создано SR типа NFS,
этот SR содержит VDI гостевой оффтопик-системы,
который представлен в виде VHD файла с NTFS на разделах,
эта система тормозит на уровне операций с диском.
Я просто описал снизу вверх тот слоеный пирог из программного обеспечения, через который проходят данные на самый низ, конкретно на винты.
cat /dev/null > libastral; E?

vugluscr ()
Ответ на: комментарий от vugluscr

к корневой системе подмонтирован XFS раздел, данные этого раздела расшарены в сеть при помощи NFS v3,

Грубо говоря, есть /mnt/xfs/, содержимое которого светится в сеть через NFS

на этой NFS шаре в XCP создано SR типа NFS, этот SR содержит VDI гостевой оффтопик-системы,

Зачем ещё один слой NFS? Почему бы не положить VHD-файл c виндовс в /mnt/xfs/windows.vhd? Как минимум двойное использование NFS не ускорит дисковые операции.

Конечно, я после определённого гугления для домашнего хостинга выбрал kvm, но сдаётся мне что здесь присутствуют пробелы в азах работы Xen.

Протестируй скорость сети iperf'ом.

Jurik_Phys ★★★★★ ()
Ответ на: комментарий от Jurik_Phys

Jurik_Phys

двойное использование NFS

не не не ...
SR типа NFS потому, что шара NFS, а ещё потому, что только такая организация хранилища позволяет обращаться к vhd файлу напрямую, копировать, клонировать, планировать размещение.
Слой NFS один, но и он лишний и вот чтобы его убрать нужно будет изменить скрипты Storage manager-а и покинуть mainstream XCP.

Jurik_Phys

пробелы в азах работы Xen

они несомненно есть, но в данный момент я использую XCP как обычный пользователь и все эти пробелы закрыли архитектурой и кодом компетентные люди из Citrix-a, я на этот уровень не спускаюсь, разве лишь если чего подсмотреть на шине xenstore.

vugluscr ()
Ответ на: комментарий от vugluscr

NFS тормоз. А тут ещё, если я не ошибаюсь, NFS сервер и NFS клиент на одном хосте. Разве операции с VDI на XCP нельзя производить с помощью SSH?

anonymous ()
Ответ на: комментарий от anonymous

Когда мне из dom0 нужны данные с vdi, я подключаюсь по ssh, монтирую vhd и получаю все файлы. Но XCP умеет строго определенный набор способов доступа к vdi:

  • LVM Local Storage: каждый LVM том это vhd или avhd, мне из dom0 неудобно всякий раз активировать соответствующий том и искать кто его родил и поднимать всю цепочку.
  • sw iSCSI
  • hw HBA
  • StorageLink (тоже сети тоже протоколы FC, iSCSI, NAS, SAN ...)
    и, наконец,
  • NFS

А тут ещё, если я не ошибаюсь, NFS сервер и NFS клиент на одном хосте

Да. И NFS, таки, задваивается, но это нагрузка на проц, передачи по линку нет и мне казалось, что на скорость это повлияет положительно ...

vugluscr ()

Гипервизор какой?

остевой оффтопик-системы с NTFS внутри

В оффтопик надо поставить дрова для ровного IO.

King_Carlo ★★★★★ ()
Ответ на: комментарий от King_Carlo

на базе гипервизора Xen 4.1 стоят паравиртуальные драйвера от Citrix-a для vbd-ов и vif-ов

vugluscr ()
Ответ на: комментарий от vugluscr

скорее всего NFS твоя проблема, ибо не предназначено оно для этого. Хочешь юзать диски через ethernet используй iscsi. Про XFS забудь, она точно не причём, ибо самая быстрая классическая ФС.

King_Carlo ★★★★★ ()
Последнее исправление: King_Carlo (всего исправлений: 2)

перенес образ диска на sr с типом хранения LVM VHD

Скорость копирования увеличилась до 20МБайт в секунду. По сравнению с компьютером, которому я готовлю замену это все-равно мало. Сейчас мой комп, которому 10 лет покащывает в копировании скорость 30МБайт в секунду на той же самой задаче.

vugluscr ()

создал file-XFS хранилище образов VM

в результате замера скорости получилось 15 МБ/с, то есть слой кода относящийся к XFS также тормозит систему, но не фатально, как NFS. А специалисты из Citrix-a не напрасно отказались использовать файловую систему как таковую вообще для организации хранилища на LVM.

vugluscr ()
Ответ на: создал file-XFS хранилище образов VM от vugluscr

Специалистов цитрикса понять можно они, цитрикс продают, а вот зачем он потребителю никак не пойму, особенно когда есть нормальный kvm.

handbrake ★★★ ()
Ответ на: создал file-XFS хранилище образов VM от vugluscr

xen и сотовый рейд?радуйся, что у тебя хотя бы 10 есть, xen жуткий тормоз на дисковую систему, виртуалбокс даже лучше работает с дисковыми массивами, а ты ещё и софтовый рейд используешь. Ставь vmware exsi, я на xen уже оставил только мелкие сервера для тестов.

erzent ☆☆ ()
Ответ на: комментарий от handbrake

когда твой kvm хотя бы hyper-v догонит, будет разговор, xen и kvm тормоза, и с ними жутко проседает дисковая подсистема.

erzent ☆☆ ()
Ответ на: комментарий от erzent

когда твой kvm хотя бы hyper-v догонит, будет разговор, xen и kvm тормоза, и с ними жутко проседает дисковая подсистема.

В мозгу у тебя проседает дисковая подсистема.

http://www.opennet.ru/opennews/art.shtml?num=34874

Участвующая в тестировании конфигурация смогла обеспечить производительность хранилища и подсистемы ввода/вывода, достаточную для обработки в четырёх запущенных гостевых системах более 1.4 млн случайных запросов ввода/вывода в секунду (для vSphere 5.0 был достигнут (http://www.vmware.com/resources/techresources/10211) показатель в 1 млн IOPS). Подобный результат позволяет утверждать, что системы виртулизации на освнове KVM позволяют достигнуть уровня производительности для гостевых систем, сопоставимого с отдельными высокопроизводительными аппаратными серверами.

Ivan_qrt ★★★★★ ()
Ответ на: комментарий от Ivan_qrt

если бы это было так, kvm давно бы уже стал платным и имел кучу продажников

erzent ☆☆ ()
Ответ на: комментарий от erzent

100 МБ/сек на десктопных хардах в qcow2 поверх ext4 поверх mdadm raid1, да kvm тормоз.
А блочные устройства в памяти ксен с гипервом умеют ?

handbrake ★★★ ()
Ответ на: комментарий от erzent

kvm - часть ядра линукса, он не может быть платным. Услуги по внедрению/поддержке - платные, по этой части можем и поговорить :)

handbrake ★★★ ()
Ответ на: комментарий от handbrake

rhel с тобой не согласны, а услуг по внедрению очень мало,в следствии плохой клиентоориентированности продукта, я на kvm делал виртуалки в 2007, но это слишком геморно, не окупается труд.

erzent ☆☆ ()
Ответ на: комментарий от erzent

если бы это было так, kvm давно бы уже стал платным и имел кучу продажников

Это так и есть. RHEV вполне окучивает энтерпрайзы. Цены, конечно, поменьше, чем у vmware, но это не из-за гипервизора. Для тех, кто любит по дешевле есть proxmox ve.

Хотя кому я объясняю, ты же разницу в скорости дисковой подсистемы вывел из наличия продажников и бесплатности. А замеры производительности благополучно проигнорировал.

Ivan_qrt ★★★★★ ()
Ответ на: комментарий от Ivan_qrt

я про kvm давно не читал, в 2007 он был тормоз, а xen до сих пор глушит дисковую подсистему.

erzent ☆☆ ()
Ответ на: комментарий от erzent

я на kvm делал виртуалки в 2007, но это слишком геморно, не окупается труд.

Ты настолько тупой, что esxi и hyper-v с qemu-kvm сравниваешь?

Или тебе геморойно виртуалки proxmox'ом или ovirt'ом делать?

Ivan_qrt ★★★★★ ()
Ответ на: комментарий от erzent

я про kvm давно не читал, в 2007 он был тормоз, а xen до сих пор глушит дисковую подсистему.

Ты технологию не видел 7 лет. Тебе дали ссылку на то, что kvm быстрее vmware. Зачем ты пытался что-то доказать?

Ivan_qrt ★★★★★ ()
Ответ на: комментарий от Ivan_qrt

я делал виртуалки из консоли когда то, поэтому и такое впечатление.

erzent ☆☆ ()
Ответ на: комментарий от erzent

я делал виртуалки из консоли когда то, поэтому и такое впечатление.

Ну клёво. С таким же успехом попробовал бы делать все операции с виртуалками в Hyper-V из PowerShell-а - тоже бы офигел.

Может не стоит сравнивать тёплое с мягким? Если уж сравнивать тогда GUI-GUI, то есть тот же комплекс Hyper-V с Libvirt/Ganeti/oVirt/Proxmox/и т.д.

Pinkbyte ★★★★★ ()
Ответ на: комментарий от Pinkbyte

в 2007 году у kvm нормального гуя не было, и мне тут дали ссылки на ман по созданию виртуалки из консоли, ох было веселье на убунту 7.04.

erzent ☆☆ ()
Ответ на: комментарий от erzent

Оно и сейчас можно, но кроме линуксовой консоли еще есть virsh и он рулит, в т.ч. и ксеном. Ну и надо нормальный линукс ставить, а не убунту какую.

handbrake ★★★ ()
Ответ на: комментарий от erzent

В 2007 году KVM был в стадии активного развития, а пользоваться тогда надо было Xen-ом, благо GUI к нему был. И да, в прямых руках на Xen-е выжимается сколько нужно мегабайт I/O, лишь бы железо позволяло ;-)

С приходом VT-x я с Xen-а свалил - KVM проще и понятнее, а держать виртуалки на машинах без аппаратной виртуализации всё равно чревато тормозами, тот факт что qemu в non-KVM режиме тормозит больше здесь роли не играет.

Pinkbyte ★★★★★ ()
Ответ на: комментарий от handbrake

ну, я в 2006 году только увидел линукс первый раз, мне тогда 18 лет было. Я занимался установкой 2003 сервера и настройкой dhcp, за что в месяц получал 40 шт, смотрю падение з\п ужасающее произошло с тех пор, сейчас такая работа и 18 в месяц не стоит.

erzent ☆☆ ()
Ответ на: комментарий от Pinkbyte

ну ставить xen на домашний комп как то слишком. А вот сейчас вопрос гипервизора стоит остро, радует покупку vmware одобрили. Самая большая печаль у ксена, это 1 нормальный гуй, ксен центр, но под вайн тупит зараза.

erzent ☆☆ ()
Последнее исправление: erzent (всего исправлений: 1)
Ответ на: комментарий от vugluscr

над техническими вопросами.

XFS

сам состряпал этот слоёный пирог, теперь всем смешно будет. А была бы там ZFS вместо файловой системы, и в цирк ходить бы не надо было.

anonymous ()
Ответ на: комментарий от handbrake

handbrake:

100 МБ/сек на десктопных хардах в qcow2 поверх ext4 поверх mdadm raid1, да kvm тормоз.

Это 100 МБ/сек внутри виндовой виртуалки в КВМ?

А блочные устройства в памяти ксен с гипервом умеют ?

Можно подробнее?
Я пытался сделать блочное устройство в RAM, использовал ramfs и внутри виртуалки для row образа на ramfs получил скорость в 90MB/s, но по какой-то причине пока не убедился в надежности использования ramfs. Бывает, что копирование зависает и тогда только hard-reset виртуалки поднимает её в работу.
Узким местом становится blktap2 драйвер, организующий доступ к образу виртуального диска из обычного процесса, который встает в общую очередь на выполнение и подвержен всевозможным балансировкам. Какой аналог в KVM?
Все же для того, чтобы настроить виртуальную среду приходится тратить на неё очень много времени и нет возможности перескакивать «на раз». Разве лишь менять винты в корзине...

vugluscr ()
Ответ на: комментарий от anonymous

сам состряпал этот слоёный пирог

а ты знал заранее, что для таких пирогов отсутствие всякой файловой системы лучше, чем любая файловая система. Я его стряпал по рецептам лучших поваров и с файлами в сотни Гигов лучше всех справляется именно XFS и именно из-за дефрагментатора. Я только NFS зря в него засунул, и именно NFS выдало столь дикий результат.
В HyperV образы лежат в NTFS, в KVM образы тоже не в воздухе висят.

vugluscr ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.