VMWare vs. KVM

Я уже второй раз за неделю вспоминаю эту цитату, просто праздник какой-то :-)

есть же glusterfs и даже zfs. На zfs миграция наверное будет выглядеть как zfs send/recieve

Интересно, что будет, если им показать proxmox? Впрочем, лично мне в proxmox увеличить размер диска у машины проще из консоли.

На zfs миграция наверное будет выглядеть как zfs send/recieve

ZFS не очень кластеризуется. От слова совсем.

То есть в пределах одной машины это зашибись ФС, а вот в качестве кластерной - увольте.

есть же glusterfs

Нет уж спасибо, что glusterfs, что drbd, что CLVM - этого я накушался по самую маковку, больше не тянет.

VMWare vs. KVM

а таргеты какие?

Хочу устроить натуральный срачь на заданную тему.

пока даже попыток не вижу

вот! уже годная попытка вброса!

что будет, если им показать proxmox

я думаю через час они скажут что проксмос г, ибо там половину вещей нужно делать из шела

бедные нищасные люди-дикари *пою*

VMWare vs. KVM (комментарий)

латентность падает

Женщины стали нравиться?

У меня несколько дц, число виртуалок исчисляется тысячами, гипервизоров сотни. Давай, расскажи мне про масштабы.

Хуже того - женился :-D

Я помогу.

Граждане линуксоиды, зачем вам эти устаревшие вмвари с кэвээмами, когда есть докер?

цоде будет хотя бы сотни две-три виртуалок

OpenStack! OpenStack!

Да да, тренинги и сертификация - это я всё причислил к деньги или почитать доку.

Например если тебе надо 100 погонщиков облаков - ты просто пишешь в вакансию сертифиед тот то тот то, дофига бабла. И не тратишь слушком уж много ресурсов на собеседования.

Граждане линуксоиды, зачем вам эти устаревшие вмвари с кэвээмами, когда есть LXC?

FFTGJ

Мне кажется, он про это и говорит. Когда у тебя десяток виртуалок — нюансов не видно, хоть на виртуалбоксе делай. А когда сотни и тысячи, появляется почва для предметного разговора.

Почва для предметного разговора - это когда у тебя в latency critical сетевом кластеризируемом приложении на KVM латентность ниже в 10-15 раз (это про доли миллисекунд, если что). Тут-то и начинаешь понимать, какая бездна говна и палок в этом вашем VMware.

VirtualBox, сколько я ни пробовал, постоянно кривой

Два чая товарищу. Для продакшена они не готовы, ни VirtualBox, ни KVM. В VMWare всё работает и не глючит с полпинка.

Для продакшена они не готовы, ни VirtualBox, ни KVM
ни KVM

Совсем поехал чердаком? Во-первых, сравнить kvm-qemu и virtualbox может только индийский слон в подпитии, во-вторых, писать ЗДЕСЬ, что kvm-qemu не готов к продакшну, это повод для самозабана. Прощай.

LXC — это неудачная попытка сделать из божественного контейнера плохую виртуальную машину.

У меня порядка 10ти Прокмоксов в кластере. Нареканий нет. Все думаю написать большую статью о том «как надо».

Таких проектов не очень много (где десятки микросекунд лэйтенси считают), плюс есть вероятность что просто железо как-то недопрокинуто было в тесте, вы с этими замерами в саппорт ходили? А чего они вам там сказали?

это повод для самозабана

Ты откуда вы*рался? Фрактал так же реагировал. Закончил нервным срывом. По делу ничего нет - самозабанься. Я, для тестирования своего теста по локальной сети через samba легко всё настроил в VMWare Player. Хотел повторить в VirtualBox и KVM - не получилось...
Или программы пишут для программистов, не для домохозяек? А, ну тогда ОК - иди настраивай свой конструктор...

Твоя некомпетентность, не моя проблема.

Твоя некомпетентность, не моя проблема.

Ты накинулся на меня, хотя я процитировал первого оратора. У него тоже VB кривой. Прослеживается личная неприязнь, возможно связанная с вашей некомпетенцией...

личная неприязнь

У меня личная неприязнь ко всем кто несёт чушь.

...ко всем кто несёт чушь

Яснопонятно, не отмазался. Первого оратора ты успешно пропустил...

Хорошо, первого оратора туда же.

KVM — сама по себе просто исполнялка кода в режиме гипервизора, к ней нужно много юзерспейсного обвяза.

Далее в дело включается qemu-kvm. Qemu — универсальный эмулятор различных компьютеров, реализующий эмуляцию кучи разного железа. Только из-за своей универсальности у него стопицот тыщ мильёнов опций, в которых приходится разбираться. А потом в следующей версии они поменяют какой-нибудь дефолт, и если не всё задано явно, то какой-нибудь хитрый corner case может и сломается.

Ладно, не хотим вручную пускать qemu через /etc/rc.local systemd, давайте обратим наш взор на libvirt.

libvirt — штука опять же универсальная, поддерживает qemu-kvm и… что-то там ещё, чем никто уже давно не пользуется. Но благодаря этой универсальности, в xml-ных простынках libvirt разобраться с наскока трудно даже если до этого уже разобрался с опциями qemu напрямую.

Ладно, не хотим напрямую редактировать xml, что там у нас есть для управления? virsh — ещё один инопланетный синтаксис к изучению помимо уже изученных опций в xml и ключей запуска qemu. Ах да, забыл, помимо ключей запуска, в qemu ещё надо изучить команды монитора, для взаимодействия с уже запущенной виртуалкой. В чём-то эти команды похожи на ключи запуска, в чём-то нет.

virt-manager — о, уже почти готово к применению нормальными, свободными от задротства людьми. Кроме того факта, что этот гуй пускается только на линуксе, а на самой распространённой десктопной ОС либо vnc, либо проброс иксов, либо ещё какое-нибудь подобное решение страшное как моя жизнь. Виндузятники должны страдать, да, но это всё равно что-то такое себе. Ну ладно, может сойдёт как идеологически правильная замена virtualbox для десктопной виртуализации.

Наконец подходим к proxmox. Вебгуй, вполне адекватный, сам использую, доволен, рекомендую. Только вот денег требует. Ну как требует, не то что бы прямо требует, но говорит что не подписаны на подписку. Можно убрать месседжбокс с требованиями, благо AGPL разрешает лазить в код.

А VMWare ESXI после того как фришный ключ вбил никаких подписок не требует. Бесплатный ключ правда только на 32 ядра (или там было 16? Не помню уже) в машине, раньше хватало, а сейчас уже не очень. Да и вебгуй там покорявее чем в проксмоксе.

Вот он показатель спада популярности виртуализации. 10 лет назад этот комментарий пришёлся бы на 15ую страницу.

Лол, это показатель унылости наброса, и этот твой комментарий вполне себе в струе.

приходи дискутировать на тему vmware vs kvm, когда у тебя в цоде будет хотя бы сотни две-три виртуалок (про пять, семь, а то и тысячу не говорю даже) и ты будешь радостно это манагать и бэкапить.

Всего-то? Две сотни пятикопеечных виртуалок работает на одном гипервизоре =)

при этом я не отрицаю, что vmware совсем зажрались с ценовой политикой. как, в прочем, и остальной жирный энтерпрайз.

Бывают и приятные исключения, когда знаешь, что покупать. Обычно, такое случается, если компания пытается залезть в несвойственный ей сегмент, и отчаянно демпингует. Например, EMC одно время продавала потомка VNX в простенькой конфигурации и с минимальной маржей, но железо было топового американского качества, софтовый движок всё тот же энтерпрайзный и сопутствующие 5-6 девяток. А если знать как, то ещё и отключенные фичи легко включались обратно. Я даже думал такое себе прикупить домой.

Мы в EMC строили продукт на базе вмвари, потому что вмварь типа принадлежала нам. Но принадлежала как-то странно.

Во-первых, ЕМС должна была покупать лицензию на каждую коробку по полной цене, увеличивая бюджет процентов так на 40, чисто на одну вмварь.

Во-вторых, вмвари показалось, что мы делаем продукт, конкурирующий с их vSAN (какой сюрприз: ЕМС тоже сторидж делает!), и они отказались нам даже продать SDK. Сторонним компаниям-конкурентам - да без проблем, продавали. Решать вопрос пришлось на самом высоком уровне.

В-третьих, специалистов по вмвари нет. Есть шаманы, полуосознанно долбящие в бубен при типовых косяках вмвари, но мы-то пытались нестандартно использовать, и свой код писать. И когда вмварь сыпалась, то понять, что ей надо, никто не умел. Даже гугль по сигнатурам ничего не находил, т.к. вмварь по сравнению с KVM никто не использует.

В-четвёртых, дорабатывать ядро гипервизора невозможно. Исходников нет, специалистов с опытом нет. Ни за какие деньги.

Для коммерческого продукта, который не просто на PHP веб-морду строит поверх libvirt, а готов сам влезть в код, KVM гораздо предпочтительней. Исходники есть, разработчиков - пруд-пруди, только пачкой баксов помаши и пообещай интересный проект.

Для меня лично самая жопа вмвари в том, что когда она не работает, то это жуткая потеря времени на выяснение чего ей надо. С KVM просто stap/ebpf запустил, в исходники глянул, и всё понятно.

Таких проектов не очень много

Ну там где не нужны микросекунды - у KVM банально выше throughput сети и стораджа. Местами, опять же, в разы - особенно на высоком pps rate.

есть вероятность что просто железо как-то недопрокинуто было в тесте

Такой вероятности нет. Более того, KVM даже на более слабом железе (DL360 Gen8 vs DL360 Gen9) показал себя значительно быстрее VMware. Так же в разы.

вы с этими замерами в саппорт ходили?

Саппорт VMware несколько тобой переоценен :) Как, впрочем, и саппорт HPE, который сводится в основном к преотличнейшему времени реакции при замене железа, в отличие от того же Dell’а, например.

Наброс унылый потому что всем пох, в отличии от доклаудных и доконтейнерных времён. То что автор мало что понимает в теме отношения к этому факту не имеет

KVM выжимает больше попугаев последние 10 лет без изменений. Но дело не только в попугая или даже в том которая технология лучше. Грамотное сравнение требует сравнения одинаковых решений. Хост с голым kvm сравнивать с кластером висферы идиотизм.

Кто-то сказал «вброс»? Их есть у меня!

VMWare

Пропиетарщина, ещё и кучу денег стоит. Абсолютно непонятно, что внутри, может, они китайской партии сливают данные, а потом та заставляет своих ручных «какиров» спам рассылать да пароли из «виртуалок» воровать. И фиг бы с ценой, это простительно продукту для «серьёзного бизнеса», но закрытость я простить не могу.

А вот KVM-based, в частности, полностью открытый QEMU, для личного пользования вообще шикарен. В нём можно совершить любое действие, нужное доморощенному «одмину»: проброс видеокарты – легко; прикрутить Ceph – да запросто; миграция в одну команду – к вашим услугам! А все эти крики о сложности исходят от дураков. Жить захочешь – и не так раскорячишься.

выдохнул

Чем пользуетесь сейчас? CEPH?

НЕ ПРИНЯТЫ.

Неосведомленность автора притупляет интерес опосредованно, через крайне ниочемный вопрос.

А вот KVM-based, в частности, полностью открытый QEMU, для личного пользования вообще шикарен. В нём можно совершить любое действие, нужное доморощенному «одмину»: проброс видеокарты – легко; прикрутить Ceph – да запросто; миграция в одну команду – к вашим услугам! А все эти крики о сложности исходят от дураков. Жить захочешь – и не так раскорячишься.

Угу. Еще б не приходилось выбирать между live snapshots и qcow2 backing files…

А зачем выбирать?

Расскажем амазону, гуглю, и провайдерам облаков поменьше, авось послушают специалиста с лора. А то оказывается софт которому 14 лет, из которых он все 14 был частью ядра - не готов

не готов

Или программы пишут для программистов, не для домохозяек? А, ну тогда ОК - иди настраивай свой конструктор...

Я уже ответил

А вместе они не работают. Приходится юзать FS с CoW чтобы хоть как-нибудь место экономить, очень неудобно.

Я сравниваю несколько кластеров vSphere с несколькими кластерами «голых хостов» KVM с кастомной автоматизацией на базе libvirt и Jenkins. Вот что интересно было бы сравнить, так это vSphere с oVirt

На KVM-кластере - да, ceph. На VMWare - VMFS

Как в докере дела с виртуализацией ОС с ядром, отличной от той, на котором он запущен? :-)

То есть, перефразирую, что делать если нужно запускать как онтопик, так и оффтопик?