Создание кластера proxmox

Прочитал в интернете, что с vmware на proxmox можно конвертировать ВМ. Если у кого-то есть опыт, то просьба подсказать насколько это верно и есть ли подводные камни? Стабильно ли работают ВМ после переноса?

С линуксами или с виндами? С линуксами проблем нет, KVM для ядра Linux — родная среда.

Можно ли сначала поднять ВМ на одной ноде proxmox, а потом создать кластер из 3-х нод, включая ту, что уже с ВМ? Не повредит ли это уже созданные ВМ?

Да, можно.

Нет, не повредит.

Есть ли еще какие-либо варианты для хранения дисков ВМ в кластере proxmox?

Вы бы начали с чего-нибудь, у вас ни нагрузки не понятно, ни ОС, ни задач. Одно дело, у вас там терабайтный постгрес гонять, совсем другой — сборку софта.

В любом случае, даже если мы тут посоветуем что-либо, тебе надо на тестовой нагрузке проверять. Ну а раз так, то начни проверять вот прямо сейчас.

терабайтный постгрес гонять

На виртуалках?

1. Был опыт. Так же переезжали. Проблем не испытывали. Кажется на wiki proxmox был туториал. Вмваре подключается как датастор. И машины оттуда импортируются. Но после нужно внимательно просмотреть настройки. Все что с сетью связано точно не переносил, все руками выставлялось. Так же какие то настройки по железу он не переносил.

2.при конвертации машины в 1ю ноду кластера на ней все вм останутся. НО на всех нодах что ты будешь добавлять в кластер все вм будут удаляться. Мы переносили по очереди. Купили сервер 0, на него проксмокс. Ипортнули с сервера вмваре 1 все ВМ. Установили на сервер 1 прокспокс, добавили его в кластер. Повторил операцию с серверами 2 и 3.

3. ceph не использовали. У нас не было нужды в ХА. Как я понял для ceph можно и в одной сети все гонять. Но будет медленно. Рекомендуют как я понял 3. 1 - данные вм от 10гб. 2 - общение нод между собой хватит и 1гб. 3 сеть для обмена данными между нодами ceph. Но рекомендации что я читал говорили что лучше начинать с не менее 5 нод. А у нас максимум 4 было. Да и не было нужды в ceph, так что отказались от идеи. И все описанное выше не из практики.

В любом случае, даже если мы тут посоветуем что-либо, тебе надо на тестовой нагрузке проверять. Ну а раз так, то начни проверять вот прямо сейчас.

Тем более что судя по описанию сервак уже есть. Импортируй ВМ с вмваре да тестирую. Потому что всегда есть шанс что что то пойдёт не по плану. У нас была вм на 2003 сервере.

3. Можно не использовать централизованное хранение и хранить виртуалки прямо на нодах. Проксмокс достаточно гибок в части хранения.

1. С Linux, как уже сказали проблем не будет, с Windows в целом тоже. Возможно, нужно будет установить драйверы под соответствующий контроллер дисков в Windows и добавить драйвер в загрузку. Установочный диск Windows и редактор реестра в помощь.

2. Можно.

3. Как уже сказали - всё зависит от вашей нагрузки и особенностей использования. В идеале, конечно, под хранилище нужны отдельные сетевые интерфейсы и желательно два. Но в целом можно поднять отдельную сеть, в идеале в отдельном VLAN и на bonding из двух имеющихся интерфейсов. Через них же будет работать и основная сеть для виртуальных машин. 10 Гбит в целом думаю будет достаточно, но всё зависит от твоих потребностей.

Если делать по уму:

• bonding из двух интерфейсов для сети ВМ
• bonding из двух отдельных интерфейсов для CEPH
• и там и там отдельная адресация и отдельный VLAN при подключении к сетевому оборудованию.
• Итого 4 сетевых интерфейса на каждом узле.

Если делать на том, что есть:

• bonding из двух 10 Гбит интерфейсов
• отдельный VLAN для сети ВМ и отдельная сеть / сети
• отдельный VLAN для CEPH и отдельная сеть
• итого достаточно того, что есть.

Возможен и вариант, где нет отдельных VLAN для сети ВМ и CEPH, CEPH работает в том же адресном пространстве, что и сеть ВМ / IP адреса узлов. В идеале, конечно даже в случае одного VLAN:

• один диапазон (подсеть) для IP адресов узлов
• один диапазон (подсеть) для IP CEPH
• всё остальное - диапазон (подсеть) для ВМ.

Допустим:

• A.A.A.0/29 - подсеть узлов кластера
• A.A.A.8/29 - подсеть для CEPH кластера
• A.A.A.16-254 - диапазон для ВМ.

Если нужны отдельные сети и прочее - тут уже твой выбор.

В моей практике кластер Proxmox с 10 нодами и примерно 400 ВМ работает на 10 Гбит интерфейсах. На каждом узле:

• 2 x 10 Гбит в bonding для узлов в отдельном VLAN + 5 VLAN под отдельные сти
• 2 x 10 Гбит в bonding для CEPH.
• 1 x 1 Гбит - IPMI интерфейс

Но тебе нужно учесть, что если твоё хранилище построено на HDD, то в случае CEPH лучше выделить отдельный SSD диск для размещения метаданных CEPH, иначе будет просадка по IOPS.

В случае CEPH на SSD лучше тоже выделить отдельный диск.

И в случае SSD, что для хранилища, что для метаданных это должны быть SAS / NVME SSD диски Enterprise уровня.

Условно, если у тебя там WD Blue / WD Green / WD Red с SATA интерфейсом - всё будет не очень быстро работать. Очередь команд в случае SATA интерфейса небольшая и 100% будет просадка по IOPS.

Но это всё зависит от того, что ты запускаешь.

ОЗУ под CEPH - может потребоваться много, под кэш операций ввода / вывода, чтобы этого избежать - Enterprise SSD и отдельные SSD диски под метаданные CEPH.

Если CEPH будет собираться из HDD и тем более обычные SATA - 100% нужные отдельные SSD диски под метаданные CEPH. Иначе всё будет ползать.

Прочитал, что возможно может подойти drbd+clvm. Просьба подсказать можно ли использовать drbd+clvm для хранения ВМ в кластере Proxmox?

Без понятия, использую CEPH. Смотри документацию на сайте Proxmox.

Есть ли еще какие-либо варианты для хранения дисков ВМ в кластере proxmox?

Купи дисковую полку, подключи по iscsi на все узлы кластера, хранилище будет на ней.

Да.

Установочный диск Windows и редактор реестра в помощь.

Не обязательно. Есть древний лайфхак. Нужно установить дискам тип ИДЕ. Для того чтобы система смогла загрузиться. На живой системе подключается диск виртио любого размера и установить драйвера. Чтобы диск увиделся в системе. После чего можно выключить ВМ и поменять тип дисков на виртио. И удалять диск который подключали в предыдущем пункте.

Работает на версиях винды от 7 и выше.

Есть древний лайфхак. Нужно установить дискам тип ИДЕ

Можно.

Нужно установить дискам тип ИДЕ. Для того чтобы система смогла загрузиться. На живой системе подключается диск виртио любого размера и установить драйвера. Чтобы диск увиделся в системе.

А тут что-то странное написано.

По факту в ВМ на vmware нужно добавить ещё один диск и поставить тип дискового контроллера, например IDE и загрузиться с этим диском. Тогда Windows в ВМ добавит драйвер в загрузку.

Не понятно причём здесь «живая система» и прочее.

После этого ВМ выключается, диск IDE можно оставить или удалить.

Это уже после переезда на проксмокс.Если перед переездом не были установлены драйвера виртио. Тогда для того чтоб винда грузилась в проксмоксе нудно поставить контроллер иде. Но оставлять на нем не эффективно. Виртио намного быстрее.

А зачем живая система? По факту после добавления IDE диска и выключения ВМ.

Она переносится в Proxmox. Системный диск подключается к IDE контроллеру в Proxmox, добавляется небольшой диск, подключенный к контроллеру Virtio, далее система загружается.

Подключается ISO с драйверами Virtio, они ставятся, Windows видит диск на контроллере Virtio, добавляет драйвер в загрузку.

ВМ выключается, системный диск с контроллера IDE подключается на Virtion, небольшой диск на Virtio удаляется.

Зачем живая система?

Достать Linux из виртуалки, запихать винду в виртуалку и пробросить ей всё (комментарий)

Живая или установочная система нужна только, если ты собрался делать что-то такое: https://hull.au/blog/install-virtio-drivers-from-windows-recovery/

И тут драйверы, вроде бы не совсем правильно указаны.

Это какое то недопонимание. Про загрузочный диск говорил ты в сообщении на которое я отвечал. Под живой системой я подразумевал ту систему которую переносят. Живая в значении рабочая, имеющая возможность запуститься и работать. И операции выполнять из под нее.

Есть понятие LiveCD / LiveDVD / LiveUSB, оно больше относится к Linux, например Knoppix, Puppy Linux, Slax, это Live(CD/USB) системы, т.е. «живые» системы, запускающиеся с флешки, например.

Относительно Windows - аналогом LiveCD будет WinPE.

Вот и непонятно, что ты подразумеваешь под термином «живая» система, говоря о Windows.

Не используй термин, когда говоришь о исходной виртуальной машине.

понятие LiveCD

Вот его и используй. Зачем ты переводить то начал? Сам запутался и других начал путать.

А живая значит не мертвая.

Не используй терми

Используй устоявшиеся названия. А не их непринятые переводы.

Во-первых, это ты какую-то чушь придумал с термином «живая система» в качестве исходной ВМ.

А LiveUSB / LiveCD и есть живая система на USB / CD.

В общем, конечно, разобрались. Но я тебе всё же советую не употребляй термин «живая» относительно исходной ВМ.

А то тут вообще можно подумать про систему, которая стояла на реальном железе, а не виртуалку.

Но я тебе всё же советую не употребляй термин «живая» относительно исходной ВМ.

Спасибо, но я разберусь без таких глупых советов.

А LiveUSB / LiveCD и есть живая система на USB / CD.

Советую перестать придумывать нелепые переводы для устоявшихся терминов.

Во-первых, это ты какую-то чушь придумал

Чушь пишешь ты, уже какое сообщение подряд только для того чтобы скрыть свою ошибку.

Разбирайся, сколько влезет. Моё мнение относительно некорректности использования термина «живая система» для ВМ не изменится.

Главное, чтобы у тебя не было недопонимания когда будешь использовать данный термин при разговоре с другими людьми.

Удачи. Лично я тебя тебя не понимаю. Мои коллеги, если бы ты им так же написал «живая система» тоже подумали бы про LiveCD / LiveUSB, а не про ВМ.

Удачи.

Всем добрый день. Ого… Не ожидал, что кто либо выделит время и так быстро откликнется, да еще в таких подробностях все распишет. Спасибо всем огромное. Буду пробовать.

Моё мнение

Мне не интересно, как и твои оправдания.

А мне твои. Твоё мнение неправильное. Жду извинений.

UPD: Хотя нет, мне всё равно. И живи теперь с этим.

Все верно. Только я не понял зачем вот эти пляски с «подключается диск виртио любого размера» и «удалять диск который подключали в предыдущем пункте» ?

Да хватит вам хэйтить, чесс слово. Я вот тоже понял так как написал Behem0th «На живой системе подключается диск» т.е. система которая в данный момент работает. Всю жизнь под живой системой подразумевали рабочую систему, а не бутовые Live*.
А про бутовые так и пишут «загрузись с образа».

Судя по вашей реакции в виде эмодзи вот вам прям с ЛОРа первое попавшееся Изменить размер /home.

Можно просто поставить драйвера и сменить тип диска на выключенной вм. Но были случаи когда так не срабатывало и винда не хотела грузиться. И в попытках заставить работать родился такой вариант. Он не на много сложнее. Но срабатывал в 100% случаев. Так что теперь всегда так делаю.

Да я-то вас прекрасно понял. Благо тоже такое проходил.