LINUX.ORG.RU

Proxmox на десктопе

 , ,


5

4

На скриншоте самый обычный проксмокс в кластере с двумя узлами, который развернут у меня дома. KDE установлен на этот же proxmox, в нем запущен firefox, а в firefox открыта веб-морда proxmox. Такая вот рекурсия.

Предыстория

Не так давно собрал себе бюджетный сервер на Xeon e5 2660v2 под хранилище виртуалок и контейнеров. К сожалению, так как потребности в вычислительных мощностях серьезно выросли за последний год, обходится парочкой Odroid-X2, как в старые добрые времена уже не могу, да и старенький HTPC на хасвелле с пассивным охлаждением с нагрузкой не всегда справляется, особенно летом.

Изначально думал собирать на TR4 1950x, но проконсультировавшись с жабой решил собрать бюджетную конфигурацию на LGA2011 и дополнить ее AMD RX580 в виде видео.

На сервере раскатал proxmox, куда мигрировал все свои виртуалки, и который мне пришелся очень по нраву. Для стима развернул виндовую виртуалку, куда пробросил физическую видеокарту.

Встал вопрос обслуживания, так как в отличие от пассивного охлаждения этого монстра надо чистить регулярно, а глушить виртуалки не всегда удобно. Именно поэтому я раскатал на десктопе еще один proxmox и объединил с основным в кластер. Графический интерфейс накатил без всяких контейнеров и виртуалок на proxmox. Все равно под капотом это привычный и любимый мною debian.

Такая конфигурация позволяет мне временно мигрировать виртуалки на десктоп без остановки системы, чтобы почистить сервер от пыли.

Конфигурация десктопа:

  • i7-4560U
  • 16 GB RAM
  • 128GB + 256GB + 256GB SSD

Конфигурация сервера:

  • Материнка X79 PlexHD ~100$
  • Xeon e5 2660v2 ~100$
  • 64GB DDR3 ECC RAM 1866 ~200$
  • 2U корпус от Etegra (подарили, 1U БП с резервированием, бэкплейн и прочее пришлось выкинуть, а сам корпус доработать напильником и 3д-принтером.)
  • 2U тихий блок питания 500W (~6.5к рублей)
  • 16Gb Optane M.2 (~2.8k рублей)

Жесткие диски переместил из NAS’а и старых компов, докупать пришлось только оптанчик.

Хотя по количеству вышел (имхо) небольшой перебор:

1x1 Tb SSD для системы 2x6 Tb зеркальный рейд для данных 2х1 Tb полосатый рейд с bcache на оптане - площадка для сборки разного софта. Только при сборке на нем проектов типа OpenWRT/linux, удается выгрузить все ядра на 100%. Без кеша на оптане все упирается в I/O и больше 30-40% загрузить не выходит.

Также в новости про Stadia интересовались задержками при стриминге через steam. Собственно, дублирую замеры сюда:

На тесте было тупо главное меню subnautica:

  1. Софтварный энкод в 6 тредов + софтовый же декод на хасвелле: 59fps@1920x1080 задержка видео 33 мс.

  2. Софтварный энкод в 6 тредов + декодирование через QSV - 22 мс, те же 59 fps.

  3. Аппаратный AMF энкод + декодирование через QSV - 29(!) мс.

Соединение - гигабитный линк по меди через роутер.

По количеству потоков программного кодирования: 1 поток - неиграбельно 2 потока - 50 мс и 19 fps 3 потока - 30 fps, 35 ms лаг 4 потока - 30 fps, 30 ms лаг 6 потоков - 60 fps и 21 ms лаг

Вывод: программное кодирование в большое (6+) количество потоков даст лучше и по задержкам и по качеству, чем аппаратное.

В общем как-то так. Ядра выжираются почти полностью 67% от 10 ядер судя по веб-морде проксмокса. Дополнительная погрешность от VNC и самой субнаутики.

TODO:

  • Замеры энергопотребления
  • Прикрутить vagrant к контейнерам proxmox
  • Осилить chef
  • Мигрировать все веб-приложения из виртуалок в контейнеры, попутно переписав все развертывание на chef, вместо ручной настройки. Это должно сделать автообновления всего этого добра намного проще в теории. (Сейчас там все в основном на debian stable с автоапдейтами и большей частью живет на автопилоте не требуя вмешательства, кроме ритуального обновления iredmail)

>>> Просмотр (1920x1080, 238 Kb)

★★★★★

Проверено: Shaman007 ()

Конфигурация десктопа
U

Сразу фейл

TheAnonymous ★★★★★ ()
Ответ на: комментарий от TheAnonymous

Смысл того htpc, который я взял на десктоп - полностью пассивное охлаждение без единого вентилятора. Так что да, там U и даже нет дискретного видео.

ncrmnt ★★★★★ ()

Прикольно, но виртуалки при двухнодовой конфигурации на живую разве можно мигрировать? У меня было что, то похожее, но вторая нода была не десктопом, а хранилкой, на которой для удобства висели failoverы части сервисов.

По-поводу авторазвертывания: у меня все частично интерактивно - ansible, pxe/ftp. Устанавливается виртуалка с голой центосью и базовым набором софта с локального зеркала, потом уже через ansible доделываю всё остальное по заранее заготовленным плейбукам. Проблема только одна - корректно найти адрес новой виртуалки (не могу определиться тащить ли его через связку proxmox/qemu-ga или просто дергать лизы isc-dhcp).

Про chef и proxmox было бы очень интересно почитать(хотя я и не переношу lxc) , у тебя блога нету случайно?

whiteout ()
Последнее исправление: whiteout (всего исправлений: 2)
Ответ на: комментарий от whiteout

https://ncrmnt.org Но там про это я пока ничего не вбрасывал, сам разбираюсь.

Прикольно, но виртуалки при двухнодовой конфигурации на живую разве можно мигрировать?

Вроде как кнопка migrate появилась и заработала, что меня несказанно обрадовало. Пока виртуалки монтируют часть стореджа по NFS, потому проверить миграцию на чем-то боевом не удалось, но я планирую это исправить. Ну и надо будет проверить, работает ли миграция lxc.

ncrmnt ★★★★★ ()
Ответ на: комментарий от ncrmnt

У меня офигенно миграция работала, если на хранилке ZFS. Чего и тебе желаю :)

pztrn ★★★★ ()
Ответ на: комментарий от TheAnonymous

Сразу бред. Зачем человеку горячий и гудящий ящик, если у него есть отдельная машина для тяжелых задач?

aquadon ★★★★ ()
Ответ на: комментарий от aquadon

горячий и гудящий ящик

Десктоп и есть горячий и гудящий ящик, а там - недоноут или неттоп

TheAnonymous ★★★★★ ()

Накатывать иксы на Proxmox - весьма извращённо

tommytnt ()

Конфигурация десктопа:

i7-4560U

Ноутбучное железо же не?

pon4ik ★★★★★ ()
Ответ на: комментарий от pon4ik

Ага. Это HTPC в корпусе из куска алюминиевого профиля: Китайский Haswell HTPC Вот писал про него. Используется как десктоп. Выбирался из расчета на то, что в нем нет ни единой шумящей детали, т.к. стоит в спальне. Полностью пассивное охлаждение. Даже дроссели не пищат (по крайней мере я их не слышу).

ncrmnt ★★★★★ ()
Ответ на: комментарий от ncrmnt

Если конпилять на ssd - троттлит? Давно брал? Если не очень - то почём обошлось?

pon4ik ★★★★★ ()
Ответ на: комментарий от pon4ik

На десктопе уже давно не компилял ничего, троттлить начинает как только разогревается корпус, а это минут 30-40. Но и остывает потом прилично ;) Брал 4 года назад и тогда он обошелся в 400 с чем-то, вместе с 16GB RAM и 128GB SSD.

Для компиляйтунга у меня контейнер на основном серваке теперь.

ncrmnt ★★★★★ ()
Последнее исправление: ncrmnt (всего исправлений: 1)
Ответ на: комментарий от ncrmnt

Понятно, спасибо. Я почему спрашиваю - очень долго смотрел на китайские печки в качестве десктопа(2-3 года назад). Подкупало соотношение ценник/бесшумность. Ещё, как бонус - компактность.

Пришёл к выводу, что лучше взять десктопный проц и куллер с трубками. По компактности просёр, по ценнику так на так.

По бесшумности тут интересные моменты. Если брать не асусовскую мать - получаем возможность выставить обороты куллера в нуль до определённой температуры. Ну и получаем бесшумный в простое(у меня и за сборку моих прожектов не успевает куллерок включиться частенько) более мощный конфиг, с лучшими возможностями апгрейда. Ну а включение куллера это сигнал что где-то чем то не тем ты занялся, либо просто возможность нагрузить поделие полезной работой в ущерб комфорту.

Проверял и на 4ой серии core - история та же, годные трубки мощно решают, неразогнанные процы не требуют охлаждения 5-10 минут загрузки близкой к сотке.

pon4ik ★★★★★ ()

Прикольно, скриншот уже давно висит, а заметил только сейчас.

На тесте было тупо главное меню subnautica:

В связи с этим вопрос, не сталикивались ли с virtualGL? Если да как он по сравнению с стримингом через steam?

proxmox

Не сталикивались ли c тем что при перезапуске контейнера kworker отжирает 100% одного из CPU, и так до перезагрузки сервера?

einhander ★★★ ()
Ответ на: комментарий от einhander

Не, virtualgl не тыкал, да и с контейнерами такой проблемы тьфу тьфу не было

ncrmnt ★★★★★ ()

ну ты гигант мысли, отец русской демократии. столько технологий освоил. завидую молча. я так и не понял кто на ком стоял. какие ОС?

jura12 ()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)