LINUX.ORG.RU
ФорумAdmin

Вопросы по KVM.

 


2

6

Доброго времени суток.

У меня ситуация следующая, выпросил нормальный сервер под виртуалки, на котором:

  1. Ubuntu 14.04.2 + KVM на SD-картах (зеркало)
  2. 6 SAS 300Gb > RAID 6 > VG > KVM pool

Так как до этого с гипервизорами (XenServer) имел дело только через GUI на уровне пользователя (создание, удаление ВМ), то есть вопросы, на которые хочется, по-возможности, получить ответы, чтобы изначально настроить все правильно и потом не материть себя и не переделывать.

  1. Pool
    Есть ли принципиальная разница в том, как создать пул для KVM:
    1. в виде VG LVM (что сейчас и сделал)
    2. в виде каталога локальной ФС (на RAID-массиве создать раздел, форматировать и монтировать в /var/lib/libvirt/images/)
    Какие плюсы и минусы обоих подходов?
  2. Snapshots
    1. На XenServer часто пользуемся snapshot'ами: делаем снимок, вносим изменения, тестируем, если все нормально, то удаляем снимок и машина работает дальше (без остановки), если же нет, то откатываемся. Здесь же пока не могу понять как эти снимки работают и работают ли вообще аналогично XenServer'у?
    2. Где и как эти снимки хранятся? Как понимаю мне нужно создать отдельный LV в VG, отданной KVM, и монтировать его в /var/lib/libvirt/qemu (так как на система находится на SD-карте и ограничена как в размерах, так и в скорости). И кто может толково объяснить назначение каталогов dump, save, snapshot, я лишь понял, что в snapshot хранятся снимки, или я ошибаюсь?
  3. Host
    Кто может посоветовать как «разгрузить» SD-карты, на которых стоит Host-система? Чтобы они через полгода не подохли. Выносить /var/log на LV RAID-массива, монтировать все ФС с noatime, кто что скажет?
  4. Management
    Сейчас на своей рабочей машине (Xubuntu) поставил virt-manager 1.1.0, но думаю разбираться с oVirt. Слишком ли паршиво, если на первое время установлю oVirt в качестве гостевой системы на том же сервере?

P.S.
Насчет Убунты в качестве хост-системы. Так как пока более менее могу работать с ней, и сервер находится на тестировании, то выбрал ее, но понимаю, что придется переходить на CentOS 7, так как много софта для виртуализации и управления сервером (Dell) заточено под RedHat-like дистрибутивы.

Спасибо за помощь.

Кто может посоветовать как «разгрузить» SD-карты, на которых стоит Host-система? Чтобы они через полгода не подохли. Выносить /var/log на LV RAID-массива, монтировать все ФС с noatime, кто что скажет?

http://help.ubuntu.ru/wiki/ubuntu_на_usb

4. Хочешь ovirt - ставь центось/Федору. Если тебе ovirt не нужен - Ubuntu с головой хватит.

dvrts ★★★ ()
Ответ на: комментарий от dvrts

Ubuntu с головой хватит.

и пофигу,. что она не грузится с деградированного рэйда

andrew667 ★★★★★ ()

1. a

просто потому что так появляется возможность использовать фичеры LVM - перебазирование, снепшоты, размеры и т.п. Если не писать собственный модуль или не использовать oVirt/RHEV на LVM не получится делать тонкие диски. Ну и на LVM все работает немного шустрее

2.а - есть куча вариантов, от снимков на уровне LVM и до qcow2 snapshots. С возвратом назад без отключения тоже есть как минимум два варианта - blockpull и blockcommit. Все это функционал libvirt и qemu-img, который очень рекомендуется изучить как следует.

2.b - если использовать LVM то снимок будет на отдельном LV или будет внутренним, т.е. включенным в основной образ. гуглить qemu internal and external snapshots. Если пользовать файловую систему то опять же, или все в одном файле или в соседнем

3. выделить под /var отдельный кусок массива

4. для oVirt есть два варианта - AllInOne, когда на хосте ставится управлялка и гипервизор, или Self Hosted Engine, когда управлялка заливается на хост как VM. Если планируется полноценная установка - со стореджем и несколькими (от единиц до тысяч) хостами то оVirt это самое то, но если все всегда не выползет за пределы одной машины, то oVirt может оказаться перебором, и virt-manager достаточно

dyasny ★★★★★ ()
Ответ на: комментарий от dyasny

без овирта нет темплейтов без них неудобно, овирт сложен в начальной настройке для неопытных админов, хотя бы отсутствием переведённой документации в отличии от citrix, мне на канале федоры про овирт человек столько страшилок рассказал, теперь буду разбирать, что из сказанного им вымысел.

erzent ☆☆ ()

Кто может посоветовать как «разгрузить» SD-карты, на которых стоит Host-система?

всё что можно перенести в tmpfs + использовать не «абы какие» SD-карты

armbox ()
Ответ на: комментарий от erzent

переведённой документации

Каждый уважающий себя технический специалист должен знать английский хотя бы на уровне чтения документации.

dvrts ★★★ ()
Ответ на: комментарий от dyasny

3. выделить под /var отдельный кусок массива

Почему именно /var?

dvrts ★★★ ()
Ответ на: комментарий от erzent

темплейты в овирте это просто копии VM под отдельной панелью, из которых можно или снепшотить или клонировать VM. Руками можно делать то же самое, просто не так красиво.

Интересно кто это страшилки рассказывает

dyasny ★★★★★ ()
Ответ на: комментарий от dvrts

обычно там больше всего операций, особенно с ротацией логов. хотя конечно своп и tmpfs тоже не без того.

на самом деле, SD карточки сейчас такие дешевые что имхо вообще пофиг.

dyasny ★★★★★ ()

RAID 6

Это очень медленно. Делай или 10, или два зеркала, и на них - LVM stripe (вообще, второй вариант кажется мне наиболее надёжным, всегда так делаю).

nbw ★★★ ()
Ответ на: комментарий от dvrts

Я пока сам не знаю нужен ли мне оВирт или нет, но пока в вирт-менеджере меню снапшотов не активно и не могу понять на что грешить. Насчет ЦентОСи, то лучше сразу сделать «как положено», чем потом я или кто-то вместо меня будет плеваться. Тем более, не думаю, что будут сложности поднять заново на ЦентОСи.

denis-k ()
Ответ на: комментарий от dyasny

1а. «Тонкие диски», есть под рукой ссылка? Есть ли еще какие-нить ограничения при использовании ЛВМ в качестве пула? Даже, если достоинства перевешивают недостатки, все таки хочется узнать об этих недостатках.

2а. Понял

2b. Если принципиальная разница использования (создания, хранения, отката) снапшотов при LVM и тем же ФС и qcow2? То есть если использование снапшотов важно, то влияет ли это на выбор вида пула в виде LVM или ФС?

3. Насчет выделить полностью /var в отдельный раздел. Подумаю, но немного смущает. Просто, если кто-то случайно удалить через тот же virt-manager этот раздел (есть ли вообще возможность спрятать от него некоторые LV?), то это минимум простой. С потерей /var/log проблем должно быть меньше (это не из опыта, он пока мал у меня, это из чтения форумов).

4. Насчет дальнейшего расширения, то пока думал на старых машинах снести XenServer'ы, так же настроить KVM и попробовать настроить дублирование или миграцию «на всякий случай», также есть желание сделать и подключить NAS или даже SAN.

denis-k ()
Ответ на: комментарий от erzent

Английский не на высоте, но сильных проблем с пониманием и настройкой не испытывал.

denis-k ()
Ответ на: комментарий от armbox

а что можно и что нельзя переносить в tmpfs (по ссылке выше пока не ходил, завтра на работе займусь чтением). SD-карты «абы какие» - Kingston из магазина, покупать DELL'овские не стали.

denis-k ()
Ответ на: комментарий от dyasny

Там хоть обе карты в зеркале, но при выходе из строя одной это потеря времени.

denis-k ()
Ответ на: RAID 6 от nbw

После XenServera на обычной рабочей машине с 4-мя SATA винтами в том же RAID 10, этот RAID побыстрее будет, да и у нас там крутятся в основном инфраструктурные серверы (LDAP, proxy, samba и пр.) и дисковая нагрузка небольшая. Возможно, дальше будем поднимать серверы с базами данных, но это для «попробовать, потестировать, поучиться» не более.

denis-k ()

Я сейчас может и глупость скажу, но все же. С ZFS не работал, но ее часто приподносят как серебряную пулю, а так как с её поддержкой в Линуксе трудности, то теоретически возможен ли следующий вариант и если да, то в чем его абсурдность?

1. Пул создаем как физический диск (в нашем случае массив) 2. В качестве гостя ставим, допустим, тот же nas4free и отдаем ей массив 3. Подключаем к хосту nas4free уже как SAN

denis-k ()
Ответ на: комментарий от denis-k

1а. «Тонкие диски», есть под рукой ссылка? Есть ли еще какие-нить ограничения при использовании ЛВМ в качестве пула? Даже, если достоинства перевешивают недостатки, все таки хочется узнать об этих недостатках.

это вроде как единственный недостаток, хотя некоторые считают управление lvm более сложным чем фс. линк: http://en.wikipedia.org/wiki/Thin_provisioning

2b. Если принципиальная разница использования (создания, хранения, отката) снапшотов при LVM и тем же ФС и qcow2? То есть если использование снапшотов важно, то влияет ли это на выбор вида пула в виде LVM или ФС?

это зависит от того как именно будут использоваться снепшоты. если 1) снял снепшот 2) накатил апдейт 3) проверил что все нормально 4) откатился или принял изменения, то без разницы. Если надо держать цепочки снепшотов, то только qcow2. в любом случае, снепшоты бьют по скорости доступа к дискам, и чем длиннее цепочка тем тяжелее становится дисковой подсистеме, так что постоянно работать на цепочке снепшотов вместо плоского диска не рекомендуется ни одним из вендоров виртуализации

3. Насчет выделить полностью /var в отдельный раздел. Подумаю, но немного смущает. Просто, если кто-то случайно удалить через тот же virt-manager этот раздел (есть ли вообще возможность спрятать от него некоторые LV?), то это минимум простой. С потерей /var/log проблем должно быть меньше (это не из опыта, он пока мал у меня, это из чтения форумов).

надо просто не работать от рута, и другим не давать. плюс хорошие бекапы - и проблем не будет.

4. Насчет дальнейшего расширения, то пока думал на старых машинах снести XenServer'ы, так же настроить KVM и попробовать настроить дублирование или миграцию «на всякий случай», также есть желание сделать и подключить NAS или даже SAN.

«есть желание» и «я проектирую виртуальный ЦОД» - очень разные вещи. так что откройте тему когда будет конкретика - попробуем помочь

dyasny ★★★★★ ()
Ответ на: комментарий от denis-k

разве они не меняются на лету? какая модель сервера?

dyasny ★★★★★ ()
Ответ на: комментарий от denis-k

Вот как раз с ZFS и был отличный опыт использования KVM, и я бы рекомендовал к использованию.

dvrts ★★★ ()
Ответ на: комментарий от denis-k

3. Насчет выделить полностью /var в отдельный раздел. Подумаю, но немного смущает. Просто, если кто-то случайно удалить через тот же virt-manager этот раздел (есть ли вообще возможность спрятать от него некоторые LV?), то это минимум простой. С потерей /var/log проблем должно быть меньше (это не из опыта, он пока мал у меня, это из чтения форумов).

Я вообще не понял - у вас в админке проходной двор или работают только люди, знающие что они делают? Если проходной двор, то риск лишиться /var ничем не отличается от риска лишиться остальных разделов.

dvrts ★★★ ()
Ответ на: комментарий от denis-k

Что понимается под «с деградированного рэйда»?

Куда уж понятнее?

andrew667 ★★★★★ ()
Ответ на: комментарий от andrew667

У него аппаратный рейд, какая в жоPU разница системе до его состояния?

anonymous ()
Ответ на: комментарий от anonymous

У него аппаратный рейд, какая в жоPU разница системе до его состояния?

Что-то этого не видно, а с программным вот такие «нюансы по кузову».

andrew667 ★★★★★ ()
Ответ на: комментарий от denis-k

После XenServera на обычной рабочей машине с 4-мя SATA винтами в том же RAID 10, этот RAID побыстрее будет, да и у нас там крутятся в основном инфраструктурные серверы (LDAP, proxy, samba и пр.)

При интенсивном io (нагруженная samba та же) на raid6 будет тормозилово, даже на аппаратном контроллере. К тому же, в случае выхода контроллера из строя (и отсутствия запасного) придётся заняться выдёргиванием волос на жопе. В случае raid1 половинки зеркала можно просто воткнуть в мать, и всё будет работать без дополнительных телодвижений (в случае с lvm по крайней мере).

nbw ★★★ ()

снимки работают и работают ли вообще аналогично XenServer'у?

снимки есть и работают они везде одинаково.

axelroot ()
Ответ на: комментарий от denis-k

Если принципиальная разница использования (создания, хранения, отката) снапшотов при LVM и тем же ФС и qcow2?

и у lvm и у qcow2 для создания снапшотов используется механизм cow

axelroot ()
Ответ на: комментарий от denis-k

то влияет ли это на выбор вида пула в виде LVM или ФС?

виртуалки на томах шустрее в работе, но тормозят на снапшотах.

axelroot ()
Ответ на: комментарий от anonymous

Читай с конца, но вывод: zfs для kvm не нужен.

что в корне не верно.

axelroot ()
Ответ на: комментарий от dvrts

перед тем как придти к zfs, я бы ему рекомендовал испытать на себе все радости от родных linux решений.

axelroot ()
Ответ на: комментарий от axelroot

виртуалки на томах шустрее в работе, но тормозят на снапшотах.

Подробнее?

dvrts ★★★ ()
Ответ на: комментарий от axelroot

Читай с конца, но вывод: zfs для kvm не нужен.

что в корне не верно.

Лорчую

dvrts ★★★ ()
Ответ на: комментарий от denis-k

log я бы перенёс. Карты Sandisk Extreme Pro вроде надёжные, третий год система на такой пашет.

armbox ()
Ответ на: комментарий от dyasny

это вроде как единственный недостаток, хотя некоторые считают управление lvm более сложным чем фс. линк: http://en.wikipedia.org/wiki/Thin_provisioning

как я понял это а-ля динамический диск в VirualBox'е. Интересно, а другой стороны медали у этого «тощего резервирования» нет? Например, в виде фрагментации или она (вторая сторона) незначительна?

это зависит от того как именно будут использоваться снепшоты. если 1) снял снепшот 2) накатил апдейт 3) проверил что все нормально 4) откатился или принял изменения, то без разницы. Если надо держать цепочки снепшотов, то только qcow2. в любом случае, снепшоты бьют по скорости доступа к дискам, и чем длиннее цепочка тем тяжелее становится дисковой подсистеме, так что постоянно работать на цепочке снепшотов вместо плоского диска не рекомендуется ни одним из вендоров виртуализации

Значит все более склоняюсь к LVM, хотя мне пока в virt-manager не удалось, без предварительного создания диска, создать гостя, иначе он создает мне не lv, а *.img. Хотя, скорее всего, я что-то сделал не так.

надо просто не работать от рута, и другим не давать. плюс хорошие бекапы - и проблем не будет.

Как я понял, в virt-manger, если пользователь может создавать разделы для гостей, то он так же легко и удаляет их и не только свои. Надо разобраться с PAM.

«есть желание» и «я проектирую виртуальный ЦОД» - очень разные вещи. так что откройте тему когда будет конкретика - попробуем помочь

Спасибо.

denis-k ()
Ответ на: комментарий от dyasny

разве они не меняются на лету? какая модель сервера?

Даже не знаю. Сервер Dell R720. Там прежде, чем вставить карту, я должен вытащить PCI-карту. И как бы делать это на живую...

denis-k ()
Ответ на: комментарий от dvrts

Вот как раз с ZFS и был отличный опыт использования KVM, и я бы рекомендовал к использованию.

А есть описание? Как все было организованно?

Я вообще не понял - у вас в админке проходной двор или работают только люди, знающие что они делают? Если проходной двор, то риск лишиться /var ничем не отличается от риска лишиться остальных разделов.

А кто не делает ошибок? Если от внедрения нового выгода меньше, чем вероятность порчи, то лучше не внедрять. Я только начал изучать и пока не увидел способ разграничения прав на lv гостей, возможно, еще не дошел до этого.

Ты ZFS можешь использовать прямо on linux

Но как понимаю, FreeBSD лучше заточена под использование ZFS?

denis-k ()
Ответ на: комментарий от andrew667

У него аппаратный рейд, какая в жоPU разница системе до его состояния?

Так точно. RAID 1 из 2-х SD-карт под хост-систему RAID 6 из 6-ти SAS под LVM для гостей

denis-k ()
Ответ на: комментарий от denis-k

А есть описание? Как все было организованно?

Что именно тебя интересует?

А кто не делает ошибок? Если от внедрения нового выгода меньше, чем вероятность порчи, то лучше не внедрять. Я только начал изучать и пока не увидел способ разграничения прав на lv гостей, возможно, еще не дошел до этого.

Вообще не понял какое это имеет отношение конкретно к /var

Но как понимаю, FreeBSD лучше заточена под использование ZFS?

Оно там есть нативно, но ZOL вполне достаточно для твоих задач.

dvrts ★★★ ()
Ответ на: комментарий от nbw

При интенсивном io (нагруженная samba та же) на raid6 будет тормозилово, даже на аппаратном контроллере. К тому же, в случае выхода контроллера из строя (и отсутствия запасного) придётся заняться выдёргиванием волос на жопе. В случае raid1 половинки зеркала можно просто воткнуть в мать, и всё будет работать без дополнительных телодвижений (в случае с lvm по крайней мере).

У Вас есть ссылка, где можно увидеть заметное или даже критичное «тормозилово» RAID 6 перед RAID 10 из 6 и более винтов? Насчет выхода из строя контроллера, то поэтому и хочу критичные сервисы дублировать на другом а-ля сервере (обычная рабочая станция), а вот терять половину ёмкости винтов желания нет.

denis-k ()
Ответ на: комментарий от axelroot

перед тем как придти к zfs, я бы ему рекомендовал испытать на себе все радости от родных linux решений.

Вы используете ZFS? На Linux'e или во FreeBSD?

denis-k ()
Ответ на: комментарий от denis-k

по zfs: спроси не надо ли тебе сменить или вовсе отказаться от аппаратного рейд-контроллера, сколько РАМ отдать под кеш зфс, как не заполнять зфс более 80% чтобы избежать снижения скорости из-за фрагментации и пр. прелести

anonymous ()
Ответ на: комментарий от denis-k

и спроси почему контрольные суммы не спасают от порчи файлов при аппаратных сбоях компа.

anonymous ()
Ответ на: комментарий от dvrts

Что именно тебя интересует?

Как организован pool на ZFS? Отдельно в виде NAS или на на хост-системе в виде ZOL? В каком формате создаются гостевые машины? Как организованы shapshots и откаты?

Вообще не понял какое это имеет отношение конкретно к /var

Я выше писал, что в virt-manager любой, кто имеет доступ на создание, так же имеет доступ и на удаление любого lv из vg, отданного KVM в виде пула. То есть, virt-manager так же может удалить lv, отданный хостовой системе под /var. А так как вероятность ошибиться и удалить этот lv, выше, чем приход от его вынесения на отдельный lv, то лучше выносить только /var/log, как-то так.

Оно там есть нативно, но ZOL вполне достаточно для твоих задач.

Хорошо, почитаю.

denis-k ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.