Железо для виртуализации

Что виртуалки делать то будут?

продажа vps в общем то, думаю что в основном lamp

ИМХО: отдельный SAN (на писюке к примеру, рэйд 1 из пары 7200 винтов + flashcache прикрутить) + отдельно сервер виртуализации. Чем больше голов на сервере виртуализации (пусть и виртуальных, гипертрейдинговых) - тем лучше, лучше 4 головы по 2 ГГц чем 2 головы по 4 ГГц ибо накладные расходы на переключение контекста очень большие, и когда виртуалки начинают драться за ресурсы проца, прыгая с ядра на ядро - суммарная производительность проседает очень сильно.

спасибо за совет, собственно насчет отдельно стоящего storage, наверное самое правильное что можно будет сделать, сервер понятно что двухсокетовый будет, но пока задача все в 1 ноде собрать

60 виртуалок

люди для такх целей openvz рекомендуют

та вот от openvz было принято решение отказаться

60 виртуалок, очень слабой нагруженности (типа оффисных десктопов без наворотов) потребуют 6-8 физических ядер (не тредов). Если в ВМ будут серверы, то больше, желательно вообще без overallocation.

дальше по памяти - если все ВМ одинаковые, то KSM будет работать просто отлично, да и balooning не помешает, но если все 60 машин - разные, и делают разные вещи, то ни в коем случае нельзя превышать количество физ. памяти - хост уйдет в своп, и все виртуалки затормозят, и это еще если не дойдет до OOM.

что касается дисков то опять же, надо просто снять показатели по iops типичного сервера который там будет крутиться, и подсчитать сколько дисков и в каком рейде для этого понадобится. одного количества ВМ для этого не достаточно.

будут конкретные данные - пишите, попробуем подсчитать

пока задача все в 1 ноде собрать

60 вируталок на одной ноде, без внешнего сторэджа, да еще на продажу? Кхм.

Если у вас есть от 60 ядер для них то это хорошо. Или вы планируете оверселлить на kvm?

А что с этим не так?

А что с этим не так?

Да всё так, если ТС будет создавать контейнеры с 10ГБ диском и 512МБ памяти.

Опять не вижу проблем =)

Сейчас в одну ноду, можно впихнуть очень много диска и очень много памяти.

Сейчас в одну ноду, можно впихнуть очень много диска и очень много памяти.

И очень много процессоров? А бэкапы? А что делать, если нода умрёт?

И очень много процессоров?

Да хоть 4 процессора. А если учесть последние intel вместе с HT получится 64 ядра. Что вполне хватит.

А бэкапы?

Так же как и удаленный storage, какая разница?

А что делать, если нода умрёт?

Умереть она может по разному. Но толку от удаленного стораджа и одной ноды не будет, если эта же нода и сдохла.

Да хоть 4 процессора.

Ну посчитай по цене, сколько это обойдётся. Сколько обойдутся диски. Это чтоб на одной ноде было.

Тоже самое, что ставить отдельный сторадж, возможно, немного дешевле.

Тоже самое, что ставить отдельный сторадж, возможно, немного дешевле.

Охххх... Ну давайте поговорим про NetApp-ы, как бэ ноды в виде 6-9U блэйдов, и т.д. Сторэдж на ~ 60 терабайт можно собрать на коленке в 4U размере за ~ 4K EUR. И чо?

Мы говорим о совсем разных вещах. Давай не будем впадать в крайности.

Мы говорим о совсем разных вещах. Давай не будем впадать в крайности.

Ну как, ТС хочет в одной ноде разместить все виртуалки. Такая одна нода будет стоить over 9000 денег, причем полезность этого будет сомнительна. Вот если бы небыло требования одной ноды, тут можно распустить фантазию во все поля. А так для 2U макисмум 24 диска на 2.5", причем их стоимость выше обычных трёхдюймовых дисков, да и как правило 2 проца. На моей памяти из современных шасси обычно 2 проца, не 4. Вот и получается что впихнуть невпихнуемое в обычную 1-2U ноду может если и не невозможно, но стоить бабла будет много. Смысл?

Все зависит от задач. И такие конфигурации имеют смысл.

И такие конфигурации имеют смысл.

Например?

Да хотя бы для обычных VDS. Там нет смысла ставить отдельный сторадж и много нод. Так как, надо думать о связи ноды и стораджа, обычный ethernet не очень хорошо, плюс о полном бэкапе такого же стораджа надо тоже думать + о горячей замене.

Поэтому, проще поставить пускай и большие ноды (2u), с большим массивом, из тех же ssd. Он в любом случае окупится. Но здесь вопрос бэкапа так же актуален.

Если делать более распределенную архитектуру, то конечно, только удаленный сторадж, но здесь встают совсем другие вопросы.

VDS. Там нет смысла ставить отдельный сторадж

Чо-чо? Имеено там и имеет смысл.

обычный ethernet не очень хорошо

Чо-чо? 2-х портовая 10Gb стоит 200 евро. Чем это плохо?

плюс о полном бэкапе такого же стораджа надо тоже думать + о горячей замене.

О да! Значит запихнуть всех клиентов в одну ноду, без бэкапа - Ъ? Типа полетела нода с клиентами, да и фиг с ними.

большие ноды (2u)

Это маленькие ноды. Больше - как минимум 4U.

большим массивом, из тех же ssd. Он в любом случае окупится.

Я так понимаю это собственный пример? Как быстро окупилось?

Чо-чо? Имеено там и имеет смысл.

Все зависит от архитектуры, и сейчас такой подход много где и используется.

Чо-чо? 2-х портовая 10Gb стоит 200 евро. Чем это плохо?

Я предпочитаю либо infiniband, либо fc.

О да! Значит запихнуть всех клиентов в одну ноду, без бэкапа - Ъ? Типа полетела нода с клиентами, да и фиг с ними.

Я не правильно выразился, конечно, бэкапы нужны.

Это маленькие ноды. Больше - как минимум 4U.

Опять же, я не полностью донес смысл того, что хотел сказать.

Я так понимаю это собственный пример? Как быстро окупилось?

NDA.

И тот и другой подход имеют право на жизнь, так как и здесь нет серебряной пули, с удаленным стораджем добавляется много сложностей, с локальным, начинает страдать стабильность, но схема работы очень простая.