LINUX.ORG.RU
ФорумAdmin

Отказоустойчивый Network Storage для Proxmox 4.4

 , , , ,


2

3

Всем привет! В общем есть 5 нод под управлением Proxmox VE 4.4 на которых крутятся в среднем 5-8 виртуальных машин. В кластер я их пока не собирал, так как отсустует общее хранилище. Под хранилище есть два сервера Dell R410, в каждом установлен винт на 4тб. Вот тут то и начинается головняк. Гуглением нашёл что в качестве HA Network Storage можно заюзать NAS4Free (HASP который еще надо допилить напильником), OpenAttic (сыроват, Ceph мне там так и не удалось запустить), NexentaStor (не пробовал, но, говорят что в комьюнити версии HA нету, а Enterprise версия таки не по карману), DRBD (пробовал давно версию 8.2 в режиме two primary nodes, пару раз хватал split brain). Что можете посоветовать для создания ha network storage ?

Ответ на: комментарий от ktk

Работать наверное сможет, а как быть с HA ? Что будет если отвалится primary сервак (это когда ceph на 2-х серверах работает), где находится admin и monitor ceph ?

oldpsyho
() автор топика
Ответ на: комментарий от oldpsyho

ты задал вопрос будет или нет работать.

если тебе нужно минимальную отказоустойчивость из двух нод, то по 1 и более OSD на ноду(в зависимости от количества дисков) и по 1 монитору на ноду. ну и уровень репликации минимум 2 и смотри что-бы репликация была на osd с разных нод ( в случае нескольких osd на физическую ноду, ps обычно раскидывает правильно но лучше проверить)

ktk ★★★★
()
Последнее исправление: ktk (всего исправлений: 2)
Ответ на: комментарий от oldpsyho

Главное, чтобы количество мониторов было нечётным числом. Т.е., 1 или 3 — это ОК. Отказоустойчивость, понятно, — 3 и выше.

post-factum ★★★★★
()
Ответ на: комментарий от post-factum

Понял, 5 нод с проксмоксом это гуд. Гигабитной сетки между Proxmox и osd хватит? есть так же возможность организовать 10 гигабит между osd.

oldpsyho
() автор топика

2 ноды цефа с 1 винтом на 4 ТБ? Еще и на гигабитной сетке. Ты будешь плакать от его производительности.

stave ★★★★★
()

Либо размазывай хранилище по всем 7 серверам - на базе шипдога/цефа (не забывая про потребление памяти последним), либо дрбд на этих двух серверах. Хотя учитывая всего 2 диска, ставь их в рейд на одном сервере и отдавай по lvm iver iscsi. И думай о модернизации всего этого дела.

Ну и 4-5 машин на ноду - электричества не жалко? Или мало памяти и процессора на нодах?

stave ★★★★★
()
Ответ на: комментарий от stave

Всё ноды с Proxmox имеют на борту Core i7 и 32гб озу, R410-e имеют по 24 гига оперативы и по два ксеона на сервак. Винты в будущем добавятся. Сейчас запустить бы цеф на двух винтах.

oldpsyho
() автор топика
Ответ на: комментарий от oldpsyho

На полном серьезных предлагаю собрать на одном сервере софтовый рейд из этих двух дисков и отдать их через айскази. В случае, если сервак умрет, переставить их в живой и поедешь дальше. Простой в 1 час не убьет фирму, у которой бюджет на айти 200 тыщ рублей. А скорость даже такого варианта без накладных расходов на сеть будет печальной, 150 иопсов на 12 виртуальных машин - это жесть.

stave ★★★★★
()
Ответ на: комментарий от oldpsyho

Гигабит говно. Десять лучше, но тоже говно. И вопрос даже не в скорости, а в задержках. Как-то будет работать, может даже тебе хватит.

post-factum ★★★★★
()

По существу : если не планируется закупка дисков и памяти, то drbd на dell серваках и отдавать в proxmox по iscsi диски - будет подходящим решением. Но тупить будет адовово.

Deleted
()
Ответ на: комментарий от oldpsyho

Добавить дисков - это как минимум. 5 нод, на каждой ноде будет хотя бы по 5 виртуалок, это просто положит 2 диска даже на чтение.
Далее, если в каждом серваке будет хотя бы raid 10 из 4 дисков, то уже неплохо как минимум агрегировать сеть. Но и при таком раскладе будет тормозить.

Deleted
()
Ответ на: комментарий от Deleted

В то же время хают связку ceph + IB.

почему? задержки минимальные, скорость прекрасная даже на DDR 4x

ktk ★★★★
()
Ответ на: комментарий от ktk

на ceph потребуется закупить 10gb сетевух в каждый сервак, дисков, памяти, свич 10 гигабитный, что дороговато выходит для челоека, использующего по одному диску в сервере.

Deleted
()
Ответ на: комментарий от Deleted

на ceph потребуется закупить 10gb сетевух в каждый сервак, дисков, памяти, свич 10 гигабитный, что дороговато выходит для челоека, использующего по одному диску в сервере.

как твой ответ связан с моим вопросом? повторюсь - «почему хают IB? задержки минимальные, скорость прекрасная даже на DDR 4x»

ktk ★★★★
()
Ответ на: комментарий от post-factum

Норм обоснование. Я бы понял еще умение прокса принять нативный цеф и встроенный гуй для создания конвергентного решения. Которое, впрочем, с целым не получается сделать из-за его архитектуры и прожорливости (хотя остальные СДС тоже не лучше :()

stave ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.