LINUX.ORG.RU
ФорумAdmin

Hardware RAID vs Software RAID для oVirt или Proxmox хоста

 , , ,


0

1

Здравствуй, ЛОР.

Прежде, чем задам тупые вопросы, маленькая предыстория.

Помогаяю небольшой (но само собой перспективной) фирмочке со всякими там вопросами связаным с АйТи - то сайт им допилить, то всякие интеграция со всем, что можно написать, то софт специализированный захостить в ДЦ, сеть и VPNы настроить, ну и все в таком духе. В общем, задумал их директор полностью отказаться от AWS, на котором висит тупо Wordpress и несколько инстансов и RDS (PostgreSQL) для BI - DWH, всякие скрипты для ETL, Jenkins как пускалка кронов, импорт / экспорт данных во всякие PowerBI и прочие рисовалки для дашбоардов. В общем, ничего такого мишен-критикал - если отвалится - ноу проблем, паники пару тройку дней не будет. Но из-за того, что там довольно серьезный workload со стороны базы, то хотелось бы получить хорошей производительности от ФС.

Да, самое главное - бюджета нифига нет и познания с моей стороны в области железа (да и администрирования реального железа, а не тыкания сервисов в AWS) отсутсвуют тоже. Поэтому, ЛОР - выручай.

Моя идея проста - купить поддержанный сервер, новые SSD диски, воодрузить что-нибудь для виртуализации, и чтобы виртуалки тупо использоваил локальный диск (RAW image, LVM LV, или что-нибудь подобное). И тут у меня случился ступор, когда мне предложили выбрать контроллер для хардварного RAIDa:

  • Fujitsu D2616 Raid5/6 PCIe 6Gbs 512 MB Cache SAS / S-ATA Raid Controller for HDD LSI SAS2108 Raid 0,1,5,6,10,50,60 - 49 EUR
  • Fujitsu D3116 PCIe 6Gbs 1 GB Cache 8-Port SAS/S-ATA Raid Controller for HDD SSD LSI SAS2208 Raid 0,1,5,6,10,50,60 with BBU Expansion - 237 EUR
  • Fujitsu D3216 EP420i PCIe 12G 2 GB Cache 8-Port SAS Raid Controller for HDD SSD Raid 0,1,5,6,10,50,60 inkl. Battery SuperCap A3C4019466 D - 249 EUR

И собственно вопрос - нужен hardware raid для моих целей? Я рассчитывал тупо взять пару Интелловский SSD и сконфигурировать RAID 1. Получу ли я нормальную производительность для БД с софтварным рейдом или нужен HW RAID? И если да, то почему такая разница в цене между ними, оправдны ли лишние деньги для моего юз-кейса, и нужно ли что-то особенное для этих контроллеров, чтобы они с SSD дружили?

Ну, и на последок, что лучше дружит с софтварным рэйдом, что лучше дружит с хардваным - oVirt или Proxmox? Ни с тем, ни с другим дела не имел, но хочется что-то попробовать. До этого для всяих диллетантских setup’ов ставил всегда вручную KVM/QEMU и управлял тупо чезер libvirt, но хочется что-то менее хардкорного в этот раз (т.е. с веб-мордой). ESXi free edition тоже как вариант, но было бы хорошо без него обойтись


Ответ на: комментарий от targitaj

Круто! Не часто увидишь материал, который по стилю написания еще хуже, чем мой пост ) Постараюсь разобраться, о чем там вообще

BobiKK
() автор топика

Имхо лучше арендовать сервер в хетзнере, чем поддерживать свой дц.

Ну и овирт это не про один сервер, а про десятки. Лучше проксмокс

apmucm
()
Последнее исправление: apmucm (всего исправлений: 1)
Ответ на: комментарий от apmucm

Железный рейд для рейд1 - деньги на ветер,а с ссд может вообще уменьшить производительность

apmucm
()

И собственно вопрос - нужен hardware raid для моих целей?

После того, как сгорел хардварный рейд и не оказался запасной и все данные ушли в тар-тарары, сижу на софтварном рейде. Он норм. ХЗ по производительности. Алгоритм то тот же. Проц всё равно простаивает.

turtle_bazon ★★★★★
()
Ответ на: комментарий от apmucm

С хетцнером-то да, все проще, и я так и делаю обычно. Но, если честно, я не особо пытаюсь переубедить. Повозиться с железом - мне это тупо интересно, я это не умею, могу чему-то научиться и платят-то столько же - прям win win.

По поводу Proxmox, с их вики:

All Proxmox VE versions do not support Linux Software RAID (mdraid). That means, it’s not tested in our labs and not recommended, but it’s still used by experienced users. If you want to run a supported configuration, go for Hardware RAID or a ZFS RAID during installation.

Вот кому верить? :) А ZFS вообще надо будет админить как-то по особенному, или в Proxmox искароки все дефолты будут как надо?

BobiKK
() автор топика
Ответ на: комментарий от BobiKK

Вот кому верить?

Это значит, что у них не запилено управление через их средства управления, только и всего.

targitaj ★★★★★
()
Ответ на: комментарий от targitaj

оставь «аппаратные» рейды 1990-м, им там самое место

Enterprise сегмент над вами смеётся. Контроллеры всё ещё актуальны.

Hg194
()
Ответ на: комментарий от Hg194

Они актуальны там НЕ по причине здравого смысла, а потому что

esxi / windows тупо не умеют тоже самое что мдадм в линукс

инерция мышления ентерпрайзных админов

Сервера некоторых ентерппайзных производителей идут уже со встроенным рейдом и выкинуть его из сервера нельзя

Кстати была статья недавно на хабре про баг в рейд контроллере hpe, изза которого контора чуть не потеряла ВСЕ данные

apmucm
()
Ответ на: комментарий от BobiKK

Proxmоx это управлялка , которая ставится на дебиан. А значит на сервере можно сделайть все тоже самое что и на любом линуксе. Мдадм рэид в том числе.

Нужно ставить сначала голый дебииан и поверх него проксмокс

apmucm
()
Ответ на: комментарий от BobiKK

Повозиться с железом - мне это тупо интересно, я это не умею, могу чему-то научиться и платят-то столько же - прям win win.

Имхо за умение работать с железом платят копейки и в перспективе вообще не нужно. А вот за знания облаков всяких aws azure gcp готовы платить и много. Вот такой парадокс.

Свою работу я бы назвал программист инфраструктуры, потому что пишу код на terraform, ansible, kubernetes yaml, немного python/shell, пушу в гит , далее ci/cd раскатывает в облаке все что напрогал (виртуалки, контейнеры, сети, балансировшики итд).

apmucm
()
Последнее исправление: apmucm (всего исправлений: 1)
Ответ на: комментарий от BobiKK

А ZFS вообще надо будет админить как-то по особенному, или в Proxmox искароки все дефолты будут как надо?

В zfs лучше вообще не лезть без опыта и понимания как оно работает. Я не говорю, что он плохой, но тебе не нужен точно

apmucm
()
Ответ на: комментарий от apmucm

Имхо лучше арендовать сервер в хетзнере, чем поддерживать свой дц.

Это не прокатывает в ФГБУ. Держать (доверять) данные неизвестно у кого и сесть на попу в форсмажоре не айс.

Bootmen ☆☆☆
()

Моя идея проста - купить поддержанный сервер,

IMHO, идея так себе. Главное отличие сервера от десктопа - это не производительность, как многие думают, а надежность. Надежность оборудования б/у - сами понимаете, вещь неизвестная.

И еще момент - если у Вас выходит из строя десктопное железо, заменить его обычно труда не составляет. А вот с серверным железом все гораздо сложнее. Так что думайте...

выбрать контроллер для хардварного RAIDa: Fujitsu

Вы уверены, что контроллеры этого бренда будут работать в серверах других производителей? Это далеко не факт. Или сервер тоже Fujitsu будет?

Это первый момент. Второй - диски. Брендовые контроллеры часто требуют брендовых дисков. Работа с обычными дисками - лотерея. Может, все будет штатно работать. А может вообще не завестись. Но это еще пол-беды. Беда - это когда все вроде заводится, а потом контроллер начинает случайно диски терять :(.

В общем, я Вам крайне не рекомендую приобретать брендовые (Fujitsu, IBM, HP, Dell и т. п.) серверы и контроллеры. Это имеет смысл только в одном случае - при покупке оборудования новым вместе с соответствующими сервисными контрактами. В Вашем же случае, если, все-таки, решите брать серверное железо, лучше ограничиться самосбором из серверных комплектующих Supermicro или Intel.

И еще по поводу сервера, чтобы больше к этому вопросу не возвращаться. Если будете брать серверное железо, обязательно предусмотрите возможность удаленного управления сервером (у разных производителей это называется по-разному: Intel/Suprmicro - IPMI, HP- iLO и т. д.). Важно, чтобы поддерживалась функция IP-KVM и возможность удаленного монтирования дисков.

Теперь по поводу Вашего основного вопроса. Proxmox основан на Debian, поэтому без проблем поддерживает и софтварный RAID, и LVM. Вопрос, планируете ли Вы ограничиться одних хостом, или будете разворачивать полноценную инфраструктуру Proxmox с возможностью миграции виртальных машин и HA? Во втором случае стоит подумать о создании отдельного дискового хранилища.

Если полноценной инфраструктуры не планируется, то софтварное зеркало - вполне нормальный вариант. Надо только понимать, что в этом случае RAID обслуживается CPU сервера, а следовательно, зависит от надежности его работы. Если вдруг Ваши приложения повесят сервер, или создадут пиковые нагрузки, RAID может развалиться. Впрочем, для зеркала это не представляет такой угрозы, как для других типов массивов.

Достоинство аппаратного RAID - полная независимость от CPU и, соответственно, большая надежность. Но платой за это обычно бывает более низкая производительность.

ESXi free edition тоже как вариант

Я давно не работал с ESXi, но раньше этот гипервизор принципиально не поддерживал софтовые RAIDs. Возможно, сейчас ситуация изменилась, я не в курсе.

Serge10 ★★★★★
()
Ответ на: комментарий от BobiKK

Вот кому верить?

Вам же черным по белому пишут, что софтварный рейд работает (it’s still used by experienced users), но они не тестируют такие конфигурации и не несут ответственности за возможные проблемы (it’s not tested in our labs and not recommended).

По сути внизу Proxmox лежит обычный Debian, поэтому никаких проблем с софтварным рейдом у Вас не будет (кроме того, о чем я выше писал).

А ZFS вообще надо будет админить как-то по особенному

Для зеркала это явно избыточно, IMHO.

Serge10 ★★★★★
()
Ответ на: комментарий от Serge10

Я бы дополнил. Не надо путать полноценный хард рэйд с fake raid. Это старый маркетинговый ход, когда за fake raid выдают hard raid.

anc ★★★★★
()
Ответ на: комментарий от apmucm

Ну вот, кстати, это одна из причин, переезда с AWS - чтобы в пользовательском соглашение не было какого-то непонятного Amazon’а с адресом в Люксембурге - мол, такой конторе доверять нельзя. С моей точки зрения, большего бреда придумать сложно - не доверять лидеру индустрии с military grade ДЦ по всему миру, который может запросто предоставить любые бумажки, чтобы получить всякие compliance сертификаты (HIPAA, ISO блабла), а доверить это все мне, полному профану в это области или таким же эникейщикам как я. Но спорить и переубеждать всю индустрию мне уже надоело. Сдался я

BobiKK
() автор топика
Ответ на: комментарий от Serge10

Спасибо за развернутый ответ.

Я и планировал брать Fujitsu сервер. Тупо потому, что я их уже несколько раз брал, и проблем за последние 3-4 года с железом не было. Кроме того, я беру всегда дополнительную гарантию и сервис пакет на 3 года. Пока пользоваться не приходилось. Если интерестно, это https://www.serverschmiede.com/

Самосбор - это, наверное, надежнее, но и дороже будет значительно. Тут я смогу уложиться в 2K ойро со всем со всем - 2х 8ми ядерных Xeon’a, 100Gb RAM, новые enterprise SSD’шки, суппорт и все такое.

Вопрос, планируете ли Вы ограничиться одних хостом, или будете разворачивать полноценную инфраструктуру Proxmox с возможностью миграции виртальных машин и HA? Во втором случае стоит подумать о создании отдельного дискового хранилища. Нет, не планируется. А если вдруг и запланируется, то пускай запланируют бюджет на компетентного админа :)

В общем, пока Proxmox поверх Дебиана с mdadm уверенно лидирует.

BobiKK
() автор топика
Ответ на: комментарий от BobiKK

Ну если у тебя там отдельно стоящая машина (без CEPH и прочего такого), то пили raid и поверх него LVM. Это оптимальный вариант. А на хост сначала debian и потом сверху уже proxmox накатывай.

targitaj ★★★★★
()
Ответ на: комментарий от Serge10

Но платой за это обычно бывает более низкая производительность.

Да ладно - берём 8-и портовый 12 Gbps sas HW-Raid контроллер с 4 Gb кэша - к нему 8 sas ssd 12 Gbps (хороших) - делаем raid 60 - и всё у нас и надёжно и быстро.

suffix ★★
()
Последнее исправление: suffix (всего исправлений: 1)
Ответ на: комментарий от anc

Разумный подход! Я выклянчил давненько один HPE NAS на склад «про запас». Доволен как слон.

Hg194
()

Если коротко: не нужон. Рейд это помимо прочего расходники и довольно дорогие. А у тебя вместо бюджета тыква.

Proxmox вполне хорошо дружит и с тем, и с другим. У нас неплохо работает, нигде на него не жалуемся.

Ionesku
()
Ответ на: комментарий от anc

Бэкап чего? Дополнительные «запчасти» (диски, память) или именно бэкап приложений / конфигов / виртуалок? Если последнее, то отдельный простенький NAS там имеется

BobiKK
() автор топика
Ответ на: комментарий от anc

Это старый маркетинговый ход, когда за fake raid выдают hard raid.

Посмотрите список контроллеров, который привел автор темы. Там настоящий hardware RAID.

Serge10 ★★★★★
()
Ответ на: комментарий от BobiKK

Кроме того, я беру всегда дополнительную гарантию и сервис пакет на 3 года.

Тогда вопросов нет. Не знал, что такой сервис доступен для б/у техники. Остается вопрос с совместимостью SSD с контроллером (если, все-таки, решите брать hardware RAID).

В общем, пока Proxmox поверх Дебиана с mdadm уверенно лидирует.

Да, для одного хоста это оптимальный вариант.

Serge10 ★★★★★
()
Ответ на: комментарий от anc

Про бэкап не забудьте.

Кстати, да. Зеркало - это хорошо, но бекапа совершенно не заменяет.

Serge10 ★★★★★
()
Ответ на: комментарий от suffix

и всё у нас и надёжно и быстро.

Быстро - понятие относительное ;). Подавляющее большинство HW-RAID-контроллеров захлебнутся на 8 SSD в 60 RAID. В том смысле, что результирующие IOPs окажутся гораздо ниже возможностей дисков. Пока были HDD - вопросов не было, контроллеры справлялись. Но SSD быстрее на 2-3 порядка (!). Десятки тысяч IOPs HW-RAID-контроллеры не потянут, IMHO. А вот CPU (в случае с программным рейдом) потянуть может. Неслучайно ведь те же Oracle или EMC делают свои СХД на основе CPU.

Serge10 ★★★★★
()
Ответ на: комментарий от anc

Первый точно нет.

Raid5/6 PCIe 6Gbs 512 MB Cache SAS

Как Вы себе представляете кеш на фейковом контроллере? Фейковый контроллер все считает на CPU и в качестве «кеша» использует кусок RAM. А тут отдельный чип памяти.

Serge10 ★★★★★
()
Ответ на: комментарий от anc

LSI SAS2108 И ?

Извините, не очень понял, что Вы хотели сказать. Читаю описание данного контроллера:

Quick Notes on the LSI SAS 2108

    The RAID controller supports both SAS 2 and SATA III at 6.0gbps
    Approximately 12w of power consumption for common cards
    Single PowerPC core at 800MHz
    Battery and capacitor backed onboard cache available
    PCIe 2.0 x8 interface

Вижу, что речь идет о нормальном hardwareRAID - есть свой процессор, своя память (кеш) - все, как положено.

Другой вопрос, что данная модель позволяет отключать эту функциональность, что позволяет использовать ее как HBA. Но это не делает ее фейковым контроллером.

Serge10 ★★★★★
()
Ответ на: комментарий от Serge10

Другой вопрос, что данная модель позволяет отключать эту функциональность

Чаще поставляется как fake как вы правильно написали.

anc ★★★★★
()
Ответ на: комментарий от Serge10

Подавляющее большинство HW-RAID-контроллеров захлебнутся на 8 SSD в 60 RAID.

Это не только от типа hw-raid контроллера зависит но и от типа нагрузки ибо если на контроллере 4 GB памяти встроено а нагрузка типа «статейник на вордпресс» то ничего не захлебнётся, а надёжность 60 raid-a останется :)

suffix ★★
()
Последнее исправление: suffix (всего исправлений: 2)
Ответ на: комментарий от anc

Чаще поставляется как fake как вы правильно написали.

Ну так в этом случае не будет ни процессора, ни кеша.

Я к тому, что фейковый контроллер (или, если хотите, контроллер в фейковом режиме) в принципе кеш использовать не может. Потому что у CPU нет к нему доступа.

Serge10 ★★★★★
()
Ответ на: комментарий от suffix

а нагрузка типа «статейник на вордпресс» то ничего не захлебнётся.

Это понятно. Я к тому, что какой смысл с такой нагрузкой ставить SSD? Если хватит низкооборотных SATA HDD?

А вот если действительно нужны IOPs (а SSD ставят именно в таких случаях) HW-RAID после где-то 4-6 дисков справляться перестают.

Serge10 ★★★★★
()
Ответ на: комментарий от suffix

Причём тут бэкапы? Вот полетел у меня аппаратный raid-контроллер. Как мне в кратчайшие сроки восстановить работу сервера с последним перед отказом набором данных. Ведь физически они есть на диске.

te111011010
()
Ответ на: комментарий от te111011010

Ты видел слово «Enterprise» в том сообщении, на которое отвечал? Чего тогда глупые вопросы задаешь? В кратчайшие сроки приедет инженер с новым контроллером в зубах и восстановит работоспособность сервера.

bigbit ★★★★★
()
Ответ на: комментарий от te111011010

Естественно, если это предусмотрено контрактом поддержки.

bigbit ★★★★★
()
Ответ на: комментарий от bigbit

Если в кратчайшие сроки то у Вас репликация всего и вся покрайне мере в два других сервера в разных ДЦ налажена а в DNS load failover следит за доступностью.

Повторюсь - ни сохранность данных ни восстановление работоспособности (сайта, сервиса и т.п.) никак не должна зависеть от наличия или отсутствия hw-raid контроллера. А должно зависеть только от того насколько критична потеря данных между бекапами и насколько критичен простой работы. Тут уж каждый сам выбирает для себя.

suffix ★★
()
Последнее исправление: suffix (всего исправлений: 1)
Ответ на: комментарий от te111011010

Покупается сразу пара контроллеров. Изи.

Hg194
()
Ответ на: комментарий от apmucm

Имхо за умение работать с железом платят копейки и в перспективе вообще не нужно.

ага, и в облачных дц у тебя всё программно, никакого железа

А вот за знания облаков всяких aws azure gcp готовы платить и много. Вот такой парадокс.

это до поры до времени

Свою работу я бы назвал программист инфраструктуры, потому что пишу код на terraform, ansible, kubernetes yaml

программист, лол, что-то развелось последнее время yaml-погромистов.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.