LINUX.ORG.RU
ФорумAdmin

Кластер?


0

1

Нужно построить отказоустойчивый кластер. Денег на СХД не дают, приходится использовать...

Так вот какой вариант, предпочтительнее использовать в продакшене (конечно на основе Систем Хранения Данных, сам понимаю):

1. DRBD? 2. OCFS2?

Тестировал KVM+Heartbeat+DRBD, встретил критику. Посоветовали смотреть в сторону СХД либо кластерных файловых систем OCFS2 или GFS.

P.S.: Я как то тестировал кластер HA на OCFS2, но поверх DRBD, а можно ли без DRBD в таком случае? Насколько я понимаю кластерные системы только для СХД или поверх эмуляции СХД, такой как DRBD/

★★★★★

Если простой в пару минут не проблема, то DRBD в primary/secondary режиме вполне подходит.
Если делать primary/primary режим, то тут уже придётся городить кластерную ФС аля GFS, да и сам dual-primary режим сопряжен со split-brain, т.к. ноды в дрбд может быть всего две (stacking не учитываем).

blind_oracle ★★★★★ ()

вы таки путаете понятия, как мне кажется. drbd — это способ репликации блочного устройства, а ocfs2 — фс с множественным одновременным доступом. По сути, drbd используется как нищая отказоустойчивая замена SAN. И если куда-то с него переходить, так это на SAN. По поводу кластерной фс поверх дрбд для хранения образов дисков для kvm — сомневаюсь, что ещё один уровень абстракции добавит производительности, не говоря уже о многочисленных жалобах в гуглях на безвозвратное разваливание как ocfs2, так и gfs2.

Для увеличения производительности drbd в dual primary, в гуглях и здесь на лоре советовали использовать ethernet bonding. Я, кроме этого, использую диски в raid10.

anonymous ()
Ответ на: комментарий от blind_oracle

для dual primary совершенно необязательно использовать кластерную фс, в случае использования отдельного drbd-устройства на каждую виртуалку

anonymous ()
Ответ на: комментарий от anonymous

т.е. я правильно понимаю только на кластерной системе кластер не построить нужен либо SAN либо DRBD? А не поделитесь как DRBD p/s ведет себя в продакшине?

petav ★★★★★ ()
Ответ на: комментарий от petav

Да, правильно, для безотказного кластера нужна не только фс, но и безотказное хранилище. Для пущего понимания вопроса, могу посоветовать xgu.ru

Как ведёт себя p/s не поделюсь, ибо пользуюсь p/p. 20 виртуальных машин в xen, скорость записи на диски, на каждой, около 10мбайт/с. Живая миграция, как правило, проходит без сплитбрейна. В случае сплитбрейна, он разрешается руками.

anonymous ()
Ответ на: комментарий от petav

«Кластерная система» - понятие довольно широкое.

Это может быть система с множественным доступом (gfs, ocfs), предотвращающая порчу данных при одновременном обращении с нескольких хостов (при этом сам носитель может быть один на кластер). Такие системы не производят репликацию самостоятельно, им для этого нужен drbd.

С другой стороны (тут я уже выхожу за пределы своей компетентности, поэтому верить на слово мне сейчас не стоит), существуют файловые системы со встроенной репликацией, например, glusterfs. (Насчет lustre и pohmelfs уже не помню.)

anonymous ()
Ответ на: комментарий от petav

Вместо волокна и стрёмного массива, быть может, лучше потратиться на что-то ещё? Давайте сюда детали проекта.

anonymous ()
Ответ на: комментарий от anonymous

С удовольствием.

Два узла: i7 SAS Raid 0 600 GB 12 000 GB Memory Оптический контроллер

На узлах работает KVM. На первом узле один домен, на втором два. Ну если что то случается один тянет все три.

Стоимость всего 200 000 рублей Стоимость СХД 350 000 рублей к этому, поэтому и «стремный» DRBD. Хотя со словом «стремный» не соглашусь. Оптимальный!

petav ★★★★★ ()
Ответ на: комментарий от petav

нет-нет, drbd ни в коем случае не стрёмный. Стрёмный здесь raid0, надо заменить либо на зеркало, либо на raid10. По поводу оптики — а как у неё цена в сравнении с 10гбит езернет?

anonymous ()
Ответ на: комментарий от anonymous

raid 0 для скорости, мы же теряем её если используем протокол «С» DRBD.

Соглашусь не надежно, но опять же оптимальность. Сейчас склоняюсь к зеркалу. Потому как иопсы не большие будут. Думаю SAS справятся

винчестер SAS (Seagete SAS 600Gb ST3600057SS(15000rpm) 16Mb) 1шт. - 17000 рублей

оптический контроллер (QLE220) 1шт - 13 500 рублей.

патч-корд (mm50/125(ОМ3), LC-LC, duplex, L) 2метра - 1 500 рублей.

petav ★★★★★ ()
Ответ на: комментарий от petav

я и предложил raid10 для скорости и отказоустойчивости. Насчет drbd over ip over fc я даже не думал ещё, интересно.

anonymous ()

а как насчет Gluster? весьма многообещающе они пишут. сам не тестил, свой веб-кластер успешно работает на GFS2.

Komintern ★★★★★ ()
Ответ на: комментарий от Komintern

а как насчет целостности данных у glusterfs при живой миграции? у drbd почти достаточно использовать protocol c, правда производительность страдает

anonymous ()
Ответ на: комментарий от anonymous

оптический контроллер (QLE220) 1шт - 13 500 рублей.

Оказалось что это контроллер FC а не езернет. Для подключения СХД. Нужно брать либо старшую модель которая два режима совмещает, либо что логичнее искать езернет

petav ★★★★★ ()
Ответ на: комментарий от petav

судя по гуглю, ipfc выкинули из 2.6.21, так что придётся использовать четырёхпортовые интеловые гигабитки

anonymous ()
Ответ на: комментарий от petav

Есть но купить сложно. К примеру Intel X520-TA, два порта 10Гбит, цена около килобакса. Другое дело нужен ли такой канал. На виртуалках в основном random io, а для него имхо хватит 2-4 линков в bonding.

blind_oracle ★★★★★ ()
Ответ на: комментарий от petav

Между двумя linux-коробками оно без коммутатора даже лучше работает т.к. поддерживает режим round-robin, т.е. передача пакетов по всем интерфейсам одновременно. Судя по тестам на 4 гигабитных линках в бондинге можно вытянуть где-то 2.5 гигабита.

blind_oracle ★★★★★ ()
Ответ на: комментарий от Komintern

а как насчет Gluster? весьма многообещающе они пишут. сам не тестил, свой веб-кластер успешно работает на GFS2.

Gluster тормоз. Вызывают вопросы и надежность. Есть проблемы с блокировками. см.
http://www.bog.pp.ru/work/GlusterFS.html

Marvin ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.