Кластер?

Если простой в пару минут не проблема, то DRBD в primary/secondary режиме вполне подходит.
Если делать primary/primary режим, то тут уже придётся городить кластерную ФС аля GFS, да и сам dual-primary режим сопряжен со split-brain, т.к. ноды в дрбд может быть всего две (stacking не учитываем).

вы таки путаете понятия, как мне кажется. drbd — это способ репликации блочного устройства, а ocfs2 — фс с множественным одновременным доступом. По сути, drbd используется как нищая отказоустойчивая замена SAN. И если куда-то с него переходить, так это на SAN. По поводу кластерной фс поверх дрбд для хранения образов дисков для kvm — сомневаюсь, что ещё один уровень абстракции добавит производительности, не говоря уже о многочисленных жалобах в гуглях на безвозвратное разваливание как ocfs2, так и gfs2.

Для увеличения производительности drbd в dual primary, в гуглях и здесь на лоре советовали использовать ethernet bonding. Я, кроме этого, использую диски в raid10.

для dual primary совершенно необязательно использовать кластерную фс, в случае использования отдельного drbd-устройства на каждую виртуалку

т.е. я правильно понимаю только на кластерной системе кластер не построить нужен либо SAN либо DRBD? А не поделитесь как DRBD p/s ведет себя в продакшине?

Я между узлами оптоволокно проектирую, и диски 15000 в raid 0 на каждом.

Да, правильно, для безотказного кластера нужна не только фс, но и безотказное хранилище. Для пущего понимания вопроса, могу посоветовать xgu.ru

Как ведёт себя p/s не поделюсь, ибо пользуюсь p/p. 20 виртуальных машин в xen, скорость записи на диски, на каждой, около 10мбайт/с. Живая миграция, как правило, проходит без сплитбрейна. В случае сплитбрейна, он разрешается руками.

«Кластерная система» - понятие довольно широкое.

Это может быть система с множественным доступом (gfs, ocfs), предотвращающая порчу данных при одновременном обращении с нескольких хостов (при этом сам носитель может быть один на кластер). Такие системы не производят репликацию самостоятельно, им для этого нужен drbd.

С другой стороны (тут я уже выхожу за пределы своей компетентности, поэтому верить на слово мне сейчас не стоит), существуют файловые системы со встроенной репликацией, например, glusterfs. (Насчет lustre и pohmelfs уже не помню.)

Вместо волокна и стрёмного массива, быть может, лучше потратиться на что-то ещё? Давайте сюда детали проекта.

С удовольствием.

Два узла: i7 SAS Raid 0 600 GB 12 000 GB Memory Оптический контроллер

На узлах работает KVM. На первом узле один домен, на втором два. Ну если что то случается один тянет все три.

Стоимость всего 200 000 рублей Стоимость СХД 350 000 рублей к этому, поэтому и «стремный» DRBD. Хотя со словом «стремный» не соглашусь. Оптимальный!

спасибо

Спасибо

нет-нет, drbd ни в коем случае не стрёмный. Стрёмный здесь raid0, надо заменить либо на зеркало, либо на raid10. По поводу оптики — а как у неё цена в сравнении с 10гбит езернет?

raid 0 для скорости, мы же теряем её если используем протокол «С» DRBD.

Соглашусь не надежно, но опять же оптимальность. Сейчас склоняюсь к зеркалу. Потому как иопсы не большие будут. Думаю SAS справятся

винчестер SAS (Seagete SAS 600Gb ST3600057SS(15000rpm) 16Mb) 1шт. - 17000 рублей

оптический контроллер (QLE220) 1шт - 13 500 рублей.

патч-корд (mm50/125(ОМ3), LC-LC, duplex, L) 2метра - 1 500 рублей.

я и предложил raid10 для скорости и отказоустойчивости. Насчет drbd over ip over fc я даже не думал ещё, интересно.

а как насчет Gluster? весьма многообещающе они пишут. сам не тестил, свой веб-кластер успешно работает на GFS2.

на досуге почитаю. Хочется стабильности. DRBD ИМХО старше будет.

а как насчет целостности данных у glusterfs при живой миграции? у drbd почти достаточно использовать protocol c, правда производительность страдает

оптический контроллер (QLE220) 1шт - 13 500 рублей.

Оказалось что это контроллер FC а не езернет. Для подключения СХД. Нужно брать либо старшую модель которая два режима совмещает, либо что логичнее искать езернет

судя по гуглю, ipfc выкинули из 2.6.21, так что придётся использовать четырёхпортовые интеловые гигабитки

а разве 10Gb езернет нету, помоему есть даже по медному проводу?

Есть но купить сложно. К примеру Intel X520-TA, два порта 10Гбит, цена около килобакса. Другое дело нужен ли такой канал. На виртуалках в основном random io, а для него имхо хватит 2-4 линков в bonding.

Есть конечно, по 40-60 килорубликов, сомневаюсь, что это рационально

да уж не рациоанально

а если bounding использовать можно без коммутатора, напрямую понавтыкать кросом?

Да, можно.

спасибо

Между двумя linux-коробками оно без коммутатора даже лучше работает т.к. поддерживает режим round-robin, т.е. передача пакетов по всем интерфейсам одновременно. Судя по тестам на 4 гигабитных линках в бондинге можно вытянуть где-то 2.5 гигабита.

не тестил.

а как насчет Gluster? весьма многообещающе они пишут. сам не тестил, свой веб-кластер успешно работает на GFS2.

Gluster тормоз. Вызывают вопросы и надежность. Есть проблемы с блокировками. см.
http://www.bog.pp.ru/work/GlusterFS.html