LINUX.ORG.RU

кластреная ФС и gluster на одной железке.

 , , ,


1

2

Приветствую!

По теме возникла одна трабла. Может, конечно, и не трабла, но вопросы имеются :-)

Сделал два варианта решения.

Вариант №1

На нодах выделил раздел под glusterfs (он будет использоваться под БД oVirt'a, либо под виртуалку с oVirt'ом) в режиме replica. Эта конфигурация работала (писались файлы, имитация падения железки, выдергивание дисков, в общем, годные тесты), ноды синхронизировались. Далее, подключаю полку по iSCSI. Монтирую, создаю gfs2. Опять же, пишет прекрасно, но медленно, пока все три (пока их три) ноды подняты. Стоит одну из них положить, остальные две уходят в «неизвестное» состояние. Вроде как и доступны, а работать на них нельзя. Ну типа комы что-ли. Поднимается опущенная железка, и вуаля! Синхронизация и опять работа. Скорость записи (dd if=/dev/zero of=/sharedata/20G count=1000 bs=20M) примерно 130M/sec (на чистой ext4 было в районе 500M/sec). Чтения же - 600M/sec. Ниже пример cluster.conf от cman'a:

<?xml version="1.0"?>
<cluster name="first-cluster" config_version="1">
    <fence_daemon post_fail_delay="0" post_join_delay="8"/>
        <clusternodes>
                <clusternode name="nn01" nodeid="1" votes="1">
                        <fence>
                                <method name="1">
                                        <device name="fence_manual" nodename="nn01"/>
                                </method>
                        </fence>
                </clusternode>
                <clusternode name="nn02" nodeid="2" votes="1">
                        <fence>
                                <method name="1">
                                        <device name="fence_manual" nodename="nn02"/>
                                </method>
                        </fence>
                </clusternode>
                <clusternode name="nn03" nodeid="3" votes="1">
                        <fence>
                                <method name="1">
                                        <device name="fence_manual" nodename="nn03"/>
                                </method>
                        </fence>
                </clusternode>
        </clusternodes>
        <fencedevices>
                <fencedevice agent="fence_manual" name="fence_manual"/>
        </fencedevices>
        <rm>
                <failoverdomains>
                </failoverdomains>
        </rm>
        <dlm plock_ownership="1" plock_rate_limit="0"/>
        <gfs_controld plock_rate_limit="0"/>
</cluster>

Вариант №2

Такая же конфигурация, только вместо gfs2 использовалась ocfs2. Проблема не заставила себя долго ждать: не монтируется gluster. Ядро взято с public-yum.oracle.com (rpm пакет)

uname -r
2.6.39-400.109.6.el6uek.x86_64

Скорость записи в районе 130M/sec. Чтения - 40M/sec (да-да, СОРОК)

------------

Ну а теперь вопросы :-):

1) какой использовать fence метод чтобы избежать подвисания оставшихся в живых нод?

2) ocfs2 и glusterfs на одной железке работают?

3) есть-ли какие альтернативы ocfs2 и gfs2 (за что, конечно же, платить не нужно ;-))

4) может-ли работать gluster в «обраную» сторону? (не с трех нод объединять три раздела и отдавать его как один, а отдавать один раздел (iSCSI) трем нодам, при этом не зависеть от какой-либо одной ноды (так пробовал, скорость - огонь! Только нельзя ей падать :-)))

-----

За любой ответ/совет буду очень признателен.


За любой ответ/совет буду очень признателен

забухай@трахни ееТак таки за любой? :)

slackwarrior ★★★★★ ()
Ответ на: комментарий от dyasny

фенсинг есть?

C gfs2 использовали fence_manual и fence_scsi. При вылетании одной из нод на остальных работать невозможно.

C ocfs2, судя по /sys/kernel/config/cluster/clustername/fence_method, используется reset.

И да, под нагрузкой (та же самая dd) ocfs2 ноды самопроизвольно перегружаются. Просто так.

Короче, в ocfs2 мы разочаровались. Сейчас попробуем gfs2 с нуля.

Есть-ли какие-нибудь альтернативы данным файловым системам?

fashka ()
Ответ на: комментарий от fashka

а что конкретно надо сделать? может кластерная FS вообще не нужна

gfs2 под управлением RHCS требует нормальный фенсинг - ipmi или что нибудь подобное.

dyasny ★★★★★ ()
Ответ на: комментарий от dyasny

может кластерная FS вообще не нужна

судя по прошлой теме, таки нафиг не нужна, с двумя-то стораджами. но ТС, видимо, жаждет приключений.

anonymous ()
Ответ на: комментарий от dyasny

а что конкретно надо сделать? может кластерная FS вообще не нужна

Надо нодам дать возможность писать/читать на/с полку. Одновременно всем.

fashka ()
Ответ на: комментарий от fashka

это я и так понял, но зачем? что именно ноды делают?

dyasny ★★★★★ ()
Ответ на: комментарий от fashka

GFS2 это позволяет. У меня один таргет по двум нодам раздается (тестовый стенд). Кол-во можно до 10 смело увеличить.

Journalist ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.