LINUX.ORG.RU

Какая нагрузка планируется на такой сторедж?

post-factum ★★★★★ ()
Ответ на: комментарий от post-factum

Чтение/запись небольших файлов. Планируется использовать под хранилище почты, в первую очередь.

zerropull ()
Ответ на: комментарий от zerropull

У гластера не особо хорошо на мелких файлах с кучей iops'ов. Если нагрузка небольшая, то сойдёт, если хайлоад, то напряжно.

Иопсы можешь потестить через fio.

post-factum ★★★★★ ()
Ответ на: комментарий от post-factum

Если нагрузка небольшая, то сойдёт, если хайлоад, то напряжно.

А что под хайлоад? Ceph?

Mr_Alone ★★★★★ ()
Ответ на: комментарий от Mr_Alone

Смотря какой хайлоад. И смотря как использовать гластер (FUSE или API).

Я так понимаю, ТС просто собрался монтировать гластер-шару и скармливать точку монтирования почтовым демонам. Это не сильно хорошая мысль при очень больших иопсах. По API намного меньше оверхеда (потому что нет FUSE), но API гластера поддерживается почти никак сторонним софтом (хотя самба, например, умеет).

Можно, конечно, смотреть в сторону ceph или BeeGFS, но, повторю, нужно понимать, под какие нагрузки сторедж.

post-factum ★★★★★ ()
Ответ на: комментарий от post-factum

Я просто смотрю в сторону Gluster, так как он поддерживается oVirt. И судя по всему в этой связке Gluster отдаёт файлы по встроенному NFS. На одном кластере сейчас Ceph, и что он бедный только не переживал, а всё равно работает. Вот и думаю, стоит ли вообще заморачиваться с Gluster в случае с oVirt.

Mr_Alone ★★★★★ ()
Ответ на: комментарий от Mr_Alone

в этой связке Gluster отдаёт файлы по встроенному NFS

А не по API разве?

post-factum ★★★★★ ()
Ответ на: комментарий от post-factum

В одном месте пишут, что используется libgfapi, но в рассылке за июнь 2014 «We have been running GlusterFS 3.4 with RHEV in production for about six months now. We were waiting for libgfapi support to show up for long time but finally we had to give up waiting and start using fuse mounts. ». Так что непонятно. :-)

Mr_Alone ★★★★★ ()
Ответ на: комментарий от post-factum

У гластера не особо хорошо на мелких файлах с кучей iops'ов

Зато в R/O можно тянуть прямо с локальной реплики с обычной FS.

KRoN73 ★★★★★ ()
Ответ на: комментарий от post-factum

О BeeGFS я почитаю, но о Ceph к сожалению пришлось отказаться. Среди требований: ФС должна уметь работать уже на двух серверах, тогда как под ceph требуется минимум 5 или 6, на сколько я начитался. Плюс важным требованием является возможность быстрого и простого развертывания. Я не пробовал Люстру развернуть на Fedora, но на CentOS у меня она так и не заработала. Может быть руки кривые, я понимаю. Но не получилось. ГластерФС тоже захотела нормально развернуться только на Дебиан и Федоре. Собственно, на ЦентОС мне удалось развернуть только OCFS2, да и то только на версии 6,3. Не более поздней. На 7,0 уже не разворачивалась.

Или по Ceph я не прав и она развернется на двух серваках? Люстра на Федоре тоже нормально развернется?

И почему я сразу за советами сюда не пошел, а потратил на Гугление неделю...

zerropull ()
Ответ на: комментарий от zerropull

Ceph можно и на одном хосте запустить. Только это некошерно.

Эксплуатируем гластер на 7-й центоси без проблем (три ноды, две из них в реплике). До этого была шестая центось тоже на три ноды, но в другой конфигурации и тоже без проблем.

post-factum ★★★★★ ()
Последнее исправление: post-factum (всего исправлений: 1)
Ответ на: комментарий от KRoN73

Зато в R/O можно тянуть прямо с локальной реплики с обычной FS.

Кстати, сейчас обнаружил, что если в локальный brick тома (прямо на обычной FS) кинуть файл, то он отлично подхватывается сетью и раскидывается по другим машинам. Т.е. локально можно не только читать быстро, но и писать (если не важна синхронность изменений).

Никто не оценивал, насколько корректна такая работа? :)

KRoN73 ★★★★★ ()
Ответ на: комментарий от post-factum

Дело в том, что я читал о ceph статью, в которой было написано про необходимость в ceph минимум трех нодов только под метаданные.

А кто нибудь может скинуть нормальный мануал по настройке Гластера и/или Цепха на ЦентОС7.0? Что ни нахожу, нифига не работает(((

zerropull ()
Ответ на: комментарий от zerropull

Неожиданный поворот. На Оф.сайте ceph.com появился юзер-гид для седьмой ЦентОС. В начале предыдущей недели небыло. Я сейчас попробую этим воспользоваться, но... Вы уверены, что Ceph заработает на двух серверах? Т.е. в принципе, заработает? Заработает так, как надо. Т.е. с возможностью добавления и удаления НОДов на лету, распределением данных по НОДам, выдержит нагрузочное тестирование...

zerropull ()
Ответ на: комментарий от zerropull

Или даже скажем так: Я могу расположить монитор и один из файловых серверов на одном физическом сервере, так? А на втором серваке уже сделать только файловое хранилище.

zerropull ()
Ответ на: комментарий от zerropull

Вы уверены, что Ceph заработает на двух серверах?

Ceph и на одном заработает. Но Ceph != CephFS.

Mr_Alone ★★★★★ ()
Ответ на: комментарий от Mr_Alone

Простите за глупый вопрос, но что эта ваша фраза означает? И кстати, кто что порекомендует использовать для Ceph`а в качестве точки монтирования?

zerropull ()
Ответ на: комментарий от zerropull

Ну вот пример. На двух нодах он (ceph) мне предлагает развернуть роль монитора и роль OSD на втором серваке. Но о какой отказоустойчивости вообще тогда можно говорит?:) Я сейчас конечно попробую монитор засунуть на osd...

zerropull ()

тестировать можно при помощи iozone.

silw ★★★★★ ()

форматирование и работа с бтрфс)

darkenshvein ★★★★★ ()
Ответ на: комментарий от zerropull

Люстра под Centos 6.X работает на ура и разворачивается за несколько минут (не считая чтения доков). Но вот только только она не очень заточена под большие массивы мелких файлов. Доходит до того, что администраторы некоторых кластеров предлагают создавать ФС в файлах, монтировать через loopback и использовать именно в таком виде для мелких файлов. Советую очень внимательно ознакомиться с соответствующими гайдами и понятием страйпинга в люстре.

silw ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.