LINUX.ORG.RU

GlusterFS 3.5

 , ,


1

2

Вышла новая версия распределенной файловой системы GlusterFS 3.5, позволяющей организовать работу распределённого на несколько узлов хранилища, развёртываемого поверх POSIX ФС, например Ext4, XFS и Btrfs, с использованием механизма FUSE. GlusterFS предоставляет средства автоматического восстановления после сбоев и обеспечивает практически неограниченную масштабируемость, благодаря отсутствию привязки к централизованному серверу мета-данных. Готовые для установки бинарные пакеты с GlusterFS 3.5 подготовлены для Fedora, RHEL, CentOS, Debian, openSUSE, SLES и Ubuntu.
Неполный список изменений:

  • Переработана архитектура системы геораспределённой репликации (Geo-Replication). Если раньше процесс репликации gsyncd выступал в качестве единой точки отказа, так как он запускался на одном узле кластера, выход которого из строя сулил прекращение geo-репликации, то в новой реализации репликация выполняется на всех узлах, обслуживающих раздел (каждый узел теперь отвечает за синхронизацию хранимых на нём данных). Для определения изменившихся файлов, для которых необходимо выполнить синхронизацию, теперь используется журнал изменений (changelog xlator). Кроме rsync добавлена поддержка нового метода синхронизации «tar+ssh», который может быть востребован в конфигурациях с большим числом мелких файлов.
  • Поддержка создания снапшотов отдельных файлов.
  • Возможность сжатия данных при передаче по сети.
  • Поддержка шифрования данных дисковых разделов на стороне сервера с использованием ключей, доступных только клиенту. Шифруется только содержимое файлов, имена и метаданные остаются незашифрованными. Кроме того, шифрование не применимо при использовании NFS.
  • Автоматическое обнаружение отказа отдельного хранилища (Brick Failure Detection).
  • Увеличено качество ведения логов, добавлено отображение дополнительной статистики и указание причин возникновения тех или иных событий, а также данных о том, какие файлы затрагивают данные события.
  • Новый метод прямого доступа к данным через GFID, позволяющий обратиться к данным в трансляторе изменений.
  • Уход от необходимости перезапуска NFS-сервера при изменении параметров раздела.
  • Расширение числа возможных конфигураций квот от нескольких сотен до 65536 для раздела.
  • Поддержка упреждающего чтения (readdir_ahead) списка директорий для увеличения производительности последовательного чтения директорий.
  • Поддержка операции zerofill для заполнения нулями новых образов виртуальных машин.

>>> Подробности

★★

Проверено: Shaman007 ()

Годно. Пока не использую, юзкейса нет, но за новостями слежу.

Adonai ★★★ ()

Годно. Есть юзкейс.

anonymous ()

так вроде капец ей , и, надеюcь, бангалорским индусам :-)

anonymous ()

Да, HAMMER2 таки запаздывает с релизом. А то - фигак - и окажется, что уже не актуально.

stopitplease ()
Ответ на: комментарий от anonymous

так вроде капец ей

Да вроде жива и бодра. Продаётся рэд хатом как rh storage.

Ivan_qrt ★★★★ ()

Для определения изменившихся файлов, для которых необходимо выполнить синхронизацию, теперь используется журнал изменений (changelog xlator). Кроме rsync добавлена поддержка нового метода синхронизации «tar+ssh», который может быть востребован в конфигурациях с большим числом мелких файлов.

NFS-сервер

А, не, и близко с хаммером не стояло

stopitplease ()

И как это использовать в моём debian 7 ?

rezedent12 ☆☆☆ ()

в этой версии при заполнении одного"кирпича" оно все так же делает IO Error ?

Slackware_user ★★★★★ ()

Чем отличается от HDFS?

Вот только не надо о ЯП упоминать, для нормальных людей это не аргумент

vertexua ★★★☆☆ ()
Ответ на: комментарий от vertexua

Сабж это просто наколенная нашлепка над обычной fs. В общем случае оно не работает. Hadoop над этим разворачивать будут только те, кто ищет приключений на свою задницу :)

Reset ★★★★★ ()
Ответ на: комментарий от stopitplease

Бегло почитал про хамер и не понял в каком месте оно распределённое.

MrClon ★★★★★ ()

FUSE

Оно ж тормозит и проц жрет как не в себя

xorik ★★★★★ ()
Ответ на: комментарий от Slackware_user

Да, вот из-за этой «фичи» в 3.4 пришлось отказаться от гластера.

anonymous ()
Ответ на: комментарий от MrClon

А какое? Но тут даже не столько HAMMER, сколько HAMMER2, потому как HAMMER только один мастер - много слейвов может, а вот hammer2 может и удаленные pfs подмонтировывать и такие же снепшоты отдельных файлов/папок делать, только синхрогизация не на уровне файлов происходит, а на уровне диапазона транзакций. Ясен пень, что синхронизуется ФС целиком (вместе с историей), а не файлы отдельно (я понял, в случае сабжевой ФС это именно так)

stopitplease ()
Ответ на: комментарий от Reset

А какие существуют нормальные альтернативы? Кроме hdfs.

anonymous ()
Ответ на: комментарий от xorik

Оно в итоге работает быстрее NFS. Я проверял.

anonymous ()

Хорошо себя зарекомендовала у нас на предприятии. Новость однозначно позитивная.

PreciousProtection ()
Ответ на: комментарий от anonymous

А какие существуют нормальные альтернативы? Кроме hdfs.

HDFS не альтернатива GlusterFS, не поддерживает некоторые типичные операции для POSIX совместимой ФС. Ближайшие аналоги это Lustre, Ceph. Подбирать распределённую ФС нужно исходя из паттерна использования.

mashina ★★★★★ ()

s/практически неограниченную масштабируемость/теоретически неограниченную масштабируемость/

А так, по-существу: раз 5 пробовал внедрить это в production, каждый раз под нагрузкой так огребал, что зарекался ставить, но уж очень привлекательная идея — надеюсь, что увижу, когда это поделие станет более-менее стабильным.

anonymous ()
Ответ на: комментарий от xorik

FUSE

Оно ж тормозит и проц жрет как не в себя

тем не менее продвигается как энтерпрайз

kto_tama ★★★★★ ()
Ответ на: комментарий от kto_tama

тем не менее продвигается как энтерпрайз

А что сейчас ксати на тру кластерах юзается?

xorik ★★★★★ ()
Ответ на: комментарий от xorik

А что сейчас ксати на тру кластерах юзается?

Очень модно и молодёжно scale-out технологию использовать.

mv ★★★★★ ()
Ответ на: комментарий от xorik

FUSE можно не использовать. Я провёл тесты с нашим юз-кейсом - много общих и очень больших файлов, но каждый пользователь часто ограничивается довольно небольшим их подмножеством - получается идеально. Подключение по NFS, конечно включён FS-cache для этого.

Главное в администрировании довольно простая система.

voronaam ★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.