LINUX.ORG.RU

Ceph 0.94 - распределенное отказоустойчивое хранилище данных

 ,


5

3

7 апреля стала доступна новая версия отказоустойчивого распределенного хранилища данных Ceph.

Ceph — это масштабируемое петабайтное хранилище с открытым исходным кодом, в основе которого лежит принцип объединения дисковых пространств серверов в единое объектное хранилище, что позволяет реализовать гибкую многократную псевдослучайную избыточность данных. Ceph предоставляет на выбор три различных интерфейса для работы с хранилищем:

  • RADOS Gateway (RGW) — S3- и Swift-совместимый RESTful интерфейс;
  • RADOS block device (RBD) — блочное устройство с поддержкой тонкого роста и снэпшотами;
  • Ceph FS — распределенная POSIX-совместимая файловая система.

Для горячих голов: CephFS пока ещё не рекомендуется использовать для хранения информации, которую будет жалко потерять. :)

Основные изменения:

  • увеличено быстродействие RADOS: в OSD (Object Storage Daemon) и в библиотеку librados внесён ряд улучшений, направленных на улучшение работы на flash-накопителях, а также на улучшение параллелизма и масштабируемости системы на быстрых узлах;
  • добавлено версионирование объектов RGW: добавлена поддержка S3 obect versioning API;
  • добавлено шаридирование бакетов RGW: индексы бакетов теперь поддерживают разнесение на разные узлы, что увеличивает быстродействие для больших бакетов;
  • добавлены карты объектов RBD: создан механизм, отслеживающий аллокации частей образов блочных устройств, что увеличивает производительность операций клонирования, удаления и др.
  • много улучшений в механизме создания снэпшотов CephFS;
  • много улучшений направленных на повышение скорости и стабильности в утилитах восстановления и диагностики CephFS;
  • улучшения в CRUSH*): добавлен новый алгоритм (straw2), который позволяет снизить количество миграций при переконфигурировании кластера.

*) CRUSH - Controlled Replication Under Scalable Hashing; алгоритм определяющий распределение данных по узлам и, соответственно, их извлечение.

исходный код

>>> Подробности

★★★★★

Проверено: maxcom ()

Ответ на: комментарий от tailgunner

Отличная поделка, надо сказать, при этом.

anonymous ()
Ответ на: комментарий от anonymous

Отличная поделка, надо сказать

На эту тему есть разные мнения.

tailgunner ★★★★★ ()

Так с CephFS там до сих пор всё плохо? Есть свежие отчеты от тех кто пробовал, хотя бы на зеркале продакшона?

anonymous ()
Ответ на: комментарий от tailgunner

Хорошо, тогда поставим вопрос ребром: есть поделки получше для продакшона?

anonymous ()
Ответ на: комментарий от reprimand

а зачем, если есть zfs?

Затем, что компьтеров бывает больше одного.

anonymous ()
Ответ на: комментарий от reprimand

а зачем, если есть zfs?

z/OS Distributed File Service? так она закрытая же

shty ★★★★★ ()
Ответ на: комментарий от anonymous

Так с CephFS там до сих пор всё плохо?

пишут уже можно пробовать, но пока не стоит хранить критические данные, то есть дело движется

shty ★★★★★ ()

Круто! Подожду до следующего point-релиза и обновлю свой игрушечный кластер.

mironov_ivan ★★★★★ ()
Ответ на: комментарий от anonymous

поставим вопрос ребром: есть поделки получше для продакшона?

Поставим ответ ребром: да, есть.

tailgunner ★★★★★ ()
Ответ на: комментарий от tailgunner

Ты специально не перечислил их, дабы получить следующий вопрос?

anonymous ()
Ответ на: комментарий от tailgunner

поставим вопрос ребром: есть поделки получше для продакшона?

Поставим ответ ребром: да, есть.

Ты про маслофс лучшефс?

Indexator ★★★ ()
Ответ на: комментарий от anonymous

Ты специально не перечислил их, дабы получить следующий вопрос?

Да.

tailgunner ★★★★★ ()
Ответ на: комментарий от Indexator

Ты про маслофс лучшефс?

Нет, конечно. Я про скромные ext4 и XFS. То, что включено в CentOS, RHEL, Debian, Ubuntu.

tailgunner ★★★★★ ()
Последнее исправление: tailgunner (всего исправлений: 1)
Ответ на: комментарий от reprimand

У тебя есть петабайт жестких дисков подключеных к одной машине и терабайт ОЗУ чтобы всем этим управлять? Тогда да, можно попробовать zfs, мало-ли

vertexua ★★★☆☆ ()
Ответ на: комментарий от anonymous

Ну ты и тролль...

Это реальность. ZFS мало какому продакшену необходима.

tailgunner ★★★★★ ()

Прекрасно. Еще бы теперь найти людей, которые реально используют, что бы задать много глупых вопросов.

TuLiss ()

добавлены карты объектов RBD: создан механизм, отслеживающий аллокации частей образов блочных устройств, что увеличивает производительность операций клонирования, удаления и др.

Надеюсь, что так. А то создал как-то нечаянно rbd в 10 экзабайт, пришлось весь пул с ним грохать, благо данных ещё не было, всё только тестировалось.

JaM ()
Ответ на: комментарий от tailgunner

Ты специально не перечислил их, дабы получить следующий вопрос?

Да.

Вы всегда отвечаете вопросом на ответ

anonymous ()
Ответ на: комментарий от tailgunner

Это реальность. ZFS мало какому продакшену необходима.

Использую zfs без экзабай RAM в проде. Обычные, я бы даже сказал заурядные серверы. Commodity hardware во все поля. Всё отлично, проблем не обнаружено, в отличие от сходного сетапа с lvm2. ЧЯДНТ?

anonymous ()
Ответ на: комментарий от anonymous

Использую zfs без экзабай RAM в проде.

причом тут ceph? хоть бы с глюстерой тогда сравнивали...

anonymous ()
Ответ на: комментарий от tailgunner

есть к примеру 60 компьютеров. надо на них сделать общую файловую сичтему. я посмотрю как это будет делаться на XFS и EXT4.

Slackware_user ★★★★★ ()
Ответ на: комментарий от Slackware_user

есть к примеру 60 компьютеров. надо на них сделать общую файловую сичтему

Есть, к примеру, 60 компьютеров, на которых не надо делать общую файловую систему, и на которых даже дисков нет. Я посмотрю, как ты поставишь ZFS в такой продакшен.

tailgunner ★★★★★ ()
Ответ на: комментарий от tailgunner

а зачем на них ZFS если там нет дисков?:) пусть как тумбочки стоят )

если не надо делать общую фс то поделки типа цефа\ люстры\ гластера не нужны.

проблема в том что иногда такая необходимость есть

Slackware_user ★★★★★ ()
Ответ на: комментарий от Slackware_user

а зачем на них ZFS если там нет дисков?:)

Потому что продакшен. Для него нет ничего лучше ZFS.

проблема в том что иногда такая необходимость есть

Конечно. Вряд ли Ceph нужен для создания просто общей ФС, но для очень большой общей ФС - вариант.

tailgunner ★★★★★ ()
Ответ на: комментарий от tailgunner

Ты специально не перечислил их, дабы получить следующий вопрос?

Да.

Так перечисли уже список достойных альтернатив Ceph.

AngryElf ★★★★★ ()
Ответ на: комментарий от tailgunner

ну пока они теряют данные про очень большой им лучше молчать мне кажется.

Slackware_user ★★★★★ ()
Ответ на: комментарий от AngryElf

Присоединяется к разговору о ZFS

Просит список альтернатив Ceph

Хм, ладно. GlusterFS.

tailgunner ★★★★★ ()
Ответ на: комментарий от Slackware_user

ну пока они теряют данные

Кто «они»?

про очень большой им лучше молчать мне кажется.

Возможно. Пойнт в том, что «очень большие» не всем нужны.

tailgunner ★★★★★ ()
Ответ на: комментарий от tailgunner

cepf, вроде у них формулировка была что не рекомендуется хранить важные данные.

ну очень большие распределенно при этом нужны еще меньшему количеству...

Slackware_user ★★★★★ ()
Ответ на: комментарий от Slackware_user

cepf, вроде у них формулировка была что не рекомендуется хранить важные данные.

Это было сказано о CephFS, которая является самым верхним слоем из 3-х слоев Ceph. Два нижних уже рекомендованы к использованию в продакшене.

ну очень большие распределенно при этом нужны еще меньшему количеству...

Насколько я понимаю, Ceph предназначен для построения очень больших FS на commodity hardware - здесь хранилище может быть только распределенное.

tailgunner ★★★★★ ()
Ответ на: комментарий от tailgunner

т.е. я так понял распределенный блочный девайс у них уже есть?

Slackware_user ★★★★★ ()
Ответ на: комментарий от Slackware_user

т.е. я так понял распределенный блочный девайс у них уже есть?

Да (и у них _всё_ распределенное). Ты Ъ и не ходишь по ссылкам?

tailgunner ★★★★★ ()
Ответ на: комментарий от tailgunner

не, просто когда в таком была надобность у них не было ничего рабочего :) потому glusterfs

Slackware_user ★★★★★ ()
Ответ на: комментарий от tailgunner

Это было сказано о CephFS, которая является самым верхним слоем из 3-х слоев Ceph. Два нижних уже рекомендованы к использованию в продакшене.

Занудства ради, СephFS - один из двух верхних слоёв ceph, так как он работает независимо от rbd.

Насколько я понимаю, Ceph предназначен для построения очень больших FS на commodity hardware - здесь хранилище может быть только распределенное.

Необязательно FS. Можно напрямую использовать объектное хранилище без прослойки фс. Ну и rbd - это тоже не очень большая фс, а их пул, скорее.

В принципе, Ceph требует нескольких устройств хранения, но эти устройства могут находится и на одной машине. Сложно представить, правда, зачем такое может понадобится, кроме как для тестов.

JaM ()
Ответ на: комментарий от Slackware_user

Glusterfs по сравнению с ceph - тормоз. Кроме того в ceph более гибкие правила репликации. Но у самого ceph архитектурные ограничения в производительности, неотключаемый журнал. Для блочного доступа более оптимален sheepdog. По тестам, быстрее ceph раза в три. Что касается надежности ceph то есть грустная история взлета и падения сервиса cloudmouse.

Marvin ()
Последнее исправление: Marvin (всего исправлений: 1)
Ответ на: комментарий от JaM

Насколько я понимаю, Ceph предназначен для построения очень больших FS на commodity hardware - здесь хранилище может быть только распределенное.

Необязательно FS.

Интересно, какие приложения используют Ceph вообще без FS.

tailgunner ★★★★★ ()
Ответ на: комментарий от JaM

В принципе, Ceph требует нескольких устройств хранения, но эти устройства могут находится и на одной машине. Сложно представить, правда, зачем такое может понадобится, кроме как для тестов.

ну, например, чтобы, начиная с одной машины, можно было потом растащить приложение когда потребуется

shty ★★★★★ ()
Ответ на: комментарий от Marvin

Что касается надежности ceph то есть грустная история взлета и падения сервиса cloudmouse.

это надежность решения масштабных задач пытливыми «студенческими» руками незадорого

shty ★★★★★ ()
Последнее исправление: shty (всего исправлений: 1)
Ответ на: комментарий от tailgunner

Интересно, какие приложения используют Ceph вообще без FS.

например OpenStack

shty ★★★★★ ()
Ответ на: комментарий от shty

Интересно, какие приложения используют Ceph вообще без FS.

например OpenStack

Для хранения образов? Окей, но там огрызок интерфейса ФС создает REST.

tailgunner ★★★★★ ()
Ответ на: комментарий от tailgunner

Интересно, какие приложения используют Ceph вообще без FS.

Фиг знает, не интересовался, мне фс нужна. Думаю, в основном, самописные поделия на librados, там простое хранилище ключ-значение.

JaM ()
Ответ на: комментарий от reprimand

зачем, если есть zfs?

Кластеризуй мне ZFS. Как сделаешь - приходи.

По теме - отличная новость. Пользуюсь RBD в качестве хранилища для виртуальных машин KVM и CephFS - для хранения данных из своего инстанса ownCloud. Всё шикарно работает.

Pinkbyte ★★★★★ ()
Ответ на: комментарий от anonymous

Что конкретно тебя интересует? У меня масштабы крохотные(даже терабайта не будет), уровень репликации - 2, osd-нод - всего 6. Работает, есть не просит.

Pinkbyte ★★★★★ ()
Ответ на: комментарий от Pinkbyte

Сколько placement groups и сколько памяти ceph-osd жрут?

JaM ()
Ответ на: комментарий от JaM

256(подумываю увеличить, соответственно рекомендациям), памяти на каждой ноде ceph-osd жрёт примерно 300-500 мегабайт(в зависимости от размера самих разделов, где лежат данные OSD). Все системы - 64-битные.

Pinkbyte ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.