LINUX.ORG.RU
ФорумAdmin

zfs дедупликация, уже готово?


0

2

Добрый день, интересует сабж на Ubuntu Linux для критичных данных 1-4TB данных примерно.

Можно замутить машинку с 3-4 гб ОЗУ для этого.

Кто реально пробовал дедупликацию на Linux zfs? Сейчас стоит rdiff-backup, полностью устраивает, кроме одной задачи, вот для неё хочу попробовать zfs, или вовсе все задачи на неё перевесить, если оно имеет смысл в продакшене.

P.S. Хочется бекапить ORACLE бекапы на том RAID1 md , а поверх него создать пул zfs с дедупликацией. - Знаю, что zfs умеет RAID, но хочется обойтись более проверенным md raid

P.P.S. а что будет если будет у меня одинаковых три файла? - Место будет занято только одним? Или будет заниматься как двумя файлами? :)

★★★★★

Ответ на: комментарий от Kindly_Cat

Ну он скажет сейчас, что нужно FreeBSD пользовать для этого, а не убогий Линукс... - Мне нечего будет ему противостоять, ибо он будет скорее прав чем нет.

Но хочется всё же для сервера backup Linux... - Давно уже очень я FreeBSD не трогал...

DALDON ★★★★★ ()

1-4TB данных примерно
машинку с 3-4 гб ОЗУ для этого

Для работающей дедупликации одного ТБ данных на ZFS нужно около 20ГБ ОЗУ ;)

madgnu ★★★★★ ()
Ответ на: комментарий от DALDON

Ну он скажет сейчас, что нужно FreeBSD пользовать для этого, а не убогий Линукс

А какая разница? ZFSonLinux поддерживает 28-ую версию пула, а дедупликация появилась несколько раньше.

Kindly_Cat ()
Ответ на: комментарий от madgnu

Для работающей дедупликации одного ТБ данных на ZFS нужно около 20ГБ ОЗУ ;)

Ну по ссылке про 3 гига для часто повторяемых данных. Бисти обьелся дрожжей чтоль?

devl547 ★★★★★ ()
Ответ на: комментарий от devl547

Одна запись таблицы дедупликации занимает 160 байт (в оперативке). Если брать 1ТБ раздел стандартными 4К блоками, получим 40 гигов. Если взять реальный случай с 50% уникальных блоков — получим около 20ГБ.

madgnu ★★★★★ ()
Ответ на: комментарий от DALDON

на 128кб блоке, говорят что это не совсем так

Чем больше блок, тем меньше процент дедуплицируемых данных (найти одинаковые блоки большого размера сложнее).

madgnu ★★★★★ ()
Ответ на: комментарий от madgnu

Это я понимаю. Не ужели всё так плохо? Что-то не верится прям.

DALDON ★★★★★ ()

zfs

Linux

критичных данных 1-4TB

Этому нельзя даже фильмы с Джеки Чаном доверять на данный момент. Просто сделай LVM с RAID или используй FreeBSD, Solaris, Windows Server

vertexua ★★★★★ ()
Последнее исправление: vertexua (всего исправлений: 1)

Там же проблемы с надежностью.

kerneliq ★★★★★ ()
Ответ на: комментарий от vertexua

Ты сам-то статьи читаешь? Во-первых у фрактала гента, в которой дебильных автоснапшотов нет. Во-вторых проблем с самбой на данный момент нет, если руки выпрямить (можно через собирание модуля, да). В-третьих использовать сейчас 686 - дебилизм.

Больше проблем в статье нет.

tazhate ★★★★★ ()

Как считать озу для дедупликации тебе уже рассказали, так что сам думай нужно ли оно тебе. А работать - работает.

tazhate ★★★★★ ()
Ответ на: комментарий от vertexua

http://habrahabr.ru/post/153461/

Не увидел никаких проблем, кроме тех, что создаются самими пользователями.

Ну и читай ЛОР

Спасибо, посмеялся. Я лучше нормальные технические форумы почитаю.

Kindly_Cat ()
Ответ на: комментарий от vertexua

Какой фрактал?

А стоп. Я ступил, забыл что не он топик создал :)
Убунтопроблемы, чо, позволяйте дальше ментейнерам думать за вас.

Ты видел о блокировках в ядре?

ЗАЧЕМ нужен mdadm, если есть raid-z? В остальных случах их пофиксили, читай багу на гитхабе.

tazhate ★★★★★ ()
Ответ на: комментарий от vertexua

Сам то все свои документы доверил?

Продакшн сервак проверил, на котором как раз все это дело крутится.

tazhate ★★★★★ ()
Ответ на: комментарий от Kindly_Cat

Я линуксом стараюсь не пользоваться и другим не советую им пользоваться. Очень неоднозначная система: со стороны, если посмотреть, вроде всё хорошо, а на деле — детские проблемы, граничащие с неадекватностью ответных реакций.

iZEN ★★★★★ ()
Ответ на: комментарий от iZEN

Хм, у меня в зависимостях гнома на FreeBSD поставился Apache. Я менял пару флагов, но похожего на «затянуть apache» вроде не было

vertexua ★★★★★ ()
Последнее исправление: vertexua (всего исправлений: 2)

Хочется бекапить ORACLE бекапы

С некоторых пор Oracle ZFSv28 и ZFSv28, развиваемая сообществом, стали несовместимыми.

Знаю, что zfs умеет RAID, но хочется обойтись более проверенным md raid

md RAID до сих пор творит чудеса. Так что в его адекватности вопросов больше, чем в проверенных временем собственных возможностях ZFS по поддержке отказоустойчивых механизмов хранения.

iZEN ★★★★★ ()
Ответ на: комментарий от vertexua

у меня в зависимостях гнома на FreeBSD поставился Apache. Я менял пару флагов, но похожего на «затянуть apache» вроде не было

А у меня почему-то не ставятся такие зависимости к DE, как Apache, MySQL и другой бред любителей навороченных сред. Наверно просто скурпулёзно подхожу к расстановке опций конфигурирования портов для сборки.

iZEN ★★★★★ ()
Ответ на: комментарий от unanimous
Ответ на: комментарий от iZEN
Ответ на: комментарий от Kindly_Cat

ZFSonLinux поддерживает 28-ую версию пула, а дедупликация появилась несколько раньше.

Только вот стабильностью там и не пахло

xorik ★★★★★ ()
Ответ на: комментарий от xorik

Да и без этой фичи отзывы в инете не очень хорошие. При том что сама ZFS - торт

vertexua ★★★★★ ()
Ответ на: комментарий от Kindly_Cat
$ zgrep CONFIG_PREEMPT /proc/config.gz 
# CONFIG_PREEMPT_RCU is not set
CONFIG_PREEMPT_NONE=y
# CONFIG_PREEMPT_VOLUNTARY is not set
# CONFIG_PREEMPT is not set
xorik ★★★★★ ()
Ответ на: комментарий от vertexua

Статью читал, вроде про дедупликацию там ни слова, но автор и не проверял её работу правда...

DALDON ★★★★★ ()
Ответ на: комментарий от iZEN

Речь о бекапе СУБД Oracle конечно по NFS с HP-UX древнего. А на о ZFSv28.

Ок. Если буду zfs поднимать, и RAID также от неё разверну.

DALDON ★★★★★ ()

окромя того что всё-таки жрет оно немеряно оперативы на некоторых операциях(меня спасает то, что у меня ее 12 гигов) - работает вполне сносно. Какие-то суперкритичные данные я туда не кладу - на мой взгляд ФС еще не 100% production-ready. Но весь мой devspace так-сказать крутится там. Мне дедупликация очень помогает - держать кучу почти одинаковых чрутов с гентой для сборки/тестирования пакетов тратя минимум места. Да и снапшоты очень спасают в некоторых случаях.

И еще - старых версиях(до 0.6.0_rc10) при интенсивном IO и ограниченном размере кеша через некоторое время производительность падала почти до нуля(ну и плюс память текла). Лечилось это тогда сурово - выгрузкой/вгрузкой модулей ядра. Как сейчас - хз, воспроизвести снова это мне не удалось. Есть еще пара багов(один я обнаружил сам и зарепортил), но мне они жить не мешают - они могут всплыть, если держать ZFS на корне, что я пока практиковал только в виртуальных машинах(во избежании, так сказать)

Pinkbyte ★★★★★ ()
Ответ на: комментарий от iZEN

Посвежее — по первой ссылке.

по первой ссылке я ничего не увидел чтобы указывало на проблемы.

Я могу в таком же духе сказать что по www.linux.org.ru/search.jsp?q=zfs 100500 проблем в zfs

true_admin ★★★★★ ()
Ответ на: комментарий от Pinkbyte

окромя того что всё-таки жрет оно немеряно оперативы на некоторых операциях(меня спасает то, что у меня ее 12 гигов) - работает вполне сносно. Если не хватит ей оперативы, тупить начнёт и всё? Или привет данным?)

Мне не для корня. - Мне хочется бекапов с пяток держать по 200гб, регулярно обновляемых.

И еще - старых версиях(до 0.6.0_rc10

А сейчас уже какая? Это версия модуля zfs для ядра Linux?

DALDON ★★★★★ ()
Ответ на: комментарий от DALDON

А сейчас уже какая? Это версия модуля zfs для ядра Linux?

Да. Сейчас - 0.6.0_rc12

Мне хочется бекапов с пяток держать по 200гб, регулярно обновляемых.

Тогда пойдет. Данные на ZFS я не терял. За почти 1 год использования scrub делал только один раз - и то, чтобы посмотреть как он работает :-).

Pinkbyte ★★★★★ ()

Знаю, что zfs умеет RAID, но хочется обойтись более проверенным md raid

это зря.

Кто реально пробовал дедупликацию на Linux zfs?

я пробовал. были проблемы с доступностью снапшотов, были глюки с монтированием, были глюки с выпаданием диска с массива.

вобщем не готово. Но когда будет готово, лучше делать рейд средствами zfs.

redixin ★★★★ ()
Ответ на: комментарий от iZEN

со стороны, если посмотреть, вроде всё хорошо, а на деле — детские проблемы, граничащие с неадекватностью ответных реакций.

У нас костыли хотя бы крепко прибиты и нет проблем, от которых возникает призрак винды за головой.

tazhate ★★★★★ ()
Ответ на: комментарий от true_admin

2008 год. Это было почти 5 лет назад. Посвежее примеры будут?

так в архитектуре md ничего за это время не изменилось, так что можешь проделать все показанное там самостоятельно и убедиться, что md все такое унылое как и раньше

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.