LINUX.ORG.RU
ФорумAdmin

zfs дедупликация, уже готово?


0

2

Добрый день, интересует сабж на Ubuntu Linux для критичных данных 1-4TB данных примерно.

Можно замутить машинку с 3-4 гб ОЗУ для этого.

Кто реально пробовал дедупликацию на Linux zfs? Сейчас стоит rdiff-backup, полностью устраивает, кроме одной задачи, вот для неё хочу попробовать zfs, или вовсе все задачи на неё перевесить, если оно имеет смысл в продакшене.

P.S. Хочется бекапить ORACLE бекапы на том RAID1 md , а поверх него создать пул zfs с дедупликацией. - Знаю, что zfs умеет RAID, но хочется обойтись более проверенным md raid

P.P.S. а что будет если будет у меня одинаковых три файла? - Место будет занято только одним? Или будет заниматься как двумя файлами? :)

★★★★★

Последнее исправление: DALDON (всего исправлений: 1)

Хочется бекапить ORACLE бекапы на том RAID1 md

А просто осилить rman backup level 1 не судьба? :-)

no-dashi ★★★★★
()
Ответ на: комментарий от Pinkbyte

Есть еще пара багов(один я обнаружил сам и зарепортил), но мне они жить не мешают - они могут всплыть, если держать ZFS на корне

Ты про что именно?

Kindly_Cat
()
Ответ на: комментарий от Kindly_Cat

Ну например на корне может вполне случиться вот это. Несмотря на корявое описание, относится оно не только к dd, как ты понимаешь...

Pinkbyte ★★★★★
()
Ответ на: комментарий от no-dashi

Ну это не отменяет моей задачи ведь. Ну и его я бекаплю несколько другой утилитой...

DALDON ★★★★★
() автор топика

Готово во фре, но требования к памяти настолько запредельные, что лучше не включать
"...his means you should plan for at least 20GB of system RAM per TB of pool data, if you want to keep the dedup table in RAM, plus any extra memory for other metadata, plus an extra GB for the OS...."
http://constantin.glez.de/blog/2011/07/zfs-dedupe-or-not-dedupe

zgen ★★★★★
()

Лучше манами обкурись. Ибо ты уже сделал минимум две ошибки: хочешь дедупликацию при малом количестве оперативки и хочешь зфс поверх рейда, что не рекомендуют разработчики.

unC0Rr ★★★★★
()
Ответ на: комментарий от DALDON

Упадет не только wp, но и rp (потому что все через таблицы блоков будет делаться)

А уж как оно в линуксе себя поведет - вообще ни разу не понятно.

zgen ★★★★★
()
Ответ на: комментарий от zgen

Готово во фре, но требования к памяти настолько запредельные, что лучше не включать

Сам устриц не ел, а мнение имеешь?

Дедупликация нормально отрабатывает с 8ГБ RAM и нескольких пулах в системе. Другое дело, что скорость I/O при этом проседает заметно.

iZEN ★★★★★
()
Ответ на: комментарий от iZEN

Сам устриц не ел, а мнение имеешь?

fbsd9, raidz, 4tb, 8GB mem, 40GB ssd cache ==>

Другое дело, что скорость I/O при этом проседает заметно.

Именно об этом и говорю, когда у тебя чтение/запись проседает до единиц мегабайт в секунду - дедупликация становится слегка не так нужна.

zgen ★★★★★
()
Ответ на: комментарий от DALDON

В общем наверно не буду я с этим связываться. Дешевле будет купить два веника на пару террабайт, чем памяти кучу покупать, и переживать: а как оно там? :)

DALDON ★★★★★
() автор топика
Ответ на: комментарий от Kindly_Cat

Слушай, а если дедупликацию включить, записать данные, а потом отключить, это как-то скажется на записанных данных?

Судя по проверке - нет, они так и будут дедуплицированы и работа с ними крайне замедлится.

zgen ★★★★★
()
Ответ на: комментарий от zgen

и работа с ними крайне замедлится

А это-то почему? Если надо считать с диска блоки №1,2 и 3, какая разница, уникальны они или нет? А записываться должно уже без проверки хешей.

GAMer ★★★★★
()
Ответ на: комментарий от GAMer

Видимо оно старые данные будет забирать по-прежнему из таблиц, но не грузить их в ОЗУ, а новые писать уже как обычно.

DALDON ★★★★★
() автор топика
Ответ на: комментарий от GAMer

Если надо считать 100500 блоков, из которых физически записан только №48, то чтобы прочесть остальные 100452 блока, нужно 100452 раза подгрузить некислую таблицу в ОЗУ (предварительно выгрузив оттуда кеш) и найти в ней соответствие
1 - 48
2 - 48
3 - 48
...
49 - 48
etc

zgen ★★★★★
()
Ответ на: комментарий от Kindly_Cat

Нет. Но если потом такие данные попробовать, например, скопировать на этот же том - они будут скопированы по настоящему - дедупликация то уже отключена.

Pinkbyte ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.