LINUX.ORG.RU
решено ФорумAdmin

dedup quadstor trim/unmap - не врубаюсь в концепцию, товарищи

 , ,


0

4

Товарищи, не понимаю саму основу работы дедупликации я похоже... Подскажет может кто?

Установил я quadstor. Включил dedup, включил сжатие. По iSCSI отдал это на Win7 - закинул дистр ubuntu - поджалось. Скопировал - опа, дедупликация заработала. Всё супер. Взял, увеличил размер виртуального диска до тучи гигабайт - взял накопировал одной и той же Убунту вагон и телега. - Win показывает занятыми десятки гигабайт, dedup - пару гигов. Всё вроде бы здорово. Но... Теперь делаем магию: удаляем все в Windows, и видим, что теперь ntfs показывает что раздел свободен, а quadstor всё те же, занятые пару гигов. Очевидно, что если я начну на сей раздел записывать что-то новое, то в скоре у меня на quadstor в реальности всё место закончится... Ведь ntfs не говорит что надо в действительности почистить то, чего больше нету.

И так, в итоге, что делать то?

Рассмотрим два случая:

1: iSCSI - мне нужно на инициаторе форматировать и монтировать раздел с опциями аля discard? То есть, создавать ext4, и монтировать его с этой опцией?

2: NFS/CIFS - тут что делать? Читаю документацию quadstor, там сказано так: если хотите NFS/CIFS - берите созданное дедуплецированное блочное устройство, создавайте на нем файловую систему, и стандартными средствами отдавайте обычную файловую систему по NFS/CIFS. То есть, на самом quadstor я точно так же просто должен выбрать, условную ext4 с опцией discard, и когда через NFS/CIFS, будет происходить удаление, ни кому не нужные блоки будут чиститься, или что?

Может я вообще чего-то не понимаю в этой жизни? Но я не понимаю как иначе...

★★★★★

так винда помечает как удаленное но не удаляет(так по сути делают все фс), а потом место которое было помечено как свободное пишет поверх него, вот если полностью отформатировать диск(забить нулями) то место на dedupe должно показать как свободное

Samamy ★★★ ()
Последнее исправление: Samamy (всего исправлений: 1)
Ответ на: комментарий от Samamy

Я это понимаю... Но я ведь не буду каждый день форматировать диск. Вместо форматирования, можно запускать sdelete, кстати. Моя задача то, прикинуть уровень дубликации у меня и создать правильный vdisk.

У меня, примерно 7ТБ уникальных данных - всё остальное уже не уникальное. То есть, мне нужно как минимум подготовить хранилище на 8ТБ, а дальше - уже оверразмерить его, скажем, создать виртуальный диск на 20тБ и раздать его по NFS. А дальше - МАГИЯ! Я прямо на сервере где стоит quadstor прицепил дедуплицированное блочное ус-во, на нем создал файловую систему ext4 - с опцией discard, залил туда дистрибутив Убунту, по NFS (4,1 4,2) подключил клиента и с него шарахнул этот дистрибутив - херак, МАГИЯ, всё удалилось :) Повторил тоже самое всё на только ext4 уже прицепил без опции discard, удалил тот же дистр с клиента nfs - херак, и НЕТУ магии, всё осталось по месту так же занято. - То, есть, походу дела, товарищи, по NFS у меня всё завелось..! Сейчас тестирую iscsi в том же ключе!

DALDON ★★★★★ ()
Ответ на: комментарий от DALDON

В виндах можно принудительно включить опцию ssd для диска. Попробуй для iscsi так сделать, может тогда тримать нормально будет.

Deleted ()
Ответ на: комментарий от Deleted

Угу. Винды мне не нужны в целом. Читал что 7ка UNMAP, по крайней мере, точно не передает по iscsi. Сейчас на linux тестирую с инициатора на btrfs

DALDON ★★★★★ ()
Ответ на: комментарий от DALDON

Кстати для производительности лучше трим по рассписанию выполнять, чем дискард в опции монтирования совать.

Deleted ()
Ответ на: комментарий от Deleted

Да, тоже слышал такую тему. Но ещё не разбирался как это делать. Как трим может по расписанию выполняться - мне не ясно. Ведь откуда трим узнает что было удалено пока он не был активен? Смотрит в таблицу файловой системы? И на все остальные блоки которых там нет - шлет TRIM? - Глупо. Стало быть ведет где-то свои таблицы?

DALDON ★★★★★ ()

В первом приближении у меня всё работает, товарищи. Если кому-то нужны пруфы со скриншотами, могу подготовить. Но в целом - всё ОК, как я и ожидал в общем-то :)

DALDON ★★★★★ ()
Ответ на: комментарий от DALDON

systemctl enable fstrim.timer
будет тебе выполнять fstrim раз в неделю.
утилита fstrim как-то долго колупается, потом пишет сколько места освободилось, не вникал в суть происходящего.

Deleted ()
Ответ на: комментарий от Deleted

упоминается так же, что fstrim.timer сделали, т.к. некоторые ssd дохнут от частых тримов (опция монтирования discard).

Deleted ()
Ответ на: комментарий от Deleted

Круто! Понял! Спасибо! Покопаюсь. Можно ли там передавать точки монтирования и т.д. У меня ведь не SSD, а Сеть. Ну главное для меня, что в целом - всё заработало. Это радует. :)

Много удалений у меня не ожидается, это backup сервер будет для proxmox :)

DALDON ★★★★★ ()
Последнее исправление: DALDON (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.