Подскажите как организовать дедупликацию файлов в системе?

Похоже, что zfs тут будет единственным вариантом (но учти, жрёт zfs при этом в районе 1-1,5 Тб ОЗУ на Тб винча). Есть ещё SDFS, но это немного не то. Опиши цель, может быть дедупликацию можно будет решить иначе.

1-1,5 Тб ОЗУ на Тб винча

Ты имел ввиду гигабайта ОЗУ, видимо.. А то как-то многовато получается.

жрёт zfs при этом в районе 1-1,5 Тб ОЗУ на Тб винча

Зачем тогда нужны винчи? Не проще все хранить в ОЗУ?

Зачем тогда нужны винчи? Не проще все хранить в ОЗУ?

Типа ОЗУ энергонезависимая?

Конечно Гб ОЗУ, моя ошибка.

zfs не катит - это экскаватор а мне нужна лопата. SDFS - аналогично.

есть набор файлов содержимое которых по стечению обстоятельств одинаковое процентов на 40. и есть задача чтобы эти файлы занимали поменьше дискового пространства. гдето несколько тысяч файлов по несколько сотен килобайт.

есть набор файлов содержимое которых по стечению обстоятельств одинаковое процентов на 40. и есть задача чтобы эти файлы занимали поменьше дискового пространства. гдето несколько тысяч файлов по несколько сотен килобайт.

Внезапно: squashfs.

Ну ограничения области применимости понятны. :)

а она юзабельна без (zlib) сжатия?

А вот не знаю, не вникал. Но если тебя устраивает ro, поищи еще какие-нибудь аналогичные FS для встраиваемых систем, их вроде для линукса много наплодили. Поместить все блоки файлов в один большой дедуплицирвоанный блоб, а потом прикрутить структуру, которая будет читать блоки в правильном порядке — вроде не сложная задача, наверняка уже где-то реализована.

(но учти, жрёт zfs при этом в районе 1-1,5 Тб ОЗУ на Тб винча)

Что, при копировании с HDD в память, информация занимает в полтора раза больше места?

а сравнить по md5 и заменить дубликаты симлинками/жёсткими ссылками не катит?

Очепятка же.

у меня файлы совпадаются не целиком а частями.