LINUX.ORG.RU
решено Форум — Development  

Blob storage with deduplication

 ,


0

1

Привет, посоветуйте самое простое хранилище, суть такова. Нужно где-то хранить МНОГО БОЛЬШИХ ФАЙЛОВ. Ну и маленьких тоже. Ожидается много одинаковых или похожих файлов, надо уметь их хранить максимально компактно. Ну примерно как современные VCS, только все их фичи не нужны, зато надо, чтоб оно могло переварить полтерабайта бинарников и не поперхнуться. Желательно безо всяких серверов и без энтерпрайза, минимум понтов, обычный каталог с блобами. Что посоветуете?

← Необзяательная зависимость
fcloseall не работает →

проблему одинаковых фацлов решает дедупликация, а вот с похожими - хз, наверное, только сжатие

Alyssa
()
Ответ на: комментарий от Alyssa

а вот с похожими - хз, наверное, только сжатие

Так дедуплицировать можно не только файлы, но и какие-нибудь мелкие блоки. В zfs это даже как-то настраивается вроде (никогда не пользовался дедупликацией)

lisper-pipisper
()

Храни в любой ФС и не заморачивайся. Полтерабайта любая +- современная совершенно спокойно переварит. И зачем тебе компактность при таких маленьких объемах?

Nagwal ★★★★
()
Ответ на: комментарий от Nagwal

Или у тебя каждый файл по пол терабайта, а суммарно их сотни?

Nagwal ★★★★
()

В итоге до меня допёрло, что можно юзать тот же самый attic, что юзаю для бекапов, он как раз на питоне. Одна проблема, дедупликация с помощью rolling checksums на полтерабайте файлов жрёт многовато памяти, ну да это поправимо.

HeipaVai1o ★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Необзяательная зависимость
Development
fcloseall не работает →