Файловая система + lz4 сжатие

squashfs :) Очень годная.

btrfs умеет, если не боишься.

zfs

btrfs умеет lzo, но не lz4.

ничессе ! патч был давно, но его так и не впилили в btrfs.
даже использовал сию фичу для диска с вордлистами для перебора.

«Как я писал LZ4 плагин компрессии для Reiser4»

https://habrahabr.ru/post/183230/

В ходе дальнейших исследований (fullbench из состава LZ4 и lz4c vs lzop), было выяснено, что LZ4 теряет все свои свойства при блоках маленького размера, а проявляет заявленные свойства [5] только на больших блоках, к примеру в fullbench по умолчанию 4MiB, в lz4c 8MiB.

Насколько я помню, включение патча lz4 больше не рассматривается.

еще есть zfs.

squashfs - круто, много вариантов сжатия, но нет записи

Я в шоке, что нигде толком нет что ли lz4? Уже и в ядре много где оно есть. Не знаю хуже ли, но тот же squаshfs сравнил на сжатии папки с конфигами, на дефолтных настройках и lz4 мне нравится.

Размер до сжатия 224Мб

time mksquashfs share/ test.lz4 -comp lz4
real	0m1.473s
размер после 95Мб


time mksquashfs share/ test.lzo -comp lzo
real	0m10.247s
размер после 81Мб

Степень компрессии на самом деле не сильно большую роль играет для меня.

А ZFS вообще стоит того гемороя который я увидел на арчвики? Чисто под файлопомойку или корень нужно, без экстранужд и экстрафич.

Под корень, точнее под /usr и /opt (возможно в принципе и под /home) есть скрипт, который запаковывает их в squashfs и монтирует в хитрые места, потом сверху этого через aufs или overlayfs делает слой с возможностью записи и потом всё это монтирует в /usr, /opt и т.п. После того как поверх будет записана инфа можно запустить скрипт ещё раз и дописать в squashfs образ ещё данных. Скрипт сей придумали у нас в AgiliaLinux ныне увы скорее покойной. Последнюю (вроде как) версию можно взять тут: http://pastebin.com/hmaELBjP

Ну а под файлопомойку делать сжатие это дело неблагодарное. Фильмы/картинки сжимаются плохо. Так что не знаю даже, есть ли смысл.

bcachefs, но она вряд ли уже готова.

Райзер выйде - порядок наведе!

На самом деле печальная участь проекта, но хотя бы как-то шевелится. Может быть когда-нибудь стрельнет.

где тесты реально быстрой хрени?

В инете тесты. 2ГБ/с на распаковку на мобильном i5. И для ещё большего шока. В коде lz4 goto используется 88 раз и более того, отчасти именно правильное использование goto делает lz4 таким быстрым).

А какие тесты нужны...

Простой тест обывателя: Решил я попробовать ZFS. Взял старый HDD, приделал к нему раздел zfs. Копирую туда папку вайна с игрой в размере 2.7Гб. Скорость копирования ~60Мб/с.

Включаю lz4 компрессию и повторяю копирование. Скорость копирования ~170Мб/с. Размер папки занимает на диске 1.7Гб.

То есть и экономия в 1Гб с конкретными файлами и скорость записи, и чтения я думаю тоже, вырастает. А если не жмутся файлы, то я думаю не теряю ничего. Процессор при этом 5-10% загружен. Но в целом zfs не очень располагает, хотелось бы нативную ФС и без костылей компрессию.

У современных ссд уже больше может быть линейная скорость.

У PCI-E да, но тогда никакой алгоритм сжатия не даст прироста скорости, если конечно не поставить топовые десктопные i5/i7 процы. А у SATA ограничения всё те же 550МБ/с

Lz4 прошлый век - нихера не жмёт, надо вкручивать zstd сжатие.

Есть патчи для reiser4. Но смысла мало: никаких преимуществ перед lzo

Ext4

Ext4

Спасибо. Попробую.