27 октября, после более двух лет разработки, состоялся выпуск стабильной версии 1.2.0 проекта Brotli (официальный сайт и документация API), распространяемого по лицензии MIT.

Brotli – это универсальный алгоритм сжатия без потерь, который сжимает данные с помощью комбинации современного варианта алгоритма LZ77, кодирования Хаффмана и моделирования контекста второго порядка, с коэффициентом сжатия, сопоставимым с лучшими из доступных в настоящее время универсальных методов сжатия. По скорости он схож с deflate, но обеспечивает более плотное сжатие.

Спецификация формата Brotli определена в RFC 7932.

Основная часть проекта написана на языке C. Также предоставляются биндинги для C#, Go, Java, JavaScript и Python.

( читать дальше... )

>>> Подробности на GitHub

6 октября состоялся выпуск 0.1.0 фреймворка OpenZL, предназначенного для создания компрессоров данных без потерь.

В проект также входит демонстрационная консольная утилита zli.

Ян Колле (автор Zstandard) написал на форуме encode.su:

Мы открываем исходный код OpenZL – нового подхода к сжатию данных с акцентом на структурированные данные. В большинстве центров обработки данных имеются огромные потоки данных. Однако эти данные редко бывают «случайными» – как правило, они следуют чётко определенной схеме или формату. Обычно с этими форматами знакомы несколько инженеров.

( читать дальше... )

>>> Исходный код на GitHub

>>> Анонс на encode.su

После 11 месяцев разработки и свыше 500 коммитов состоялся выпуск 1.5.7 быстрой библиотеки сжатия данных и консольной утилиты Zstandard, написанных на языке C и распространяемых по лицензиям BSD или GNU GPL 2.

Это значительный выпуск с улучшениями в производительности, стабильности и функциональности, и особенно рекомендуется для пользователей 32-битных систем.

( читать дальше... )

>>> Полный список изменений на GitHub

6 и 12 февраля состоялись выпуски 2.0 и 2.0.1 консольной утилиты lzbench, предназначенной для сравнения многих популярных алгоритмов компрессии и декомпрессии (их список можно получить командой lzbench -l).

( читать дальше... )

>>> Список изменений всех версий на GitHub

17 января, после более чем четырёхлетнего перерыва, состоялся выпуск консольной утилиты lzbench, предназначенной для сравнения скорости многих популярных алгоритмов компрессии и декомпрессии (их список можно получить командой lzbench -l).

( читать дальше... )

>>> Список изменений версии 1.9 на GitHub

После почти двух месяцев разработки состоялся выпуск 1.5.5 библиотеки быстрого сжатия данных и консольной утилиты Zstandard.

Улучшение производительности:

• увеличена скорость сжатия на средних уровнях;

Улучшения консольной утилиты zstd:

• использование mmap при использовании больших словарей;
• увеличение скорости режима --patch-from;
• увеличение скорости на ~+10% при обработке множества маленьких файлов;
• устранена ошибка при записи в директорию без прав на запись.

Документация:

• обновлена спецификация zstd;
• документирована возможность создания «жирных» бинарников для macos;

Другие изменения:

• tests/fullbench может использоваться для нескольких файлов.

>>> Подробности

После более года разработки и 650 коммитов состоялся выпуск 1.5.4 библиотеки быстрого сжатия данных и консольной утилиты Zstandard.

( читать дальше... )

>>> Подробности

Спустя длительный период разработки и тестирования увидел свет выпуск 5.0.0 утилит и библиотек для компрессии xz-utils. Несмотря на номер версии 5, это первый стабильный выпуск xz-utils с этим названием (старое название — lzma-utils), xz-utils полностью совместимы с форматом lzma (как в сжатии в старом формате, так и в его распаковке).

Компрессия базируется на известном (в частности по 7-zip) формате LZMA, код LZMA распространяется по условиям лицензии Public Domain, остальной код xz-utils — по LGPL, GPL.
xz-utils уже были включены в состав многих дистрибутивов, а также активно используются для распространения tarball-ов исходного кода многими разработчиками, начиная с версии 13.0 .txz является форматом пакетов по умолчанию в дистрибутиве Slackware.

xz-utils поддерживаются на множестве платформ, включая Haiku, OS/2, QNX, OpenVMS, DOS, Windows, и, естественно, самые разнообразные *nix.
Новый формат данных xz по сравнению со старым (lzma) включает возможность использования в потоке контрольных данных (например, crc32/64 или sha-256), возможность использования дополнительных фильтров и цепочек фильтров, в том числе и заданных пользователем, для достижения лучшей компрессии отдельных данных (технические подробности по формату xz).

>>> Сайт проекта