LINUX.ORG.RU

Создатель LZ4 представил механизм сжатия ZSTD

 , ,


1

3

Zstd (сокращение от Zstandard) — новый алгоритм сжатия без потерь, сочетающий высокую степень сжатия и огромную скорость, подходящий для повседневных нужд, то есть таких, которые не требуют предельного сжатия (как у LZMA или ZPAQ) или предельной скорости (как у LZ4).

Программа распространяется под лицензией BSD и доступна на github.

Так, на процессоре Core i5-4300U с частотой 1.9 GHz новый алгоритм обеспечивает скорость сжатия в 201 Мб/сек при коэффициенте 2.872, и скорость распаковки на уровне 498 Мб/сек.

По словам автора, скорость сжатия может достигать 200 Мб/сек на ядро, распаковки — 500 Мб/сек на ядро, в зависимости от конфигураций. Более подробную информацию можно найти по ссылке ниже.

>>> Подробности



Проверено: Shaman007 ()

Погонял на исходниках ядра — преимуществ не увидел.

crowbar ()
Ответ на: комментарий от intelfx

Слышать что-то про стандарты от systemd-фанбоя - это весьма странно.

devl547 ★★★★★ ()

Для каких повседневных нужд, кроме сжатия медиафайлов, сейчас нужна непрозрачная компрессия?

Axon ★★★★★ ()
Последнее исправление: Axon (всего исправлений: 1)
Ответ на: комментарий от Alyssa

перед lz4. чуть лучше степень сжатия, сильно медленнее скорость.

crowbar ()
Ответ на: комментарий от anonymous

сильный аргумент, силы сторонников systemd сломлены этой картинкой

crowbar ()
Ответ на: комментарий от Axon

Для сжатия исполняемых файлов (в составе дистрибутивов программ) и их исходных текстов.

intelfx ★★★★★ ()
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от intelfx

Для сжатия исполняемых файлов

Зачем?

и их исходных текстов.

Тут согласен. Но там по инерции до сих пор используют bzip2 и gzip, и всех всё устраивает...

Axon ★★★★★ ()
Последнее исправление: Axon (всего исправлений: 2)
Ответ на: комментарий от intelfx

А толку-то. Сейчас модно писать пакетные менеджеры на питоне, это нивелирует всю ценность применения подобного алгоритма в этой сфере. Хотя разработчика yum(8) камазом уже переехали. Карма в действии.

kirk_johnson ★☆ ()
Ответ на: комментарий от intelfx

Этот алгоритм не дублирует свойства уже существующих, поэтому нет.

Plcmn ()
Ответ на: комментарий от Axon

Зачем?

# pacman -S $(pacman -Qqn)

[...]

Будет загружено: 570,55 MiB
Будет установлено: 2407,70 MiB

[...]

Но там по инерции до сих пор используют bzip2 и gzip, и всех всё устраивает...

А я и не утверждаю, что нужно что-то менять. Я вообще на другой вопрос отвечал.

intelfx ★★★★★ ()
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от Axon

Тут согласен. Но там по инерции до сих пор используют bzip2 и gzip, и всех всё устраивает...

Давно уже xz жмут.

mashina ★★★★★ ()
Ответ на: комментарий от Plcmn

Это не имеет значения. Новому стандарту трудно стать убийцей всех предыдущих даже при наличии каких-либо уникальных свойств.

intelfx ★★★★★ ()

страсти то какие. ждём в сквоше иначе так и останется никому не нужным поделием.

darkenshvein ★★★★★ ()
Ответ на: комментарий от intelfx

Для сжатия исполняемых файлов

upx-lzma, но это г..но, лучше на уровне ФС сжимать.

и их исходных текстов.

Для таких случаев анестезиолог lrzip написал.

devl547 ★★★★★ ()

Слова «беспотерьный» нет - переформулируй фразу на «новый алгоритм сжатия без потерь».

kostik87 ★★★★★ ()
Ответ на: комментарий от devl547

upx-lzma
lrzip

Я отвечал на вопрос о нужности сжатия как такового, а не какого-то конкретного формата.

лучше на уровне ФС сжимать.

Там в скобочках примечание.

intelfx ★★★★★ ()

при коэффициенте 2.872

Что хоть сжимали-то? Иначе цифры ни о чём, как «работает до 10 раз дольше».

Pythagoras ★★ ()

Так, на процессоре Core i5-4300U с частотой 1.9 GHz новый алгоритм обеспечивает скорость сжатия в 201 Мб/сек при коэффициенте 2.872, и скорость распаковки на уровне 498 Мб/сек.

Убейтесь о стену! Я на своего динозаврика последнюю федедору поставил. Как у меня это будет?

Задрали разработчики с топовым железом!!!!!!!!11111 Мля!

mandala ★★★★ ()
Ответ на: комментарий от Axon

Но там по инерции до сих пор используют bzip2 и gzip, и всех всё устраивает...

К сожалению не всех

Pinkbyte ★★★★★ ()

беспотерьный алгоритм сжатия

Исправь на

алгоритм сжатия без потерь

Deleted ()

У автора необычный (не значит плохой) способ использования препроцессора.

Deleted ()
Ответ на: комментарий от mashina

Ни разу не видел. Обычно .tar.gz, реже .tar.gz2, пару раз встречал .zip.

Axon ★★★★★ ()
Последнее исправление: Axon (всего исправлений: 1)
Ответ на: комментарий от Pinkbyte

Честно говоря, не понимаю сути драмы. В чём проблема добавить в портедж поддержку ещё одного формата?

Axon ★★★★★ ()
Последнее исправление: Axon (всего исправлений: 1)
Ответ на: комментарий от Axon

На самом деле нужна: разгрузка канала при незагруженном CPU.

Shaman007 ★★★★★ ()
Ответ на: комментарий от Axon

Ни разу не видел. Обычно .tar.gz, реже .tar.gz2, пару раз встречал .zip.

Ну тогда с разморозкой. Типа пруф

$ find /usr/portage/distfiles/ | grep -Eo '\.(gz|bz2|xz)' | sort | uniq -c
    429 .bz2
    660 .gz
    761 .xz
mashina ★★★★★ ()
Последнее исправление: mashina (всего исправлений: 1)

беспотерьный
Проверено: Shaman007

w1nner ★★★★★ ()

Отпишусь здесь ради своего ЦП-юзерпика.

kike ()
Ответ на: комментарий от Shaman007

Сейчас каналы пошли такие, что малые объёмы жать вообще смысла нет, а большие, как раз-таки, быстрее переслать как есть, чем упаковывать-распаковывать. Реальная польза от сжатия для передачи по сети появляется только когда жмёшь один раз, а рассылаешь многократно, но на этот случай intelfx выше уже указал.

Axon ★★★★★ ()
Ответ на: комментарий от Pinkbyte

По ссылке боль от того, что кто-то использует только lzip, как это связано с bzip2 и gzip?

buddhist ★★★★★ ()

для повседневных нужд, то есть таких, которые не требуют предельного сжатия (как у LZMA или ZPAQ) или предельной скорости (как у LZ4).

Тогда не понятно зачем он нужен, если с этим справляются всякие gzip, bzip2 и прочие распространённые.

No-brainer ()
Ответ на: комментарий от Axon

а большие, как раз-таки, быстрее переслать как есть, чем упаковывать-распаковывать

Расскажи это пользователям смартов как им быстро получать всякую хрень от различных соц. зондов или вебдванольные JSки. Оно и так шевелится медленно несмотря даже на сжатие трафика. Большие данные всегда выгодно пожать хотя бы чем-то простым.

mashina ★★★★★ ()

не заметил сравнений ратио/сжатия/распаковки с gzip/bz2/xz/lzma/zip/rar

jcd ★★★★★ ()

коэффициенте 2.872

Коэффициент сжатия - это что, константа, которая всегда остается одинаковой? На каких данных это получено? Очевидно же, что это будет сильно отличаться, к примеру, при сжатии белого шума, обычного текста или однотипных логов.

Klymedy ★★★★★ ()
Ответ на: комментарий от crowbar

Он жмет почти как gzip, но раз в 10 быстрее.

brainfucker@FuckingComputer:~/TMP$ time gzip -k -9 compress-test 

real    0m0.764s
user    0m0.260s
sys     0m0.032s
brainfucker@FuckingComputer:~/TMP$ cp compress-test compress-test-2

brainfucker@FuckingComputer:~/TMP$ time lzop -9 compress-test-2

real    0m2.830s
user    0m1.156s
sys     0m0.040s
brainfucker@FuckingComputer:~/TMP$ ls -lh compress-test*
-rw-rw-r-- 1 brainfucker brainfucker 3,5M янв.  25 19:05 compress-test
-rw-rw-r-- 1 brainfucker brainfucker 3,5M янв.  25 19:06 compress-test-2
-rw-rw-r-- 1 brainfucker brainfucker 220K янв.  25 19:06 compress-test-2.lzo
-rw-rw-r-- 1 brainfucker brainfucker 174K янв.  25 19:05 compress-test.gz

Что-то как-то наоборот всё.

No-brainer ()
Ответ на: комментарий от kostik87

Слова «беспотерьный» нет - переформулируй фразу на «новый алгоритм сжатия без потерь».

Экий ты недогадливый! «Беспотерьный» — это пример сжатия твоей фразы этим алгоритмом :)

quickquest ★★★★★ ()
Ответ на: комментарий от crowbar

Потому что lzop это не zstd

А, блин, меня что-то переклинило, простите :D

No-brainer ()
Ответ на: комментарий от intelfx

Да ладно тебе, судя по той таблице он как opus, неплохо так закрывает дырку между другими алгоритмами.

t184256 ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.