LINUX.ORG.RU

Создатель LZ4 представил механизм сжатия ZSTD

 , ,


1

3

Zstd (сокращение от Zstandard) — новый алгоритм сжатия без потерь, сочетающий высокую степень сжатия и огромную скорость, подходящий для повседневных нужд, то есть таких, которые не требуют предельного сжатия (как у LZMA или ZPAQ) или предельной скорости (как у LZ4).

Программа распространяется под лицензией BSD и доступна на github.

Так, на процессоре Core i5-4300U с частотой 1.9 GHz новый алгоритм обеспечивает скорость сжатия в 201 Мб/сек при коэффициенте 2.872, и скорость распаковки на уровне 498 Мб/сек.

По словам автора, скорость сжатия может достигать 200 Мб/сек на ядро, распаковки — 500 Мб/сек на ядро, в зависимости от конфигураций. Более подробную информацию можно найти по ссылке ниже.

>>> Подробности



Проверено: Shaman007 ()
Последнее исправление: unfo (всего исправлений: 1)

Сам пакую lz4 до 300гб в день - 2 часа против 5 часов gzip. При этом степень сжатия примерно одинаковый. Буду побывать с новым.

anonymous
()
Ответ на: комментарий от Meyer

Мимо, к моменту перехода арча на systemd я уже полгода точно (или год?..) его пользовал и был совершенно доволен. Так что поумерьте, сударь, свой изобличительский пыл.

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от anonymous

Что поделать — агрессивно безграмотные люди есть везде. Здесь нечему удивляться.

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от MahMahoritos

Не, даже ноборот. Алгоритм-то беспоттерный. Но ты нибаись. Лёнка вскорости запилит ZSYSD для поттерного сжатия текстовых ини и бинарных логов. Вот тогда "... в любую точку Вселенной - фьюить! - за пять секунд.".

anonymous
()
Ответ на: комментарий от haku

Автор пытается доказать, что у него лучше соотношение сжатие/затраты относительно других алгоритмов. Есть случаи, когда скорость на сжатие критичнее потери 10% места.

Shaman007 ★★★★★
()

Главные особенности компрессора добавить надо:
- FSE instead of Huffman as entropy !!
- unbounded match size
- repeat offset ability

GAMer ★★★★★
()
Ответ на: комментарий от intelfx

У сабжа скорость распаковки 498 Мб/сек при степени сжатия 2.872, а у LZ4_HC 2080 Мб/сек при степени сжатия 2.72. Ниша для применения сего поделия исчезающе узкая получается. Степени сжатия различаются на ~5% а скорости аж в 4 раза. При нынешних гигабайтах памяти и террабайтах дисков остаются всякие холодильники-кофеварки, но даже там уже к мегабайтам подбираются.

A-234 ★★★★★
()
Ответ на: комментарий от Pinkbyte

Всё-таки пока xz меньше, но скоро, скоро...

.../distfiles $ ls -l *.gz | wc -l
26698
.../distfiles $ ls -l *.bz2 | wc -l
10842
.../distfiles $ ls -l *.xz | wc -l
21761

Stage1 ★★
()
Ответ на: комментарий от intelfx

Для сжатия дистрибутивов программ и их исходных текстов важна скорость распаковки а сколько времени вы свой дистрибутив готовите конечного пользователя не волнует. Упаковка initrd туда-же. Думал это и так очевидно.

A-234 ★★★★★
()
Ответ на: комментарий от mittorn

Да, скоро это будет весьма актуально.

Meyer ★★★★★
()
Ответ на: комментарий от A-234

Ты точно отвечаешь на тот комментарий?

Note: я ничего не говорил насчёт конкретных алгоритмов сжатия.

intelfx ★★★★★
()
Последнее исправление: intelfx (всего исправлений: 2)
Ответ на: комментарий от Turbo_Mascal

Нет такого слова в русском языке

А мне это слово нравится.

proud_anon ★★★★★
()
Ответ на: комментарий от kostik87

Слова «беспотерьный» нет

1. Не факт. Где словарь всех-всех слов русского языка? Он вообще существует? Или это только ваше личное мнение?

2. Слово вполне соответствует правилам словообразования русского языка и потому имеет право на жизнь. Так что ошибок нет, есть только ваше личное предвзятое мнение.

anonymous
()
Ответ на: комментарий от AVL2

Исходники ваши лежали здесь

Теперь нет их частично

Утрата печальна

Ну и хрен с ними
Я новые напишу
Ещё лучше

Исходник живой.
Немного лишь магии.
О, Меркуриал.

anonymous
()
Ответ на: комментарий от intelfx

В данном случае речь не о стандартах, стандартный вон gzip. А вот например внутри серверов баз данных или ФС можно использовать нестандартный алгоритм, главное хороший для решаемых задач

vertexua ★★★★★
()
Ответ на: комментарий от anonymous

«Слово вполне соответствует правилам словообразования русского языка»

4.2 Не может быть мягкого знака между двумя согласными. Это не монгольский язык.

anonymous
()
Ответ на: комментарий от anonymous

«1. Не факт. Где словарь всех-всех слов русского языка? Он вообще существует? Или это только ваше личное мнение?

2. Слово вполне соответствует правилам словообразования русского языка и потому имеет право на жизнь. Так что ошибок нет, есть только ваше личное предвзятое мнение.»

Вообще беру слова про 4.2 обратно, слово «беспотерьный» есть в словаре:

http://dic.academic.ru/dic.nsf/eng_rus/21196/беспотерьный

anonymous
()
Ответ на: комментарий от anonymous

Не может быть мягкого знака между двумя согласными. Это не монгольский язык.

монгольский

это победа

Alyssa
() автор топика

Твою мать, что хотел сказать автор новости? Парсер разорвало. У этого «безпотерьного» (пздц!) алгоритма вообще нет никаких преимуществ? Судя по новости он по скорости медленнее и по эффективности сжатия хуже. Нафига он тогда нужен? Какую мысль хотел донести человек, который подбирал и компоновал слова и эпитеты (огромный, предельный) по одному ему понятному смыслу?

anonymous
()
Ответ на: комментарий от Alyssa

в твоём нет, а в моём есть, как хочу, так и верчу языком

Как хочешь, так и вертишь языком ты в заднице у Ашота - твоё право. А тут иногда грамотные люди попадаются, и выпячивать и кичиться собственной безграмотностью совсем необязательно.

anonymous
()
Ответ на: комментарий от anonymous

А тут иногда грамотные люди попадаются

ты к ним не относишься

Alyssa
() автор топика

«Беспотерьный» - это неологизм, образованный формально правильно, но фактически мертворожденный. Вроде ничему не противоречит, но читается со скрежетом зубовным.

Фтопку такие неологизмы.

DRVTiny ★★★★★
()
Ответ на: комментарий от anonymous

А тут иногда грамотные люди попадаются,

Тут чаще граммотные попадаются всё же.

anonymous
()
Ответ на: комментарий от A-234

А ты скорость сжатия смотрел? Или поглядел только на разжатие? Ниша у него вполне ясная, где надо быстро сжимать и быстро разжимать, для передачи по сети каких-нибудь тяжёлых формируемых в настоящем времени данных очень даже подходит. Есть некоторая конкуренция с LZ4 r127, но никак не с LZ4 HC.

EvilFox ★★
()
Последнее исправление: EvilFox (всего исправлений: 2)
Ответ на: комментарий от DRVTiny

В чём проблемы чтения? Скорее дело привычки.
Хотя то, что согласно последних реформ «З» в приставках РАЗ, БЕЗ, ВОЗ, ИЗ заменяется на «С» с глухими согласными, меня давно раздражает.

EvilFox ★★
()
Последнее исправление: EvilFox (всего исправлений: 1)
Ответ на: комментарий от EvilFox

Это был ответ на пост выше, причем тут передачи по сети? В природе уже 100G сети существуют, что за данные вы передавать хотите да еще и без потерь :) Конкуренция ему, для сети, QuickLZ и LZO. А ваша «некоторая конкуренция» - это увеличение скорости в два раза при потери в компрессии на четверть. Как я и говорил, ниша исчезающе маленькая.

A-234 ★★★★★
()

Какой милый тред - детектор чурок, не осиливших своей полуизвилиной мощь русского словообразования и шарахающихся от всего необычного. Болезные.

anonymous
()
Ответ на: комментарий от DRVTiny

Большинство на этом форуме больно фобией всего нового в терминальной стадии. Ты не исключение.

anonymous
()

ага, всё-таки «беспотерьный» исправили, лол, стадо невежд таки продавило своим бугуртом

Alyssa
() автор топика
Ответ на: комментарий от anonymous

«Сильно больной. Печально.»

Иди в опу. Я уже поправился.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.