LINUX.ORG.RU

Mod_gzip - пять мешков за те же деньги!


0

0

Думаю многим вебмастерам, в том числе и сервера linux.org.ru будет интересно узнать, о результатах применения модуля апача mod_gzip. Апач был перекомпилен с поддержкой динамического архивирования страниц на лету в gzip формат. Результаты превзошли все ожидания! Коэффициент экономии байт составил 80 процентов! Это означает, что 300 кбайтная страница www-конференции грузится на модеме 15 секунд вместо 75, а сервер размещенный на collocation генерит в пять раз меньше трафика! Да что тут расказывать, посмотрите статистику сами. Скептикам скажу, что почти все бразеры, выпущенные после 1999 года, имеют встроенную поддержку функции сжатия, базирующуюся на стандарте HTTP.

>>> Статистика

anonymous

Проверено:

даа, сервер таки засоряется мусором ;(( только один человек указал на aзache.lexa.ru...

В общем, mod_gzip - это очень плохая реализация хорошей идеи. Хорошая реализация называется mod_deflate. Подробности в архивах apache-talk@, которые доступны на apache.lexa.ru.

P.S. но я думаю что люди которым интересна web-tech, давно это читали в списке, а тут народ больше в плане "поговорить"...

bormotov ★★★☆
()
Ответ на: комментарий от ifconfig

> А вы говорите давайте траффик уменьшать. А я как сотрудник ISP вам скажу что давайте, тока тогда давайте и платить за него в 5 раз больше.

я чего-то не пойму, а как же тогда flat-rate тарифные схемы существуют? типа 64Kbit/s за $300 unlimited... а я вот имею 512Kbit/s за теже $300 но тока траффика не сильно у меня много. И вообще складыывается такое впечатление, что провайдеру лишь бы содрать денег побольше с клиента, а на самого клиента ему все равно. (со слов ifconfig)

mator ★★★★★
()
Ответ на: комментарий от Havoc

> Или напиши скрипт, который будет показывать все заголовки, которые браузер послал.

$ netcat -l -p 12345 Ctrl-a-c (screen) $ opera http://localhost:12345/ Ctrl-a-a , и смотрим заголовки

mator ★★★★★
()

>>И вообще складыывается такое впечатление, что провайдеру лишь бы содрать денег побольше с клиента, а на самого клиента ему все равно.

Афигеть!! А ты что парень, думал по другому? Тоды я тебя поздравляю с первым в жизни открытием. Любовь к клиенту любовью, а деньги деньгами. Провайдеру (канальному, как здесь выразились) выгоден большой траффик и время прибывания в сети. Так же как магазину выгодны клиенты как покупатели а не как просто заходяшие поглядеть на витрины.

ifconfig
()

Ну вы блин даете :( я хренею дорогая редакция.

Расскажите мне дураку необразованному как передавать пакованой динамически сгенеренную страницу инфа для которой берется из базы данных например такию как форумы на l.o.r или на www.auto.ru ? скажете сгенерить страницу запаковать и отдать контент клиенту ? с головой все в порядке ? а править запакованный файл в режиме отладки сайта ? Для книжек в библиотеке Мошкова это еще уместно , но не здесь и не для сайтов с динамикой в генерации контента. А если учесть что 60% русского инета да и всего инета вообщем это динамически сгенеренные страницы для развлекательных порталов и всяческих чатов куда ходят обдолбанные подростки и извращенцы, то ваш mod_gzip нафиг никому не нужен. А посещаемость корпоративных сайтов не настолько велика чтобы админу думать как съэкономить на трафике.

Bad_UID
()

To Bad_UID mod_gzip будет динамически сгенеренную страницу сжимать и отдавать клиенту. Всем хорощо кроме сервера. А страничку самому сжимать ненадо.

anonymous
()

2 mator: А я имею 768K, unlimited за $30. Круто, да?

Bluezman
()

А нельзя рассказать неученому, зачем вообще нужен Russian Apache?

Кажется, с ним один геморрой. Как зайдешь на какой-нибудь сайт, заполнишь форму, нажмешь Submit, она говорит: исправь ошибку и нажми Back, возвращаешься - там пусто, это точно дурацкий RA поработал.

Иван.

anonymous
()

Дык непонятно , кто-нить юзал это дело вместе с SSL.IMHO SSL-вский траффик поболе будет ? Може и выгодно его ужимать, а может и нет т.к. процу и архив распаковывать надо и потом еще все это хозяйство расшифровывать. Zlobec

anonymous
()

>>А я имею 768K, unlimited за $30. Круто, да?
а ты сделай траффик 150Гиг за месяц, я думаю, тебя быстро предупредят о том что такого делать не надо или отключат нафиг.
я тоже могу дать инет на таких условиях для "дома" ну там чтоб человек почту читал, на ЛОР ходил и т.д. Для органицации никто нигде такое не даст.

ifconfig
()

2 Bad_UID: а в чем проблема сжимать динамически сгенереные страницы?

2 Иван: не ходи больше на тот сайт. В чем проблема? Если мне не нравится какой-то кривой сайт, я туда не хожу. И неважно чем именно вызвана кривизна, всеравно это "кривь в голове". Или выбрал кривой софт, или не смог его ровно настроить. Если кто-то не умеет читать документацию, так причем тут софт? Есть масса сайтов на который работает RA не хуже чем простой. Я вот только не пойму какое отношение это у обсуждаемому имеет?

bormotov ★★★☆
()

Проблема сжатия динамики

Я например всегда пишу скрипты, которые сами генерят Content-Type и все остальные параметры. Это очень удобно при работе. Модуль CGI.pm я вообще выбросил и написал свою реализацию работающую в несколько раз быстрее. А так как данные на браузер идут в stdout не касаясь апача, то я немного не понимаю каким образом апач будет мне сжимать прямой поток выдаваемый скриптом. Вот и вся проблема

Bad_UID
()

К обсуждаемому это имеет то отношение, что mod_gzip под RA не работает правильно. Что-там с GET. Естественно, виноватым оказывается mod_gzip.

>Есть масса сайтов на который работает RA не хуже чем простой. У меня такое впечатление, что ОСНОВНАЯ масса сайтов с RA не кеширует контент, что и означает хуже.

При настройке mod_gzip можно указать, какие именно файлы сжимать, например, по расширению. В том числе .cgi, .php и т.д.

Да, кому надо страничка mod_gzip http://www.remotecommunications.com/apache/mod_gzip/ или здесь популярно: http://i4net.tv/marticle/get.php?action=getarticle&articleid=12

Иван

anonymous
()

ще раз, БОЛЬШИМИ БУКВАМИ - mod_gzip ПЛОХАЯ РЕАЛИЗАЦИЯ хорошей идеи. идем на apache.lexa.ru, читаем архив списка apфche-talk, где все это обсуждалось. искать по ключевым словам mod_gzip, mod_deflate.

Я это написал в первом своем постинге, если вам это лениво почитать, то кто же виноват-то? Или нужно ткнуть пальцев с URL как маленьких детей?

2 Иван: значит легко можно сделать вывод, что основная масса администраторов не умеет читать докуметацию. Потому как RA был сделан караз для того, чтоб русские странички КЕШИРОВАЛИСЬ.

но опять-таки, я не пойму, кто-то заставляет ставить RA?

bormotov ★★★☆
()
Ответ на: комментарий от anonymous

> Модем то жмет, это если dial-up, а если выделенка ?
> Провайдер дочит порт на cisco на заданную скорость и на ней же
> отключает компрессию

молодой человек, возникает желание вам напомнить, или дать наконец-то
узнать, что компрессия, которую может делать или не делать провайдер
на Cisco router выполняется на канальном уровне, а не на сетевом, и
приводит к уменьшению времени передачи, да и то не всегда. За каждый
скачаный мегабайт порнухи вы все равно заплатите как за мегабайт
доков, которые следовало бы вам почаще читать, прежде чем писать :)

> (понятно почему).
как говорили в дни моего детства "по себе людей не судят".

> Вот тогда этот mod и выход
> imho.
уж очень h ваше o. =)

> anonymous (*) (2001-09-14 10:50:10.0)

--
Igor
mailto: mailbox_on@yahoo.com

anonymous
()
Ответ на: Проблема сжатия динамики от Bad_UID

Bad_UID >
А так как данные на браузер идут в stdout не касаясь апача, то я немного не понимаю каким образом апач будет мне сжимать прямой поток выдаваемый скриптом. Вот и вся проблема
>

Вся проблема все же в голове .. Какой stdout??? Как это не касаясь апача ??!!!! Что, серьезно думаешь, что stdout твоей программы отправляется каким-то мистическим образом в браузер клиента ?!!

Неплохо сначала понять, что такое CGI программа. Поясняю на пальцах - сервер делает несколько этапов обработки запроса, затем он запускает на исполнение cgi, при этом он общается с этой внешней программой через stdin/stdout и передает некоторые данные через переменные окружения - т.е. сервер (в данном случае апач) как паук присасывается к программе :) - и затем перенаправляет ее вывод клиенту. После этого выполняется еще несколько этапов обработки - и тут-то и может происходить сжатие.
Я все понятно объяснил ? Если что - отвечу на вопросы.

anonymous
()

>молодой человек, возникает желание вам напомнить, или дать наконец-то >узнать, что компрессия, которую может делать или не делать провайдер >на Cisco router выполняется на канальном уровне, а не на сетевом, и >приводит к уменьшению времени передачи, да и то не всегда. За каждый >скачаный мегабайт порнухи вы все равно заплатите как за мегабайт >доков, которые следовало бы вам почаще читать, прежде чем писать :)

Да что Вы говорите. Рассказываю ситуацию. У меня выделенка, допустим, 64К unlimited и ни за какие мегабайты я не плачу. Плачу просто абонплату. И с включенной компрессией эта выделенка будет работать, к примеру, как 80К. Например если я качаю какойнибудь текст, то дома на диалапе 33,6 скачивается гораздо быстрее чем на этой выделенке, ибо там та самая компрессия на канальном уровне. Вот и все, стоило ли так наезжать ?

anonymous
()


> Да что Вы говорите.
Спасибо за заглавные буквы.

> Рассказываю ситуацию. У меня выделенка, допустим, 64К unlimited и ни
> за какие мегабайты я не плачу.
Странное положение вещей, ну да ладно. "Идем дальше"

> Плачу просто абонплату.
Ok. Хотя еще раз повторю, это не логично.

> И с включенной компрессией эта выделенка будет работать, к примеру,
> как 80К.
:)

Если скорость данных на сетевом уровне ограничена, то хоть зажмись на
канальном -- быстрее качать не получится. Просто будет больше время
простоя канала, "вакуум" на линии передачи.

> Например если я качаю какойнибудь текст, то дома на диалапе 33,6
А тебе дома обещали какую-то конкретную скорость? Вряд ли.

> скачивается гораздо быстрее чем на этой выделенке, ибо там та самая
> компрессия на канальном уровне.
Дык! В чем проблема-то? ISP достаточно сообразителен, чтобы
поддерживать условия договора в силе и давать инет на 64kpbs? А как ты
хотел? Впрочем, полагаю, что знаю -- на халяву. Увы! :-) Вообще, нужно
платить за количество информации, тогда ISP и компрессию сделает, если
тебе потребуется (ведь основная твоя претензия к скорости).

А mod_gzip хорош тем, что резко сокращает именно _объем_ трафика,
кочующего по каналам связи. Впрочем, если бы они все были со своей
компрессией, то толку с него никакого бы не было все равно.

Лично мне это все напоминает дискуссии о том, что лучше сжимать --
файлы или блоки данных файловой системы. Сжатие на уровне файловой
системы хорошо тем, что код сжатия/распаковки или вызова нужный
программы для этого не дублируется в каждой программе, которая должна
работать с такими данными. Для нее вообще это все прозрачно. Но с
другой стороны, а что если где-то критична скорость записи/чтения
(хотя именно запись наиболее существенно замедляется, так как упаковка
более трудоемкая операция), и не нужно ничего сжимать? Вечный спор об
универсальности и специфичности. В UNIX системах сделали выбор -- .gz,
.bz[2] и пр. :) Тут не любят, когда система скрывает сложность или
вообще что-нибудь. Все должно быть open, даже source ;-) Такой же
подход исповедуют apache+mod_gzip с "gzip enabled" браузерами. Но это
несколько противоречит сжатию на физическом или канальном уровнях, или
по кр. мере, отчасти, лишает их смысла.

Если у dialup'щика и его ISP модемы или протоколы канального уровня
которые сами жмут данные, и каналы от источника до прова достаточно
быстрые и широкие, то ему этот mod_gzip также никуда не "стучит".
"Инфа" быстро дошла до передающего модема "последней мили". Тут она
медленно полетела дальше, поскольку она уже сжата, и попытка модема
(или реализации канального протокола или и того и другого вместе)
сжать ее, ничем не поможет.

Вообще, тут хватает нюансов. Один из них это выбор оптимального этапа
в процессе передачи для сжатия информации. Например и без того
загруженный web-сервер может вообще "подсесть" из-за применения
mod_gzip. (Тут уже об этом говорили.) В общем, все не так просто,
впрочем, как всегда. :-)

> Вот и все, стоило ли так наезжать ?
Извини. Очевидно, пресловутая проблема (не)понимания людьми
друг-друга. :-)


--
Igor
mailto: mailbox_on@yahoo.com

anonymous
()

To Igor Re: Mod_gzip - пять мешков за те же деньги!

К сведению Igor: Оплата за выделенку с неограниченным объемом трафика видать распространненое явление, у нас тоже 64kbit и мы одинаково платим в месяц, хоть скачано 5GB, хоть 15 GB. Платим абонплату и все тут. И уж поверь, 15 GB бывало - можешь посчитать, какая тогда загрузка канала получается.

> И с включенной компрессией эта выделенка будет работать, к примеру, > как 80К. А если поставить кеширующий прокси то как 100K (шютка ;-)

Yurko

anonymous
()

>Если скорость данных на сетевом уровне ограничена, то хоть зажмись на >канальном -- быстрее качать не получится. Просто будет больше время >простоя канала, "вакуум" на линии передачи.

Ну как же не получится. Качаю я урл ... .txt обьемом 2МБ. Качаю 10 мин. Если стоит этот gzip то он мне выдаст компрессированный поток допустим 200К кот я качаю 2 мин. Так получится или не получится ?

anonymous
()

>>Если скорость данных на сетевом уровне ограничена, то хоть зажмись на
>>канальном -- быстрее качать не получится. Просто будет больше время
>>простоя канала, "вакуум" на линии передачи.
> Ну как же не получится.
> Качаю я урл ... .txt обьемом 2МБ. Качаю 10 мин.
> Если стоит этот gzip

Молодой че.. Прошу прощения, опять чуть не сдержался :-) mod_gzip
работает на уровне гораздо более высоком, чем канальный -- прикладном или, там, представления, у меня не очень точное понимание различий между этими двумя уровнями модели OSI, к сожалению.

> то он мне выдаст компрессированный поток допустим 200К кот я качаю 2
> мин. Так получится или не получится ?
>
> anonymous (*) (2001-09-17 18:30:07.0)

====================================================

> К сведению Igor: Оплата за выделенку с неограниченным объемом
> трафика видать распространненое явление, у нас тоже 64kbit и мы
> одинаково платим в месяц, хоть скачано 5GB, хоть 15 GB. Платим
> абонплату и все тут.
понятно. но если учесть, что ваш ISP скорее всего платит за трафик, то
таким образом, кто-то кого-то довольно неплохо "кидает".

> И уж поверь, 15 GB бывало - можешь посчитать,
> какая тогда загрузка канала получается.
> Yurko
> anonymous (*) (2001-09-17 18:03:22.0)

--
Igor
mailto: mailbox_on@yahoo.com

anonymous
()

>mod_gzip работает на уровне гораздо более высоком, чем канальный -- прикладном или, там, представления, у меня не очень точное понимание >различий между этими двумя уровнями модели OSI, к сожалению.

Ну, е.... Причем здесь уровни ? Я что говорил что гзип на канальном уровне работает, меня интересуют не ур-ни а время закачивания.

anonymous
()

Не подеритесь горячие эстонские парни :)

devil
()

Ребята, вы меня только не смешите словами про unlimited выделенку на 64К! 64К - это не выделенка даже, это так, ускоренный модем. Как раз для вас mod_gzip идеален. Подумайте, что будет если хотя бы восемь челов одновременно тянут полумегабайтную страничку. Каждому выделится по килобайту в секунду, все будут пучится по 500 секунд. mod_gzip и будет спасением в вашем случае. Вместо 500 секунд будет 100. Если очень интересно, придите и спросите вашего провайдера насколько будет дороже unlimited 256К. Вот тут вы и поймете, что оплата по трафику - это по божески, потому что оплата по ширине канала приводит к гораздо большему подорожанию.

А что касается сайтов висящих на 10, 100 мбитах, дык там просто все считается по трафику так или иначе. Даже если это называется n$ за 1 Гиг ВХОДЯЩЕГО трафика, входящий то тоже пропорционален исходящему трафику.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.