Squid-2.4STABLE5

Подробности неудачного релиза нашёл тут http://freshmeat.net/releases/72643/
В changelog'е пункт всего один:
...This version fixes an array bounds bug in lib/rfc1035.c. This bug allowed a malicious DNS server to send bogus replies and thus corrupt the heap memory...

нах этот сквид то нужен?? проще нат настроить нормально..

Вот когда бабки за трафик будешь из своего кармана выкладывать, тогда поймешь на фига нужен squid.

Что-то я нифига не въеду
на сайте написано -- 2.4STABLE5 is a buggy release. Don't use it.
А 2.4STABLE4 можно тянуть...

> Вот когда бабки за трафик будешь из своего кармана выкладывать, тогда поймешь на фига нужен squid.

Это миф, глинянные ноги, на которых стоит сквид. Докажи, что ты выигрываешь со сквидом
хотя бы 5% траффика. А я тебе докажу, что процент клиентов, не пробившихся в инет с твоим
сквидом гораздо больше, чем 10%... Тогда тебе придется задуматься, а не сыграл ли ты
в беспройгрышную лотерею? То есть купил билетик за рубль, а выирал 10 копеек ;)

2 anonymous (*) (2002-03-19 20:39:25.0) Не гони пургу. У меня Сквид экономит трафик до 10%, страницы открываются намного быстрее, особенно когда на какомнить форуме ползаешь туда-сюда. А уж возможности блокирования - порно, развлекуха, баннеры, статистика ползаний по Инету. При чем тут НАТ?

У меня squid дает экономию на нескольких тысячах пользователей примерно 20%, что при месячном траффике 50G довольно существенно. Во вторых, как было уже замечено выше, squid позволяет очень эффективно резать баннеры (что тоже существенно экономит траффик). Так же squid может авторизовать пользователей, которые к нему цепляются (это используется если пользователь не привязан к одному IP адресу, что бы потом выставить ему счет за услуги) Сделать это средствами NAT'a не получится. Несколько squid'ов могут цепляться друг к другу, что при наличии нескольких каналов во внешний мир балансирует нагрузку между ними и обеспечивает работоспособность системы при отказе одного из каналов. Насчет проблем с совместимостью клиентов и squid'a, то я за четыре года эксплуатации squid'a с ними не сталкивался.

>>>Это миф, глинянные ноги, на которых стоит сквид. Докажи, что ты выигрываешь со сквидом


Xmmmm...... вы хоть приблизно когда нибудь с проблемами ISP сталкивались?
если нет, то не несите того чего не знаете, если да.. то я не завидую вашему работодателю.....


Как тут правильно заметили, сквид не столько средство экономии трафика, сколько его контроля и распределения. Хотя и 5-15 % экономии для манюненького ISP это батенька больше чем ваша зряплата.

Слушайте, люди, а сквид научится когда-нибудь говорить, сколько он взял из инету, а не сколько он отдал клаенту? А то, блин, такие порой косяки бывают -- как глюканул какой-то косой телепорт, в логах -- 50 мег, а через цицку -- 2.5 гига. И еще есть у него гадская фича -- если канал наружу толще (и стабильнее), чем до клаента (диалап какой-нибудь неумытый), то получается вообще такой цирк, что любо-дорого...

OK, обобщим все заявления.

> У меня Сквид экономит трафик до 10%
> У меня squid дает экономию на нескольких тысячах пользователей примерно 20%

Отлично! Как говорится, кто больше? А теперь расскажите мне, как вы получили свои проценты,
а я расскажу Вам, как сильно Вы ошиблись...

Идем дальше:
> А уж возможности блокирования
> squid позволяет очень эффективно резать баннеры
> сквид не столько средство экономии трафика, сколько его контроля и распределения.

Я _ничего_ не говорил по этому поводу. Так что заберите свой наезд обратно.
Сквид изначально создавался как веб-кэш, призванный экономить трафик. Это и есть
его глиняные ноги. Трафик он не экономит.

> ifconfig (*) (2002-03-20 03:59:45.0)
Я понимаю, что ты крутой ISP, но все-таки берет сомнение. Слишком много раз
тебя обламывали прямо здесь, на этом жутко непрофессиональном сайте.

Правильно настроенный сквид на практике экономит > 25% траффика (не хитов). Для ISP с 200Gb в месяц можете посчитать сами... У нас кстати 1Gb вообще $50 стоит..

Весь вопрос в проце, объеме storage и RAM.

Потом, есть такая интересная вещь как WCCP, только про нее Linux роутеры не знают :-) Squid, в прочем, не знает про WCCP2 :-(

Мы пользуемся услугами NetSAT, на их сайте имеется подробная статистика для каждого пользователя и даже временные графики нагрузки на канал.
Легко определяется на калькуляторе как повлияла установка Squid на наш траффик. Он упал более чем на 25%.
(Раньше был только NAT)

А без графиков видны такие вещи, как эффективная работа windowsupdate.microsoft.com, к примеру. Стоит только одному пользователю установить патч оттуда, как остальные 300 человек уже патчатся из кэша Squid, а не грузят канал ;)

С закачками то же самое. Главное в доунлоад-менеджере птицу не ставить "Не брать из кэша". Если кто качал уже это файл - падает мнгновенно. Народу много, всех не спросишь "А вы это уже качали?"

На популярные сайты типа www.nnm.ru ;) влетаешь мнгновенно, если кто там уже был. tut.by тоже у нас популярен. Весь сайт почитай загружается из кэша.

Если бы народ файло не качал с инетовских FTP'шников слишком разнообразно и целыми isoхами дисков, то экономия перевалила бы 50% на web-контенте.


А теперь я слушаю ваши доказательства обратного (что Squid мне оказывается бесполезен)

>Отлично! Как говорится, кто больше? А теперь расскажите мне, как вы >получили свои проценты, 
>а я расскажу Вам, как сильно Вы ошиблись... 

а ты расскажи, как мы ошиблись :)), а то создается впечатление, что ты сам эффективность считать не умеешь :)))))))))))) 

Уже 2.4.STABLE6 появился.

а новость уже устарела, поскольку вышел Squid-2.4.STABLE6 :) а фразы типа : "А теперь расскажите мне, как вы получили свои проценты, а я расскажу Вам..." действительно похожи на "объясните мне как сделать, а то не получаецца". Почему бы просто не спросить ?

а новость уже устарела, поскольку вышел Squid-2.4.STABLE6 :) а фразы типа : "А теперь расскажите мне, как вы получили свои проценты, а я расскажу Вам..." действительно похожи на "объясните мне как сделать, а то не получаецца". Почему бы просто не спросить ?

ifconfig:

>Xmmmm...... вы хоть приблизно когда нибудь с проблемами ISP
>сталкивались?
>если нет, то не несите того чего не знаете, если да.. то я не
>завидую вашему работодателю.....

Угу, сталкивались. Как только ISP не хватает каналов, они начинают всех принудительно в в прозрачный прокси совать, лишние тормоза только.

Eugeny Balahonov:
> На популярные сайты типа www.nnm.ru ;) влетаешь мнгновенно, если
> кто там уже был. tut.by тоже у нас популярен. Весь сайт почитай
> загружается из кэша.

А на большинстве популярных сайтов странички динамические. И Last-Modified правильно не выставляется. А для всяких windowsupdate таки да, неплохо. Но XP если видит прямой коннект, на прокси ложит :)

>Но XP если видит прямой коннект, на прокси ложит :)

Сделай transparent proxy и не делай nat на www порты, тогда этому глюкодрому не на что будет ложить.

>>Угу, сталкивались. Как только ISP не хватает каналов, они начинают всех принудительно в в прозрачный прокси совать, лишние тормоза только.

угу.... совершенно верно...., тормоза. но проболжает работать.. А лучше чтоб совсем не работало??
и какие тут притензии к ISP. есть разные пакеты и разные каналы. Если хошь чтоб у тебя ничего не тормозило никогда, то и пoкупать надо соответсвуюший, а не тот что в прайсе стоит 50$ за гиг...


>>> ifconfig (*) (2002-03-20 03:59:45.0)
>>Я понимаю, что ты крутой ISP, но все-таки берет сомнение. Слишком много раз
тебя обламывали прямо здесь, на этом жутко непрофессиональном сайте.

Я ни крутой ISP... об этом никогда не говорил. По крайней мере, большую часть денег я зарабатываю не как администратор...

Да и еше.. А что в твоем понимании "обламывали"?

2 Eugeny Balahonov: "Если бы народ файло не качал с инетовских FTP'шников слишком разнообразно и целыми isoхами дисков, то экономия перевалила бы 50% на web-контенте. "

Ну у Вас и анархия :))

Для любителя NAT: Ты пойди почитай документацию. Твою нелюбовь к прокси можно объяснить только тем, что ты избалован хорошими и быстрыми каналами. И за трафик не платишь или платишь не из своего кармана.

А выкладки я тебе могу сделать. Анализатор лог-файлов тока запущу и через 10 минут будет готова HTML-страничка. Только вот сдается мне, что не будешь ты верить в это. Ну и не верь. И хрен с тобой. Юзай НАТ и переплачивай за трафик. Провайдер будет тебе благодарен, ведь твоя контора его кормит. :)

Есть задачи, в которых применение прокси противопоказано. Но в основной массе народ ходит на всякие яндексы, новостные сайты и прочую ерунду. Вот этот трафик весьма эффективно кэшируется.

Ну уж про резку банеров и ГИБКОЕ! ограничение доступа я вообще молчу. Про антивирусную проверку трафика тоже. :)

Не было у тебя таких задач. Вот когда будут, тогда и поумнеешь. А пока плати бабки. :)

and3008

Любителю НАТА - у иеня кешируемый трафик (на моей машине) в 3 раза выше некешируемого (по логу сквида). трафик бесплатный, но канал(64K) забит под завязку. для платного экономия была бы 75%! а если был бы такой крютой спицыализд, то...

> угу.... совершенно верно...., тормоза. но проболжает работать..
> А лучше чтоб совсем не работало??

Нет, лучше, чтоб работало правильно.
Не хватает каналов, делайте новые, или не набирайте новых клиентов.

>и какие тут притензии к ISP. есть разные пакеты и разные каналы.
>Если хошь чтоб у тебя ничего не тормозило никогда, то и пoкупать
>надо соответсвуюший, а не тот что в прайсе стоит 50$ за гиг...

Умный, да? Провы имеют свойство заганять в прокси всех без исключения, что диалапщиков, что конторы, сидящие на толстых выделенках.
Правда, если несколько авторитетных админов зайдут в гости и популярно объяснят, что они неправы, баловством заниматься перестают.

ipa:
>Сделай transparent proxy и не делай nat на www порты, тогда этому
>глюкодрому не на что будет ложить.

Да я в курсе, просто у нас в конторе есть люди, которые могут ходить в тырнет только через прокси, и есть, которые могут и напрямую.

>>Провы имеют свойство заганять в прокси всех без исключения

не понял.... а как вы договор состовляете?? TTX канала оговариваться в договоре.
Если пров его не соблюдает, в жопу такого провайдера. Иди к другому. У меня тоже есть parents. имеено по такому принципу я с ним и раюботаю.

Кроме того, на рынке и так большая конкуренция, чтоб разбрасываться клиентами. просто неззя обеспечить "чистый" канал без пиковых провалов за 50$ гиг.... Просто нельзя.... по крайней мере у нас в городе. Да я думаю что в Москве ситуация похожая. Кроме того, оборудование ISP и аренда каналов связи стоит совсем не копейки, и его тоже нуна как-то окупать...

Поставтье анализатор логов сквида SARG. Он вам выдаст подробную статистику по каждому абоненту и списки сайтов.

Мы ставили, проверяли, тестировали. Все показывает и считает правильно. 10% хитов достигаются совершенно реально.

А если ни настроить сквид ни проверить его эффективность ни обработать его логи вы не можите, то нехуй, простите за выражение, пиздеть тут!

Вот именно, что в попу таких провов, затыкающих свои дыры за счет клиентов.
По моему при принудительном прокси нужно несколько меньше денег брать.
BTW, гиг у нас 100$ в среднем.

Я так понял, что весь флейм вокруг того, что провайдер делает принудительное кэширование?

Дык в сад таких провайдеров. Они не могут обеспечить гибкости и правильности работы. Провайдер должен обеспечить чистый канал. Пусть у него будет прокся, но стоящая в сторонке. Хочешь юзай, хочешь не юзай. Но за принудиловку или скрытое кэширование надо карать баксом. Т.е. уходить к другому провайдеру и все.

Решение о кэшировании должен принимать клиент. А если ему что-то навязывают, то он имеет полное право послать подобных продавцов в сад.

Такие вот мои мысли.

and3008

Ей, а где Ирси? Чё-то не видать его светлых мыслей. :)

Ага, возбудились "профессиональные" ISP... Понимаю ;) Тяжело слышать, что король голый.
Поскольку недовольных много, опять отвечаю всем скопом.

Итак, вопрос был "как вы считаете сэкономленный сквидом трафик".
Единственный приемлимый ответ был от Eugeny Balahonov (*) (2002-03-20 09:52:54.0)
Да, в бедной задавленной налогами диктаторской стране наверное имеет смысл
экономить каждый байтик. Да, если 50% немногочисленных пользователей хотят непременно
пробиться на единственный живой сайт, который к тому же со статичным содержимым a-la tut.by, то да -
зеленый свет сквиду. Ах, в конторе нет человека, обслуживающего компы, и юзверям позволено
обновляться с windowsupdate? Тогда совсем вопросов не осталось... Случай
клинический, и в данном случае действительно сквид поможет решить маленькую толику из огромной
кучи проблем. Когда больной неизлечим, тогда для него и наркотик - лекарство ;-(

Я задавал вопрос "как вы считаете трафик" не зря. Потому что я ждал ответов именно такого плана:
> Поставтье анализатор логов сквида SARG. Он вам выдаст подробную статистику по каждому абоненту

> у иеня кешируемый трафик (на моей машине) в 3 раза выше некешируемого (по логу сквида).

> Анализатор лог-файлов тока запущу и через 10 минут будет готова
> HTML-страничка. Только вот сдается мне, что не будешь ты верить в это.

Но это был не просто вопрос, а и готовая подсказка. Была надежда, что кто-то догадается ;-(
Представьте на минутку, что кеширующий прокси - это такой же веб-клиент, как браузер.
Так вот, я _верю_ анализаторам логов, когда они говорят, что сквид сэкономили 5-10-20% трафика.
Но то же самое можно сказать про обычный браузер! Он тоже имеет кеш и экономит не меньше.
А теперь следующий вопрос: а экономия сквида считается по-сравнению с чем?

Далее про деньги... Согласно результатам web polygraph сквид могет что-то около 160 запросов/сек.
При этом ему нужно тонны памяти, самые быстрые диски и очень мощный проц (и желательно не один).
Простенькая, но достаточно современная машинка с NAT может обеспечить 16000 одновременных коннектов...
Давайте считать. Что выгоднее, пропустить 160 клиентов и сэкономить 10% или 1600, но ничего не
сэкономить... с точки зрения анализатора логов сквида, конечно ;)

> Решение о кэшировании должен принимать клиент.

Дык если клиент не дурак и не поддался на рекламу "быстрого прокси-интернета",
то в гробу он видел эти провайдерские прокси. И для кого тогда остаются прокси? ;))

>>Представьте на минутку, что кеширующий прокси - это такой же веб-клиент, как браузер.
>>Так вот, я _верю_ анализаторам логов, когда они говорят, что сквид сэкономили 5-10-20% трафика.

Да ты и в правду тупой.
Что, там, где ты работаешь (если работаешь) только одна машина
с браузером? Или ты разшарил кэш своего браузера?
Даже на сайтах с динамическим контентом, при условии, что этот сайт посещают в конторе хотя бы
с двух машин будет выигрыш за счет картинок.

>>При этом ему нужно тонны памяти, самые быстрые диски и очень мощный проц (и желательно не один).
Зато на клиентах кэш можно урезать (значительно) и дерьмо будет только в одном месте, а не повсеместно.
Насчет остального - смотря какой канал. Для мегабита мне хватало
Cel-300/128 + 9GB SCSI (классика). И сквид там был не один (сейчас там oops). Я ему дал 0.8G, ты знаешь, хватило, причем встал прозрачно, его даже незаметно было
(oops еще более незаметно).

btw, не "представим на минутку", а так оно и есть.
Web proxy == web client, вернее, cache в браузере есть слабое (урезанное) подобие proxy,
урезанное потому, что это не есть его основное занятие.

>> Согласно результатам web polygraph сквид могет что-то около 160 запросов/сек.
А это в каком году, на каком машине и какая была версия сквида?

> Потом, есть такая интересная вещь как WCCP,

Дешевка и очередной костыль, навроде самого сквида.

> только про нее Linux роутеры не знают :-)

Linux-роутер вообще не долже ничего знать. Знать должен чтот, кто его настраивает ;)
Патч для все желающих раздается бесплатно: http://www.swelltech.com/pengies/joe/patches/ip_wccp-2.2.18.patch

> А это в каком году, на каком машине и какая была версия сквида?

Да в любом году он выше не поднимался. Посмотри например результаты за декабрь 2001.
Самый крутой подвид сквида - коммерческий название "swell" - выдавал 130 req/sec.
Он основан на коде squid-2.5.

> Да ты и в правду тупой.
> Что, там, где ты работаешь (если работаешь) только одна машина

Да, наверное я тупой ;( Там, где я работаю - десятки и сотни машин.
Может юзвери у меня такие индивидуальные? Ну не ходят они строем на tut.by ;-((
Статичные картинки на нормальных серверах имееют expire time неделю и выше,
и отлично хранятся в браузерных кешах. Таки я не увидел экономии даже от двух
машин, зашедших на один сервер ;( Зато вместо жирного глюкала сквида я могу загрузить
машину db-сервером и многими другими, гораздо более полезным сервисами...
А трафик никогда не перерасходуется. По юзерам ведется статистика и за превышение
лимита происходит автоотключение...

>>Таки я не увидел экономии даже от двух машин, зашедших на один сервер

Может настройки сквида такие (default - полная лажа)?

>> Зато вместо жирного глюкала сквида я могу загрузить
машину db-сервером и многими другими, гораздо более полезным сервисами...

Опять настройки? Почему оно жирное (глюкало - местами и зависит от настроек)? Почему нельзя загрузить на эту же машину db?
И какие-такие сервисы не могут с ним работать?
Я пользуюсь oops'om, но воспоминия о squid очень хорошие
(не помню, почему от него ушел, но не из-за его якобы прожорливости)

>> Там, где я работаю - десятки и сотни машин

Ну уже не 1600, это радует. Может на десятках сойдемся?

И если ты уж такой крутой админ, то должен знать, что порнуху качает уйма народу. На проксе ее очень удобно резать (регекспами).
И что удивительно - никто не спрашивает "а чего это у меня порнуха не грузится?"
Экономия - от 5% трафика (что, я бы сказал, очень хорошо)
Продемонстрируй то же с помощью ната.

> должен знать, что порнуху качает уйма народу. На проксе ее очень удобно
> резать (регекспами).

Отлично знаю. Резать? Ни в коем случае. Шуму будет столько! Не знаю как у вас,
а у меня самые крупные потребители порнухи - начальство. Для юзеров, как я уже сказал,
ствится счетчик. Хошь порнуху качай, хошь по делу в инете ползай, но если перебрал,
то остаешься без инета до конца месяца. У нас демократия ;)

Чего еще скажешь? Баннеры резать? Ага, у меня в одной из контор как раз сидят
дизайнеры и продавцы этих баннеров ;))) Скорее тебе яйца отрежут, чем ты им баннера.

Короче такое ощущение, что вы ребята только что из афганского плена вырвались
и забыли что такое свобода информации.

>должен знать, что порнуху качает уйма народу. На проксе ее очень удобно резать (регекспами).

Гы, а я как-то раз squirm поставил, когда кто-то лез на порносайт (определяется по списку или по regexp), вылезала страница с научно-популярной статьей о мастурбации.

если нет возможности/необходимости применять прокси - юзай нат до захлебу, кто ж не дает ?

ЗЫ. На каждый тред по Ирси - это многовато :)

Кстати, еще прикол.
Еще один пров решил всех в прокси загнать, да еще в анонимный.
Ну я яндекс таким проксям показывает фигу :)

"Не знаю как у вас, а у меня самые крупные потребители порнухи - начальство. Для юзеров, как я уже сказал, ствится счетчик. Хошь порнуху качай, хошь по делу в инете ползай, но если перебрал, то остаешься без инета до конца месяца. У нас демократия ;)"

Голимая контора у Вас, коли начальство такое. И не демократия у Вас, а скорее дерьмократия сударь.

Ребяты, а чё вы с ним спорите? Он принял решение не юзать - пусть с ним и живет. У каждого своя голова.

Кстати, а почему вы все не носите ботинки с пряжками? Фигли у кого-то на шнурках? :))))))

Давайте эту тему обсосем как следувыет.

2anonymous (*) (2002-03-21 06:22:29.0) а acl прописать для разных групп пользователей лениво ? хотя если с твоей точки зрения твоя задача решается - никаких проблем. но не стоит на этом основании хаять прочие решения.

а по поводу кэш-машин - был случай, когда огромный ИСП засадил себе hardware-машину на выход (не squid, конечно), вогнав туда всех ИСП помельче с их пользователями (а это были десятки городов). После многомесячных боев ее или сняли, или нормально подкрутили, выпустив жаждущих напрямую.

2Havoc: мдя, ну невезет тебе с провайдерами. ;) у меня например в договоре (http://www.ur.ru/docs/rentline) было прописано: стоимость траффика -- X, если через прововский прокси -- 0.6*X. хочешь -- ползай напрямую, хочешь -- через прокси. все по-честному. :)

кстати, величина 1/0.6 наверно и есть реальный (точнее материальный :) ) коэффициент эффективности прокси у довольно крупного провайдера.

да, если судить по логам в локальной сетке, эта величина будет по-меньше -- порядка 0.85, что все равно приятствено. :)

Lucky, один пров рабочий, про других матюки долетают с интересными скриншотами.
lucky.net такой херней не страдает, а ukr.net чего-то повелся на жажду экономии.

А скидка за прокси - это правильно, имхо. Пускай юзер сам решает.

Я не админ Провайдера, но у меня созрел такой странный вопрос: Почему не разделить пользователей (допустим по IP адресу) и не отправить каждую группу на свой SQUID (ну а сквиды уже связать по WCCP)? Поставить просто маршрутизатор между пользователем и группой кэшей....

Прошу ногами сильно не бить - в кисках не понимаю ;)))

Знаешь девиз UNIX-а?

Можно сделать все, по крайней мере двумя способами.

Так что можно делать так и эдак. Только сперва надо оценить эффективность решения.

Я гляжу, тут специалисты собрались по сквиду... Может пособите, а? Был у меня squid-2.4S1 и работал он как transparent. Все пакеты с dport 80, 8080, 8100 и т.п. заворачивались на него. И все было нормально. А потом проапдейтил до 2.4S4 и получилось следующее: если идем на http://host.domain/ то все ОК, а если на http://host.domain:port/ то коннект идет всегда на 80-ый порт, независимо от того, какой порт прошу. При этом в логах никакого упоминания про порт, т.е. пишет: http://host.domain/ и все... Настройки не менял... Пробовал 2.4S3 - тоже самое. Что там поломали? Или я чего не так делаю? Настройки такие:

httpd_accel_host virtual httpd_accel_with_proxy on httpd_accel_uses_host_header on