LINUX.ORG.RU

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

 , , ,


0

0

Во всем мире активно используются системы кэширования интернет-трафика в целях экономии денежных средств и дополнительной защиты пользователей при их работе в сети Интернет. Учитывая сегодняшнее состояние кризиса и финансовые неурядицы, эти системы становятся еще более актуальными.

Подобных программ существует немало, но статистика показывает, что наибольшим спросом пользуются связки на базе прокси-сервера SQUID и вспомогательных средств для анализа его логов и генерации отчетов, а также контроля за расходом трафика. Тройку популярности среди них неизменно уже в течение многих лет составляют: SAMS, SARG и Ipaudit. Рассмотрим все эти программы по очереди в разрезе их функциональности применительно к учету трафика, проходящего через сервер SQUID. Остальных свойств этих разработок мы коснемся поверхностно, в контексте описываемого.

>>> Подробности

★★★

Проверено: maxcom ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

хорошая, годная статья.

cray_rus ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Считать трафик через сквид - это изврат.

ZigmunD ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Во всём мире кэширование не актуально. Актуально оно только там, где за кол-во потреблённого трафика платят. У кого оплата за фиксированной ширины линк, тому на кэширование пофиг.

mv ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

контора в каком-нибудь мухосранске сможет реально сэкономить на интернет-трафике

cray_rus ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Жаль, что Free-SA не включили в анализ :(

saper ★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> контора в каком-нибудь мухосранске сможет реально сэкономить на интернет-трафике

Я и говорю: "экономить на трафике" и "во всём мире" при современном положении в телекоммуникационной области уже как-то режет глаз.

mv ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Не везде полосы такие широкие.

Не везде линк такой стабильный.

Кеширование все еще актуально....

Jetty ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Я и не спорю. Только "во всём мире" уберите.

mv ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Самс -- удивительно глючное поделие, и глючность его с годами нисколько не убывает. В статье также не указан главный недостаток самса -- он не умеет отрубать юзера до окончания сеанса, что позволяет превышать лимит на сколько угодно.

Oleaster ★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Кешируют не только для экономии трафика.

Black_Shadow ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Для экономии токенов отключают :)

Jetty ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> Я и говорю: "экономить на трафике" и "во всём мире" при современном положении в телекоммуникационной области уже как-то режет глаз.

Неужели "во всём мире" уже никто ничего не кэширует? Ширины каналов ведь тоже не бесконечны, а при разумном кэшировании кое-что тут можно выиграть.

nfubh ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> Кешируют не только для экономии трафика.

А для чего еще?

nfubh ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Не экономят на траффике, а на ширине канала.

linux4ever ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> В статье также не указан главный недостаток самса -- он не умеет отрубать юзера до окончания сеанса, что позволяет превышать лимит на сколько угодно.

Это, скорее, проблема самой технологии на основе сквида. Ей, вроде, подвержены и другие подобные системы.

nfubh ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Нищебродские конторы экономящие на интернетах не нужны

slyjoe ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

0_o интерестно, откуда вообще такая точка зрения взялась? выходит прокси-сервера нахрен никому и не нужны?

кстати, первый прокси-сервер придумал Моисей, накормив горсткой еды толпу голодных израильтян, а теперь мы по его примеру кормим толпы студентов интернетом через 64кб/с...

ei-grad ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> 0_o интерестно, откуда вообще такая точка зрения взялась?

Выдавать частное за общее - это неверно. Кэширование нужно, но не везде. Утверждать, что оно нужно во всём мире - наглое враньё. Я даже не помню, какой ширины у меня канал дома, зачем там ещё кэширование?

mv ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Вас закешили! :) Просто Вам об этом не сказали xD

Jetty ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

>Я даже не помню, какой ширины у меня канал дома, зачем там ещё кэширование?

Дома браузер кэширует, даже если у тебя 5 компов в каждой комнате - оно да, тебе не нужно. А прикинь быдлоуебконтору с офисным планктоном, 1к юзеров, которые днем снидят вконтактах (и проч) и пересылают себе по аське ссылки на какой нить фишки.ру и проч. Ты поразишься ! Как рулит там сквид %)

зы, не надо только воплей "планктон не нужен, вконтакте не нужен, фишки не нужны, фейсбук не нужен, всех в анальное рабство и расстрелять", руководство часто осознанно идет на такое ибо это единственная радость планктона, который по пять дней в неделю (!!!!!!) в офисе с утра до вечера сидит.

А еще кэширование можно использовать на веб сервере, вот ! %) через сквид %) Очень готично.

anonizmus ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

>А для чего еще?

Для ускорения загрузки страниц.

Black_Shadow ★★★★★ ()

Re: Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

>Неужели "во всём мире" уже никто ничего не кэширует?

Ты не поверишь, но практически нигде и ничего.

anonymous ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Точных значений не помню, но порядок соответствует: более 90% всего интернет трафика приходится на пиринговый файлообмен и почтовый спам. Сквид не работает ни с тем, ни с другим.

У больного рак в последней стадии, а мы всерьез обсуждаем методы лечения от насморка.

>системы кэширования интернет-трафика в целях экономии денежных средств....Учитывая сегодняшнее состояние кризиса и финансовые неурядицы, эти системы становятся еще более актуальными

Ни хрена это не актуально - частные проблемы админа из Мухосранска.

anonymous ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Ну особенно кеширование неактуально, когда трафик раздается [s] толпе долбоебов [/s] уважаемому сообществу студентов униврситета. Их высокоморальные устои просто не позволят качать [s]всякую не нужную хуйню и порнографию[/s] не связанные с обучением информацию. Оригинальность и индивидуальность сего мысокомудственного сообщества такова, что увидев на мониторе соседа [s]жопу[/s] интересную научную статью... никогда и ни при каких обстоятельствах член сего соебщетва не станет качать эту же ... из интернета.

Еще такому сообществу всегда хватает канала, который покупает университет, это ведь повелось с библейских времен (хватало же тогда рыбы и хлеба).

psv1967 ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Точные значения мой друк в том, что есть кеширование и для p2p сетей тоже... Ну а то что отдельные админы из ньювасюков продолжают кипятить (принимать спам) вообще возмутительно.

psv1967 ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

>>Неужели "во всём мире" уже никто ничего не кэширует?

> Ты не поверишь, но практически нигде и ничего.

таки кол-во ума константа... радует только что больше при экспоненциальном течении процесса от этого страдают те кто позже в очереди стоял :)

Крупнейший рынок дорогого софта и железячных решений направлен на кеширование.

psv1967 ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

sams - уг, внедрить по-человечески так и не смогли (~ 500 юзеров, ежемесячный access.log размером около 2,5-3 гб), пользуемся самописной прогой.

spiro ★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> Самс -- удивительно глючное поделие, и глючность его с годами нисколько не убывает. В статье также не указан главный недостаток самса -- он не умеет отрубать юзера до окончания сеанса, что позволяет превышать лимит на сколько угодно.

пора вылезти из анабиоза. теперь разработку ведет сообщество.

отрубание "до конца" самое бессмысленное что можно придумать в такой системе. Даже авторы патча дающего такую возможность отказались от этого бреда.

psv1967 ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

ты умрешь но оно работало на 10000 пользователей в базе и реально пользовавшихся учеткой 2000 .

причем это был самс еще не сообществом дописанный :)

psv1967 ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> Это, скорее, проблема самой технологии на основе сквида. Ей, вроде, подвержены и другие подобные системы.

После наложения патча extacclog этой проблемы нет. Использую много лет, очень помогает. Спасибо авторам.

Не знаю, как в sams'е (будет ли работать), а в моём самописном биллинге пользователю отрубается доступ при нулевом балансе, даже если объект ещё не докачан.

ximeric ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Во всем мире успешно посылают нахрен саму идею учета трафика.

Deleted ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Не удержался... Как всегда, много криков без всякой конкретики...

Небольшая организация в далеком заМКАДье, ~90 компьютеров в сетке, Пользователи с о-о-очень разными интересами и 2-х язычные. Канал в Интернет декларируется 1МБ, но часто бывает загружен и, соответсвенно, меньше. Локальный трафик по республике не ограничен, но какую ширину канала дает провайдер даже не знаю. Squid показыавет около 30% попаданий в кэш. Ощутимо...

Вам не нужно? Не пользуйтесь! Мне тоже много чего не нужно, зачем же об этом так громки кричать? Вы думаете, всем так интересно чем вы ЕЩЕ не пользуетесь?

greyhorse ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

>Во всём мире кэширование не актуально. Актуально оно только там, где за кол-во потреблённого трафика платят. У кого оплата за фиксированной ширины линк, тому на кэширование пофиг.

Ты не прав, из-за недостатка желания подумать головой. Кеширование актуально всегда, т.к. позволяет сохранять до 20-30% канала при безлимите.

Весь офис, как правило, будет сидеть на майлах-говноклассниках-дебилохабрах

Жаль, что в проекте SAMS не взяли на вооружение мою идею с MYSQL-авторизацией, позволявшей получать мизерную нагрузку на сервер при пары тысяч пользователей онлайн. Так и крутится решение внедрённое в одном из региональных ВУЗов (с безлимитным каналом).

Помимо кэша сквиды могут решать массы проблем, особенно с утечками секретных данных.

Секрет кэширования на безлимите кроется в небольшом (2-3Гб) вытесняющем GDSF кэше, расположенном полностью в оперативной памяти.

Ej_Pulsar ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

В некоторых организациях вместо сквида ставят _сертифицированное_ УГ "Трафик Инспектор" под оффтопик. И считают трафик...

keika ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

кэширующие прокси всё более и более актуальны.. особенно _дома_

так как количество компов в домах — увеличивается (сначало все хотели по отдельному персональному компа, а не один на семью. теперь каждый хочет по два или больше)..., а покупа компактного-бесшумного-безвентиляторного сервера (размером с библию) вместо «глупого» маршрутизатора D-Link — всё более-и-более доступна каждому

стоит также отметить что (какаябы скорость подключения к интернету не была) никто ещё из людей не хотелбы урезать свой полезный доступный канал, а вот расширить все всегда хотят (ну или тайно мечтают. например если предложат на холяву) :-)

вот так :-)

mkfifo ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

>Нищебродские конторы экономящие на интернетах не нужны

Каналы везеде нерезиновые. Бывает для адекватной настройки шейпинга нужно анализировать трафик. Но сквид тут реально ни при чем...

madcore ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

>кэширующие прокси всё более и более актуальны.. особенно _дома_

10-15% кэш-попаданий это очень круто.

madcore ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

очевидно же - если жалко трафика для мелкой конторки и самому лень писать скрипты есть крон и iptables (ну на крайний случай сарг)- ни где не вижу этому говну больше применений ...не ?

izmena ()

Re: Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> Ты не прав, из-за недостатка желания подумать головой. Кеширование актуально всегда, т.к. позволяет сохранять до 20-30% канала при безлимите.

ЗАЧЕМ? Если ситуация в половине цивилизованного мира такова, что сервера контент с такой скоростью отдавать не могут, с какой клиент готов тянуть.

> Весь офис, как правило, будет сидеть на майлах-говноклассниках-дебилохабрах


И? Вся ваша аргументация строится вокруг предположения, что канала на всех не хватает. А канала в половине цивилизованного мира хватает.

> Помимо кэша сквиды могут решать массы проблем, особенно с утечками секретных данных.


Режим секретности - это отдельный вопрос, заключающийся не только и не столько в установленном специальном ПО.

> Секрет кэширования на безлимите кроется в небольшом (2-3Гб) вытесняющем GDSF кэше, расположенном полностью в оперативной памяти.


Резюмируя: секрет Неуловимого Джо кроется в том, что Неуловимый Джо нафиг никому не нужен.

mv ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> отрубание "до конца" самое бессмысленное что можно придумать в такой системе. Даже авторы патча дающего такую возможность отказались от этого бреда.

О каком патче речь? Об extacclog?

ximeric ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> Если ситуация в половине цивилизованного мира такова, что сервера контент с такой скоростью отдавать не могут, с какой клиент готов тянуть.

Ситуация в "замкадье" такова, что далеко не все бюджетные организации могут иметь достаточной ширины и/или "глубины" канал. Ну нужно забывать: мы не "в цивилизованном мире", мы в России. :-(

ximeric ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

А чем правильно считать трафик (правда интересно - возможно скоро придется делать что-то похожее и кроме сквида интернет ничего внятного не выдает)?

bender ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

PS: судя по тому как тут ноют наместники - Владивосток - третье транспортное кольцо ...гспода а не пробовали устраиватся в конторки которые не из сквида трафик считают ?

izmena ()

Re: Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> Ситуация в "замкадье" такова, что далеко не все бюджетные организации могут иметь достаточной ширины и/или "глубины" канал. Ну нужно забывать: мы не "в цивилизованном мире", мы в России. :-(

Претензия у меня ровно одна была: убрать "во всём мире".

mv ★★★★★ ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> Претензия у меня ровно одна была: убрать "во всём мире".

Значит вернёмся к истокам.

> Во всём мире кэширование не актуально. Актуально оно только там, где за кол-во потреблённого трафика платят. У кого оплата за фиксированной ширины линк, тому на кэширование пофиг.

В нашем учебном заведении (напоминаю - бюджетном) безлимитный канал фиксированной ширины, ~550Кбит/с. В среднем параллельно выходят наружу 20 человек. Раздели первое число на второе.

ximeric ()

Re: Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

Весь мир - это в пределах МКАДА? или вся Россия пользуется безлимитом?

anonymous ()

Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

подтяни логику. весь мир - это Азиатский кусок России, Африка и местами Азия/Океания?

val-amart ★★★★★ ()

Re: Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

> Во всём мире кэширование не актуально. Актуально оно только там, где за кол-во потреблённого трафика платят. У кого оплата за фиксированной ширины линк, тому на кэширование пофиг.

справедливости ради. это все если мы говорим о кэшировании на стороне клиента =) а иначе по всему миру (ну почти) есть Akamai, или хотя бы банально те же сквиды.

val-amart ★★★★★ ()

Re: Системы учета интернет-трафика. Установка, настройка, использование: Часть 1. Использование SAMS

че тебе зарезало глаз то? на таких как ты мажоров каналов не напасешся , вас каждый год все больше и больше подключается. а через океан то канал не резиновый.

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.