LINUX.ORG.RU
ФорумAdmin

Посоветуйте анализатор логов прокси


0

0

Сабж.
Имеется семь Bluecoat'ов SG800 и 810. В настоящее время пишут логи на выделенный хост с Websense Ыntыrprize. Примерно за два месяца размер базы с логами достигает 20 ГБ и создается новая база.
Несмотря на то, что кроме собственно лог-сервиса и аналайзера на этом сервере ничего не крутится, выборка даже по небольшой новой базе (ок. 4 ГБ) занимает около пяти минут.

Планируем обновлять парк прокси, соответственно есть варианты:
1 Обновить лог-сервер, напихать в него дохрена гиг оперативы, поставить свежую венду, MSSQL и Вебсенс, матюкаясь это все настроить (ибо настраивалось оно давно и неправда), и надеяться, что до поры оно будет тормозить чуть меньше.
2 Найти некоммерческий или коммерческий лог аналайзер, работающий побыстрее Вебсенса. От него нужно: понимать формат логов Вебсенса или Сквида, уметь ротировать базу данных с логами по достижении заданного размера, по возможности работать под Линуксом. Уметь делать выборки типа "какие зарегистрированные пользователи со среды по пятницу на прошлой неделе заходили на такой-то урл, сколько трафика потребили" через не слишком корявый веб-интерфейс.

Пока из более-менее удовлетворяющего этим требованиям нашел коммерческий Sawmill. Скачаю триал, попробую.

Подскажите, кто сталкивался - с какими еще системами стоит поэкспериментировать?

Re: Посоветуйте анализатор логов прокси

для сквида много чего есть. гугль в помощь.

MikeDM ★★★★★ ()

Re: Посоветуйте анализатор логов прокси

Я просто счастлив, что оно есть. Желательно еще, чтоб оно соответствовало перечисленным в первом посте требованиям. Потому (прошу прощения, что не написал этого сразу) - вопрос в первую очередь к тем, кто имеет опыт настройки/эксплуатации лог-аналайзеров в сетях на несколько тысяч пользователей.

P.S. Этим аналайзером кроме меня будут пользоваться еще несколько человек, потому хотя-бы относительное удобство интерфейса - не последнее требование.

gaestur ()

Re: Посоветуйте анализатор логов прокси

Я бы взял Lightsquid и подпилил бы все необходимое. Lightsquid написан на перле, и парсит довольно быстро.

iron ★★★★★ ()
Ответ на: Re: Посоветуйте анализатор логов прокси от vitroot

Re: Посоветуйте анализатор логов прокси

Ага, это уже интереснее. БД для хранения логов. Отчеты генерируемые по запросу, а не по крону. Только последнее обновление - багфикс в августе позапрошлого года. Все равно, благодарю, будем поглядеть.

gaestur ()

Re: Посоветуйте анализатор логов прокси

2 gaestur Уважаемый как насчёт - "Sams" http://sams.perm.ru ?

>какие зарегистрированные пользователи со среды по пятницу на прошлой неделе заходили на такой-то урл,

"Ведение статистики посещенных пользователями ресурсов интернет"

>сколько трафика потребили

"Формирование отчетов по трафику пользователей за любой отрезок времени"

stormzel ()
Ответ на: Re: Посоветуйте анализатор логов прокси от stormzel

Re: Посоветуйте анализатор логов прокси

Благодарю, почитал, поглядел демку. Это все-же немного другое - в первую очередь конфигуратор для сквида, статистика вторична и выдается по пользователям. Сделать запрос "_кто_ с 13.30 по 18.15 вчера посещал бла-бла-бла орг" если и можно, то я не нашел, как.

Да и задачи управлять Сквидом у меня нет. Просто Блукоаты умеют отправлять логи доступа в его формате.

gaestur ()

Re: Посоветуйте анализатор логов прокси

Прошу прощения, что не отвечу на поставленный вопрос. Я лишь хочу удовлетворить своё любопытство. ЗАЧЕМ? ЗАЧЕМ нужно знать какие пользователи с понедельника по пятницу заходят на парт.орг? Для какой цели такие отчеты нужны? Может вы в другом мире живете, где такие отчеты каждый день необходимы, но я даже представить не могу, для каких нужд требуются такие отчеты. Заранее благодарю за внимание.

azure ★★ ()

Re: Посоветуйте анализатор логов прокси

>Заранее благодарю за внимание.

С удовольствием отвечаю :)
Вот есть у нашей конторы хилый 3-мегабитный спутниковый линк, через который крутятся всякие корпорейт-аппликейшены, голос и прочее (через этот линк работают примерно 1500 человек, и еще столько же - через второй такой же). Есть еще линк на 10 мегабит, который не очень стабилен в силу ... хм, многих причин. Если с ним чего не так, интернет и прочая тоже пускаются через спутник.

Потому, увидев (да здравствует NetFlow и его анализаторы), что, несмотря на заблоченный по двум раз в два часа обновляемым спискам TOR, несмотря на обновляемые с сайта производителя проксиков блек-листы, несмотря на то, у аплинка тоже зарезано все, что можно, какая-то ... нехороший человек нашла левую хттпсы проксю, и, подцепившись на нее через нашу проксю, вытащила полтора гектара чего-то через и без того забитый спутниковый линк - я хочу иметь возможность посмотреть, КТО подключался к адресу такому-то. Потом позвонить этой сво^W и сказать ей, что она нехороший человек, и буде такое повторится, трафик ей будет урезан по самое некуда, а от начальства прилетит глубокий анальный поцелуй.

Где-то так.

gaestur ()
Ответ на: Re: Посоветуйте анализатор логов прокси от gaestur

Re: Посоветуйте анализатор логов прокси

>Потому .... > >Где-то так.

sarg - покажет куда ушло много трафика. А зная кто отличился можно уже в логах непосредственно grep'нуть.

А то я уж было подумал, что вы - провайдер, сливающий статистику куда-то в гугл :)

azure ★★ ()

Re: Посоветуйте анализатор логов прокси

>sarg - покажет куда ушло много трафика

Куда ушло много мне NAM-2 показывает, в большой свич воткнутый :)

>А зная кто отличился можно уже в логах непосредственно grep'нуть


Скорее, зная _куда_ отличился. А вот чтоб знать, кто именно, и нужен анализ логов прокси. Но, учитывая объем логов (см. в первом посте), мне коллеги за предложение погрепать спасибо точно не скажут :) Дык что, вопрос о хорошем анализаторе логов, читающем их из БД, и предоставляющем удобный веб-интерфейс, остается в силе.

А пока мучаемся с тормозным Ъ-ынтырпрайз Вебсенсом за много тыщ баксов, работающим на не менее Ъ Win 2003 server + MSSQL.

gaestur ()
Ответ на: Re: Посоветуйте анализатор логов прокси от gaestur

Re: Посоветуйте анализатор логов прокси

> Но, учитывая объем логов (см. в первом посте), мне коллеги за предложение погрепать спасибо точно не скажут :) Дык что, вопрос о хорошем анализаторе логов, читающем их из БД, и предоставляющем удобный веб-интерфейс, остается в силе. С каких это пор любой анализатор логов стал быстрей grep'а?

azure ★★ ()

Re: Посоветуйте анализатор логов прокси

>С каких это пор любой анализатор логов стал быстрей grep'а?

grep быстрее, спору нет. Будь у нас единственная задача "найди падонка, вчера начудившего", писали б наши прокси логи на тот же сервер, куда циски пишут, и грепали б мы по ним по мере надобности. Но история с левыми прокси - это был ответ на вопрос "Зачем знать, _кто_ ходил _туда-то_ в отчетный период". Просто недавний случай, и пример яркий.

Бывает и наоборот: "Вася Петров много качает - проверьте-ка за прошлую неделю. А за месяц?". "Проверили - столько-то входящего, столько-то исходящего. Нифига не много".

И просто в порядке мониторинга использования сети бывает надо поглядеть объемы трафика по потребителям, сайтам, за разные периоды времени.

P.S. Я сам люблю простые решения, ибо ленив. Но - не тот случай. Нужна именно замена Websense® Enterprise Explorer, сравнимая с ним по функциональности.

gaestur ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.