LINUX.ORG.RU
ФорумAdmin

Squid -> access.log -> MySQL


0

0

Чего-то не могу найти в Инете подходящего решения. Задача: загонять данные из squid'ового access.log'а данные в MySQL на лету. Решения, которые я видел были такими - копировать access.log в другое место, обнулять его, обрабатывать скопированный файл. Плохое (неподходящее) решение.

Интересует способ делать это именно на лету, да так, чтобы данные писались и в access.log и в MySQL.

Спасибо за помощь.

Re: Squid -> access.log -> MySQL

могу предложить pglogger который можеть класть логи сквида и апача но опять же не в mysql а postgresql. Хотя переписать его на mysql не составит особого труда или все таки рассмотреть переход с mysql на postgresql ... очевидное приемуществом будет скорость

anonymous ()

Re: Squid -> access.log -> MySQL

У нас в организации работает следующая связка:
1. Патч для сквида, позволяющий паралельно с access.log выводить данные в очередь fifo.
2. Скрипт на перле, обрабатывающий очередь и загоняющий все данные в БД mysql.
3. Скрипт на перле, обеспечивающий аутентификацию пользователей и подключаемый как внешний модуль аутентификации к сквиду. Работает с той же БД.

Данные в очередь попадают не после окончания процесса скачивания ресурса (как в acess.log), а во время. Это позволяет достаточно оперативно контролировать объем скачанного. В связке с внешним скриптом аутентификации появляется возможность автоматической блокировки пользователей при достижении заданных лимитов.
Если интересно - могу выслать пакет на мыло или выложить на ftp.

VitalkaDrug ★★ ()
Ответ на: Re: Re: Squid -> access.log -> MySQL от spirit

Re: Re: Re: Squid -> access.log -> MySQL

sprint - прикольная у тебя сказочка, главное жизненная!

anonymous ()
Ответ на: Re: Re: Squid -> access.log -> MySQL от anonymous

Re: Re: Re: Squid -> access.log -> MySQL

> И насколько приемлимо ворочается у Тебя MySQL при запросах?

При каких?

Я так понимаю, проблемы со скоростью потенциально могут возникнуть в двух случаях: 1. При добавлении информации. Это решается использованием INSERT DELAYED. 2. При выборке. Это решается тщательным проектированием структуры БД и использованием технологий OLAP.

VitalkaDrug ★★ ()
Ответ на: Re: Re: Squid -> access.log -> MySQL от anonymous

Re: Re: Re: Squid -> access.log -> MySQL

> Я делал пожожее на основе squid2mysql, хотелось бы глянуть как у Вас реализовано.

Прошу всех меня извинить - большой загруз на работе. Как только разгребусь, обязательно выложу наш патчик для сквида и скрипты.

Анонс опубликую в этой ветке.

VitalkaDrug ★★ ()
Ответ на: Re: Re: Re: Squid -> access.log -> MySQL от VitalkaDrug

Re: Re: Re: Re: Squid -> access.log -> MySQL

К сожалению, тут нельзя подписаться на "уведомление по емейл при ответе на тему", поэтому просьба продублировать инфу в новой ветке (старая к тому моменту уже может скрыться за горизонтом)

eightn ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.