LINUX.ORG.RU

Применимость Logstash

 ,


1

1

Нормально ли использовать сабж для такой задачи: Скачивать каждое утро .gz архив со статистикой с удаленного сервера в размере примерно 1gb и перегонять в базу mongodb. В архиве лежат данные за последний месяц, но нам нужно синхронизировать только последний день.

Проблемы которые были: 1)плагин http_poller для скачки вызывал переполнение стека Java, пока файл весил всего 150mb. Качать пришлось используя curl. 2)кодек gzip_lines не устанавливается в 5 версию logstash, пришлось откатится до версии 2.4 3)не найдена возможность пропускать уже синхронизированные данные, он просто сейчас в начале сыпет кучу ошибок в свой лог и только потом синхранизирует данные за последний день.

Нормально ли его использовать так или лучше переписать на той же яве? Мне кажется это бы быстрее работало и времени на разработку меньше ушло.


Скачивать каждое утро .gz архив со статистикой с удаленного сервера в размере примерно 1gb и перегонять в базу mongodb. В архиве лежат данные за последний месяц, но нам нужно синхронизировать только последний день.

низя на сервере по крону отрезать от архива кусок за два (чтоб с запасом) дня?

Deleted ()
Ответ на: комментарий от Deleted

Мне дают доступ к упакованному логу за месяц, было бы конечно неплохо если бы он был за два дня.

fasol8 ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.