Исправление micronekodesu, (текущая версия) :
Скажите, можно ли запустить его так, чтобы указать только один лог, потому указать еще один лог и так далее?
А смысл? Вы так можете просто каким-нибудь rsync\scp перекинуть файл. Filebeat нужен для того чтоб одновременно отслеживать и отправлять несколько файлов.
на сколько я filebeat понимаю он только читает и отправляет как есть, верно?
Ну грубо говоря да если у вас нет никаких обработок.
у меня custom лог формат в nginx может это ему как то мешает?
Ему все равно, он по сути просто построчно смотрит файл и отправляет что там есть.
включен модуль nginx в filebeat и там указаны access логи пути по маске
В общем может тут и будет какая-то проблема (т.к. у вас кастомный лог, а модуль как раз парсит строки), попробуйте без него.
файлов и правда много и файлы пишутся очень активно
"Много" и "активно" это относительно, сколько это в числах?
вообще стеке эластика грантия доставки есть?
Конечно (если только вы не по udp пихаете логи, и то мне кажется что он как-то там внутри проверяет)
у filebeat есть какая то очередь к примеру если он потерял соединение?
Есть registry-файлы (путь посмотрите в конфиге, по дефолту /var/lib/filebeat/registry), он туда пишет информацию о том какие файлы обрабатывает и смещение от начала, на котором остановил обработку. Сами очереди внутри файлбита и я не знаю можете ли вы туда влезть, но не уверен что вам это нужно вообще.
может есть какие альтернативы?
logstash, всякие варианты syslog'а, вообще в логстеш хоть через самописное приложение по tcp\udp можно слать данные. Посмотрите input-плагины логстеша.
либо может кто подскажет еще варианты
Можете попробовать запускать несколько отдельный filebeat'ов для разных групп файлов. Вообще вам стоит начать с чтения логов.
Исправление micronekodesu, :
Скажите, можно ли запустить его так, чтобы указать только один лог, потому указать еще один лог и так далее?
А смысл? Вы так можете просто каким-нибудь rsync\scp перекинуть файл. Filebeat нужен для того чтоб одновременно отслеживать и отправлять несколько файлов.
на сколько я filebeat понимаю он только читает и отправляет как есть, верно?
Ну грубо говоря да если у вас нет никаких обработок.
у меня custom лог формат в nginx может это ему как то мешает?
Ему все равно, он по сути просто построчно смотрит файл и отправляет что там есть.
включен модуль nginx в filebeat и там указаны access логи пути по маске
В общем может тут и будет какая-то проблема (т.к. у вас кастомный лог, а модуль как раз парсит строки), попробуйте без него.
файлов и правда много и файлы пишутся очень активно
"Много" и "активно" это относительно, сколько это в числах?
вообще стеке эластика грантия доставки есть?
Конечно (если только вы не по udp пихаете логи, и то мне кажется что он как-то там внутри проверяет)
у filebeat есть какая то очередь к примеру если он потерял соединение?
Есть registry-файлы (путь посмотрите в конфиге, по дефолту /var/lib/filebeat/registry), он туда пишет информацию о том какие файлы обрабатывает и смещение от начала, на котором остановил обработку. Сами очереди внутри эластика и я не знаю можете ли вы туда влезть, но не уверен что вам это нужно вообще.
может есть какие альтернативы?
logstash, всякие варианты syslog'а, вообще в логстеш хоть через самописное приложение по tcp\udp можно слать данные. Посмотрите input-плагины логстеша.
либо может кто подскажет еще варианты
Можете попробовать запускать несколько отдельный filebeat'ов для разных групп файлов. Вообще вам стоит начать с чтения логов.
Исходная версия micronekodesu, :
Скажите, можно ли запустить его так, чтобы указать только один лог, потому указать еще один лог и так далее?
А смысл? Вы так можете просто каким-нибудь rsync\scp перекинуть файл. Filebeat нужен для того чтоб одновременно отслеживать и отправлять несколько файлов.
на сколько я filebeat понимаю он только читает и отправляет как есть, верно?
Ну грубо говоря да если у вас нет никаких обработок.
у меня custom лог формат в nginx может это ему как то мешает?
Ему все равно, он по сути просто построчно смотрит файл и отправляет что там есть.
включен модуль nginx в filebeat и там указаны access логи пути по маске
В общем может тут и будет какая-то проблема (т.к. у вас кастомный лог, а модуль как раз парсит строки), попробуйте без него.
файлов и правда много и файлы пишутся очень активно
"Много" и "активно" это относительно, сколько это в числах?
вообще стеке эластика грантия доставки есть?
Конечно
у filebeat есть какая то очередь к примеру если он потерял соединение?
Есть registry-файлы (путь посмотрите в конфиге, по дефолту /var/lib/filebeat/registry), он туда пишет информацию о том какие файлы обрабатывает и смещение от начала, на котором остановил обработку. Сами очереди внутри эластика и я не знаю можете ли вы туда влезть, но не уверен что вам это нужно вообще.
может есть какие альтернативы?
logstash, всякие варианты syslog'а, вообще в логстеш хоть через самописное приложение по tcp\udp можно слать данные. Посмотрите input-плагины логстеша.
либо может кто подскажет еще варианты
Можете попробовать запускать несколько отдельный filebeat'ов для разных групп файлов. Вообще вам стоит начать с чтения логов.