LINUX.ORG.RU
решено Форум — Admin  

Elasticsearch+Logstash+Kibana: как настроить Dashboard?

 , , ,


0

2

Привет, коллеги. Установил ELK. Накатил на сервер с ELK и на одну машину Filebeat.

Залил индексы и дэшборды вот так: 

filebeat export template > filebeat.template.json
curl -XPUT -H 'Content-Type: application/json' http://localhost:9200/_template/filebeat-6.4.2 -d@filebeat.template.json

filebeat setup -e \
  -E output.logstash.enabled=false \
  -E output.elasticsearch.hosts=['localhost:9200'] \
  -E setup.kibana.host=localhost:5601
Прошло без ошибок.

Запустил Filebeat на обеих машинах (на сервере включил модуль system, на другой машине system и mysql), в Discovery данные приходят, в Management\Elasticsearch\Index Management индексы есть, Dashbords тоже есть. Но при попытке открыть любой дэшборд получаю ошибку типа 

Could not locate that index-pattern-field (id: logstash.log.level)

Что я делаю не так, товарищи?

Конфиг /etc/filebeat/filebeat.yml 

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 3

setup.kibana:
  host: "elk.mydomain.ru:5601"

output.logstash:
  # The Logstash hosts
  hosts: ["elk.mydomain:5044"]

Конфиг /etc/logstash/conf.d/in-out.conf

input {
      beats {
        port => 5044
      }
}

output {
      elasticsearch {
        hosts => ["localhost:9200"]
        sniffing => true
        manage_template => false
        index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
#        document_type => "%{[@metadata][type]}"
	document_type => "doc"
      }
}

Попробуй в кибане у индекса обновить поля.

Да, файлбит сам может дашборды настроить, не нужно их руками заливать.

Difrex ★★★★
()
Ответ на: комментарий от Difrex

Да, файлбит сам может дашборды настроить, не нужно их руками заливать.

В моем случае (файлбит настроен на отправку данных в логстеш) таки нужно - вот что говорит инструкция: Set up dashboards for Logstash outputedit During dashboard loading, Filebeat connects to Elasticsearch to check version information. To load dashboards when the Logstash output is enabled, you need to temporarily disable the Logstash output and enable Elasticsearch - ну и пример команды вроде моей.

Попробуй в кибане у индекса обновить поля.

Выполнил Management/Kibana/Index Patterns/Refresh Field List - ничего не изменилось. Попробовал стопнуть файлбиты, очистить индексы, удалить дешборды и залить заново - то же самое. Что-то я делаю не так.

dpronyaev ★
() автор топика
Последнее исправление: dpronyaev (всего исправлений: 2)
Ответ на: комментарий от dpronyaev

Решил в итоге просто. Удалил визуализации, дэшборды, темплейт. Закомментил в конфиге Logstash, прописал Elasticsearch.

Выполнил 

filebeat setup

Установились и шаблон и дешборды и всё что надо. Раскомментил Logstash, закомментил Elasticsearch, запустил Filebeat. Работает.

Походу, 

-E output.logstash.enabled=false \
-E output.elasticsearch.hosts=['localhost:9200']
не обрабатываются нормально.

dpronyaev ★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin