LINUX.ORG.RU

19
Всего сообщений: 63

Проблема с Filebeat при выводе логов в ELK

Друзья, если кто-то с ELK работал - помогите пожалуйста разобраться с настройкой Filebeat (syslog). Делаю все по манам, в том числе по индуским и англоязычным, но не идут нужные индeксы. Тому пример на скрине

Image

Конфиги тут configs

 , ,

PirateTM ()

возможно ли в elasticsearch отключить весь xpack?

Доброго времени суток

Сабж. Пока нагуглил только отключение отдельных плагинов, а мне нужно полностью выключить xpack. Чтобы нельзя было придраться к лицензированию

 ,

router ()

Пустая переменная, хотя header отображается

Всем привет, использую nginx v1.17.6 и oauth2 v4.1.0-12-g7663565 авторизация через Azure

server {

    listen 443 ssl;

    server_name 127.0.0.1;

    ssl_certificate     ../nginx-selfsigned.crt;
    ssl_certificate_key ../nginx-selfsigned.key;

    location /oauth2/ {
            proxy_pass       http://127.0.0.1:4180;
            proxy_set_header Host                    $host;
            proxy_set_header X-Real-IP               $remote_addr;
            proxy_set_header X-Scheme                $scheme;
            proxy_set_header X-Auth-Request-Redirect $request_uri;
    }

    location = /oauth2/auth {
             proxy_pass       http://127.0.0.1:4180;
             proxy_set_header Host             $host;
             proxy_set_header X-Real-IP        $remote_addr;
             proxy_set_header X-Scheme         $scheme;
             # nginx auth_request includes headers but not body
             proxy_set_header Content-Length   "";
             proxy_pass_request_body           off;
    }

    location / {
            auth_request /oauth2/auth;
            error_page 401 = /oauth2/sign_in;

            auth_request_set $user   $upstream_http_x_auth_request_user;
            auth_request_set $email  $upstream_http_x_auth_request_email;
            add_header X-Debug3 "$upstream_http_x_auth_request_user";
            proxy_set_header X-User  $user;
            proxy_set_header X-Email $email;
            auth_request_set $auth_cookie $upstream_http_set_cookie;
            add_header Set-Cookie $auth_cookie;

            auth_request_set $auth_cookie_name_upstream_1 $upstream_cookie_auth_cookie_name_1;

            add_header X-Debug "$user";
            add_header X-Debug2 "$email";

            set $username admin;

            proxy_pass http://127.0.0.1:5601;

            proxy_set_header Authorization "Basic secret:secret";

            if ($user = "test@mail.ru") {
                    set $username user1;
            }

            proxy_set_header es-security-runas-user $username;

    }

} Переменная user в headers отображается, и если она равна test@mail.ru то if не отрабатывает. Кто поможет найти проблему?

 , , ,

valynkoandrei ()

Админки, вьверы, скаффолдинг для ElasticSearch

Есть у меня большой массив информации, которую надо обрабатывать. На 99% она текстовая. Решил я ее в ElasticSearch залить и потихоньку нужные индексы добавлять. Взял триал на Elastic.co на 2 недели, но все «админки» что находил - не конектят к нему. Может чето делаю не правильно, не разобрался еще.

Прошу поделиться опытом, кто что использовал для быстрого пототипирования с использованием этой технологии.

 , , ,

trashymichael ()

Postgres медленнее elasticsearch

Есть массивы по 4k значений. Надо посчитать разность между элементами двух масивов, возвести её в квадрат, сложить и извлечь корень. Это будет «расстояние». Задача: найти десяток массивов с минимальным расстоянием.

На тестовом примере в 6k массивов, эластик отрабатывает за 8 секунд, постгрес за двадцать.

CREATE OR REPLACE FUNCTION my_dist(l double precision[], r double precision[]) RETURNS double precision AS $$
DECLARE
  s double precision;
  al int;
BEGIN
  s := 0;
  FOR i IN 1..al LOOP
    s := s + ((l[i] - r[i]) * (l[i] - r[i]));
  END LOOP;
  RETURN sqrt(s);
END;
$$ LANGUAGE plpgsql;

Ну ок, пока я изучал, что можно исправить, выяснил, что введение доп. переменной j := j + 1 снижает производительность раза в полтора, странно, да? Отож. Тогда, я покумекал и сделал так:

CREATE OR REPLACE FUNCTION my_dist2(l double precision[], r double precision[]) RETURNS double precision AS $$
select sqrt(sum((li-ri)^2)) from unnest(l, r) as names(li, ri);
$$ LANGUAGE sql;

Эта штукенция уже отрабатывает за 11 секунд (если не в виде процедуры, а сразу встраивать в запрос, то 14-16секунд), в принципе, близко к эластику, но хотелось бы ещё быстрее. Ибо эластик для этой задачи подходит крайне хреново.

 ,

Deleted ()

Не приходят логи

Добрый день.

Использую ELK для postfix

Для теста связи logstash и filebeat в logstash

input {
  beats {
    port => 5044
  }
}


output {
        elasticsearch {
            hosts    => "localhost:9200"
            index    => "postfix1-%{+YYYY.MM.dd}"
        }

 file {
         path  => "/some/debug"
         codec => rubydebug
    }
}

В конфиге filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
      - /var/log/maillog*

output.logstash:
  hosts: ["192.168.199.146:5044"]
xpack.monitoring:
  enabled: true
  elasticsearch:
    hosts: ["http://192.168.199.146:9200"]

Но папка файл /some/debug не создаётся и в Kibana нет индекса.

Warning только в логе filebeat

WARN    beater/filebeat.go:152  Filebeat is unable to load the Ingest Node pipelines for the configured modules because the Elasticsearch output is not configured/enabled. If you have already loaded the Ingest Node pipelines or are using Logstash pipelines, you can ignore this warning.

Что можно сделать, чтобы индекс появился ?

 

beren ()

ElasticSearch на Windows, сайт Ubuntu

Добрый день.Сайт на Ubuntu.Хочу подключить windows машину с установленным ElasticSearch.Возможно ли так сделать.Буду рад любым советам.Подскажите новичку.Спасибо.

 , ,

peterspb ()

SQLite beat существует?

Как грузить в ElasticSearch данные из логов в SQLite? Только LogStash с плагином? Поискал в сети — жалуются, что ест много памяти и глючит плагин sqlite. А там сервера такие, что их filebeat вешал, если слишком часто директории сканировал.

На всякий случай: sqlbeat опрашивает сервера и не умеет читать файлы sqlite.

 

olegd ()

elasticsearch cluster в docker

делаю конфиг docker-compose.yml

version: '2'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:5.0.2
    restart: always
    container_name: elasticsearch
    environment:
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms2g -Xmx2g"
      - xpack.security.enabled=false
      - "discovery.zen.ping.unicast.hosts=ip1:9500,ip2:9500,ip3:9500"
      - "discovery.zen.minimum_master_nodes=2"
      - "path.repo=/backup/snapshot"
      - "cluster.name=docker"
      - "node.name=n1"
      - "network.host=0.0.0.0"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    ports:
      - "9400:9200"
      - "9500:9300"
    volumes:
      - esdata:/usr/share/elasticsearch/data
      - /backup/snapshot:/backup/snapshot

volumes:
  esdata:
    driver: local

пробую запускать docker-compose up -d и получаю ошибки

[2019-09-20T09:46:54,529][INFO ][o.e.x.m.e.Exporters      ] [n1] skipping exporter [default_local] as it isn't ready yet
[2019-09-20T09:46:54,529][ERROR][o.e.x.m.AgentService     ] [n1] exception when exporting documents
org.elasticsearch.xpack.monitoring.exporter.ExportException: exporters are either not ready or faulty
        at org.elasticsearch.xpack.monitoring.exporter.Exporters.export(Exporters.java:188) ~[x-pack-5.0.2.jar:5.0.2]
        at org.elasticsearch.xpack.monitoring.AgentService$ExportingWorker.run(AgentService.java:208) [x-pack-5.0.2.jar:5.0.2]
        at java.lang.Thread.run(Thread.java:745) [?:1.8.0_92-internal]

 , ,

Garcia ()

Подсчёт элементов elasticsearch

Добрый день. Осваиваю работу с elasticsearh. На данный момент стою перед следующей задачей - необходимо узнать количество повторений определенного слова каждый день в течении недели. Неужели мне нужно делать 7 запросов на каждый день или это можно все сделать в одном запросе?

 

Andreezy ()

elasticsearch backup

есть такое https://github.com/taskrabbit/elasticsearch-dump

но при restore mapping ошибка

Error Emitted => {"root_cause":[{"type":"mapper_parsing_exception","reason":"analyzer [ru_RU] not found for field [manufacturer]"}],"type":"mapper_parsing_exception","reason":"analyzer [ru_RU] not found for field [manufacturer]"}

да и вообще долго бэкапится через эту утилиту, индекс ~1G

кто как вообще бэкапит elasticsearch?

 ,

Garcia ()

elasticsearch cluster

есть 1 сервер, на нем уже стоит эластик и есть данные, купили еще 2 сервера и надо настроить кластер между 3 серверами, как это лучше сделать, что бы не убить данные на 1 сервере?

 ,

Garcia ()

Поиск повторений в ElasticSearch

Добрый вечер. Планирую установить ElasticSearch для поиска и хранения комментариев. Вопрос в следующем - как правильно хранить комментарии пользователей чтобы я смог затем смотреть самые повторяющиеся слова в них?

 , ,

Andreezy ()

Правильное использование эластика

Сейчас поиск в бд начал занимать слишком много времени, приняли решение использовать эластик. И стал вопрос, а какие поля туда нужно ложить? Первый вариант, только те что нужны для нечеткого поиска, пусть будут условные (тайтл и дескрипшн) + айди записи которая в sql. Ну и возможно поля которые нужны для сортировки. И потом имея айдишки документов, делать дополнительные селекты в бд для нужной агрегации данных для фронта. Либо, вариант второй, полностью все держать в эластике. Как правильно сделать?

 ,

cr0 ()

Есть ли инструкция по установке и настройке osquery в Elasticsearch / Kibana?

Может кто подключал osquery к Elasticsearch / Kibana? Можете поделиться опытом?

Я установил Filebeat, Elasticsearch, Kibana 6.6.2

filebeat modules enable osquery
sudo rpm -ivh https://osquery-packages.s3.amazonaws.com/centos7/noarch/osquery-s3-centos7-repo-1-0.0.noarch.rpm
sudo yum install osquery

Статус osquery

systemctl status osquery
Ok

systemctl restart filebeat

Config Osquery

cat /etc/osquery/osquery.conf | grep -v "//" | grep -v "^$"
{
  "options": {
    "config_plugin": "filesystem",
    "logger_plugin": "filesystem",
    "utc": "true"
  },
  "schedule": {
    "system_info": {
      "query": "SELECT hostname, cpu_brand, physical_memory FROM system_info;",
      "interval": 3600
    }
  },
  "decorators": {
    "load": [
      "SELECT uuid AS host_uuid FROM system_info;",
      "SELECT user AS username FROM logged_in_users ORDER BY time DESC LIMIT 1;"
    ]
  },
  "packs": {
  },
  "feature_vectors": {
    "character_frequencies": [
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.00045,  0.01798,
      0.0,      0.03111,  0.00063,  0.00027,   0.0,      0.01336,  0.0133,
      0.00128,  0.0027,   0.00655,  0.01932,   0.01917,  0.00432,  0.0045,
      0.00316,  0.00245,  0.00133,  0.001029,  0.00114,  0.000869, 0.00067,
      0.000759, 0.00061,  0.00483,  0.0023,    0.00185,  0.01342,  0.00196,
      0.00035,  0.00092,  0.027875, 0.007465,  0.016265, 0.013995, 0.0490895,
      0.00848,  0.00771,  0.00737,  0.025615,  0.001725, 0.002265, 0.017875,
      0.016005, 0.02533,  0.025295, 0.014375,  0.00109,  0.02732,  0.02658,
      0.037355, 0.011575, 0.00451,  0.005865,  0.003255, 0.005965, 0.00077,
      0.00621,  0.00222,  0.0062,   0.0,       0.00538,  0.00122,  0.027875,
      0.007465, 0.016265, 0.013995, 0.0490895, 0.00848,  0.00771,  0.00737,
      0.025615, 0.001725, 0.002265, 0.017875,  0.016005, 0.02533,  0.025295,
      0.014375, 0.00109,  0.02732,  0.02658,   0.037355, 0.011575, 0.00451,
      0.005865, 0.003255, 0.005965, 0.00077,   0.00771,  0.002379, 0.00766,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0,      0.0,       0.0,      0.0,      0.0,
      0.0,      0.0,      0.0
    ]
  }    
}

Дашборд где видно ошибки https://discourse-cdn-sjc1.com/elastic/uploads/default/original/3X/f/e/febfbcb994e9f169ab2d26d790013888d5871ffc.png

 ,

chemtech ()

prometheus elasticsearch

хочу добавить доп мониторинг эластика
взял этот exporter запустил через docker-compose на серверe prometheus

version: '2'
services:
  elasticsearch_exporter:
     image: justwatch/elasticsearch_exporter:latest
     container_name: elasticsearch_exporter
     command:
       - '-es.uri=http://my.elastic.server:9200'
     restart: always
     ports:
       - "127.0.0.1:9114:9114"

docker-compose ps
             Name                           Command               State                 Ports
------------------------------------------------------------------------------------------------------------
elasticsearch_exporter   /bin/elasticsearch_exporte ...   Up      9108/tcp, 127.0.0.1:9114->9114/tcp

добавил в prometheus.yml

  - job_name: "my.elastic.server:elasticsearch"
    scrape_interval: 10s
    static_configs:
       - targets: ['localhost:9114']

но никаких метрик я не вижу

curl 127.0.0.1:9114
curl: (56) Recv failure: Connection reset by peer
curl http://my.elastic.server:9200
{
  "name" : "4v0VI7s",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "RYyn7NQnRCabaXhjyUbLGg",
  "version" : {
    "number" : "6.6.2",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "3bd3e59",
    "build_date" : "2019-03-06T15:16:26.864148Z",
    "build_snapshot" : false,
    "lucene_version" : "7.6.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

ЧЯДНТ?

 , ,

Garcia ()

Возможно ли создать словарь естественного языка с помощью Elasticsearch?

Как вообще у словарей задняя часть работает из каких стеков разрабатываются словари? Хочу создать словарь некий для пробы. Но я нашёл и прочитал про Elasticsearch. Возможно ли создать словарь с помощью него?

 , , ,

Deleted ()

elasticsearch x-pack

кто пробовал, расскажите о плюсах и минусах? Как выглядит подписка? это ключ который нужно положить на сервер? Спасибо.

 

VoDD87 ()

Кластер Elasticsearch в Docker

Есть два сервера, один длинный, другой тяжёлый.
На одном есть три контейнера Elasticsearch, для которых настроен проброс портов изнутри на физический адрес сервера, но которые при этом организовались в кластер по своей внутренней сети.
На втором сервере тоже есть один контейнер. И хотелось бы его добавить четвёртой нодой в существующий кластер.
Я не растерялся и прописал три ноды в discovery.zen.ping.unicast.hosts новой ноды.
Но мой план не сработал, судя по логам кластер пытается собраться на внутренних Docker адресах, что не сработает.
Как это разрулить?
Конфиги:
На обоих серверах интерфейс docker0 172.17.0.1/16

docker-compose.yml с первого сервера:

version: '2.2'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:6.6.0
    container_name: elasticsearch1
    environment:
      - cluster.name=supercluster
      - bootstrap.memory_lock=true
      - discovery.zen.minimum_master_nodes=2
      - "ES_JAVA_OPTS=-Xms32766m -Xmx32766m"
      - "discovery.zen.ping.unicast.hosts=elasticsearch"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata1:/usr/share/elasticsearch/data
    ports:
      - 10.11.12.13:9200:9200
      - 10.11.12.13:9300:9300
    networks:
      - esnet

  elasticsearch2:
    image: docker.elastic.co/elasticsearch/elasticsearch:6.6.0
    container_name: elasticsearch2
    environment:
      - cluster.name=supercluster
      - bootstrap.memory_lock=true
      - discovery.zen.minimum_master_nodes=2
      - "ES_JAVA_OPTS=-Xms32766m -Xmx32766m"
      - "discovery.zen.ping.unicast.hosts=elasticsearch"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata2:/usr/share/elasticsearch/data
    ports:
      - 10.11.12.13:9201:9200
      - 10.11.12.13:9301:9300
    networks:
      - esnet

  elasticsearch3:
    image: docker.elastic.co/elasticsearch/elasticsearch:6.6.0
    container_name: elasticsearch3
    environment:
      - cluster.name=supercluster
      - bootstrap.memory_lock=true
      - discovery.zen.minimum_master_nodes=2
      - "ES_JAVA_OPTS=-Xms32766m -Xmx32766m"
      - "discovery.zen.ping.unicast.hosts=elasticsearch"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata3:/usr/share/elasticsearch/data
    ports:
      - 10.11.12.13:9202:9200
      - 10.11.12.13:9302:9300
    networks:
      - esnet

volumes:
  esdata1:
    driver: local
  esdata2:
    driver: local
  esdata3:
    driver: local


networks:
  esnet:

Как собрался эластик:
# curl 'http://10.11.12.13:9200/_cat/nodes'     
172.25.0.3 23 99 52 0.79 1.39 1.62 mdi * 47cooiw
172.25.0.2 43 99 51 0.79 1.39 1.62 mdi - IX8C70Z
172.25.0.4 40 99 51 0.79 1.39 1.62 mdi - tEy_OlF

docker-compose.yml со второго сервера:
version: '2.2'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:6.6.0
    container_name: elasticsearch
    environment:
      - cluster.name=supercluster
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms8g -Xmx8g"
      - "discovery.zen.ping.unicast.hosts=10.11.12.13:9300,10.11.12.13:9301,10.11.12.13:9302"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - esdata1:/usr/share/elasticsearch/data
    ports:
      - 10.11.12.12:9200:9200
      - 10.11.12.12:9300:9300
    networks:
      - esnet

volumes:
  esdata1:
    driver: local

networks:
  esnet:


Я почитал про варианты настройки сети в докере, но очень не хотелось бы наворачивать отдельные адреса каждому контейнеру.

 ,

zolden ()

elasticsearch 6 медленная индексация

в магазине 180к товаров
очень медленно индексирует
elastic в локальной private сети
nload показывает что трафик бегает но с пульсацией
медленная индексация зависит больше от самого эластик или от клиента ?
до этого стоял elasticsearch 5 но тоже медленно работал
медленно это значит больше часа

 

kommersant ()