Filebeat + Logstash пользовательского многоиндексный

Вариант первый : Рекомендуется

[Корень @ лоси-узел-1 filebeat] # кошка filebeat.y | -v задать расширенную "^ $ | ^ # | #"

filebeat.inputs:

- Тип: журнал

включено: правда

пути:

- /opt/app/nginx/logs/elk.log

поля:

обслуживание: Nginx

- Тип: журнал

включено: правда

пути:

- / вар / Журнал / хрон

поля:

обслуживание: хрон

filebeat.config.modules:

путь:. $ {} path.config /modules.d / * YML

reload.enabled ложь

setup.template.settings:

index.number_of_shards: 1

setup.kibana:

output.logstash:

хосты: [ "10.0.0.61:5044"]

[Root @ лоси-узел-1 filebeat] #

[Root @ лоси-узел-1 конфиг] # кошки logstash.conf

вход {

биения {

порт => "5044"

}

}

выход {

Когда выходной #; если выходной сигнал равен Nginx "Nginx -% {+ YYYY.MM.DD}"

если [поля] [услуги] == "Nginx" {

elasticsearch {

хостов => [ "10.0.0.61:9200"]

Индекс => "тест-Yunshi-HT-NGIN -% {+ YYYY.MM.DD}"

}

}

 

иначе, если [поля] [услуги] == "хрон" {

elasticsearch {

хостов => [ "10.0.0.61:9200"]

Индекс => "тест-Yunshi-HT-хрон -% {+ YYYY.MM.DD}"

}

}

}

Вариант II не рекомендуемые настройки будут продолжать работать, но планирует исключить из logstash в будущем. В ElasticSearch 6.0, тип документа устарел и полностью удален в версии 7.0

 

filebeat был добавлен document_type конфигурации, определяет идентификационный номер - input_type: журнал

 

  # Дорожка, которые должны сканироваться и надуманная. Glob пути на основе.

  пути:

    - /var/logs/xx.log

  document_type: хх

  пути:

    - /data/logs/aa.log

  document_type: аа

 

Тогда logstash конфигурация , соответствующая в типе

выход {

    если [] == "хх" {

            elasticsearch {

            хостов => [ "* * * *:... 9200"]

            Индекс => "хх -% {+ YYYY.MM.DD}"

            document_type => "Журнал"

        }

    }

    если [] == "AA" {

            elasticsearch {

              хостов => [ "* * * *:... 9200"]

              Индекс => "аа - {% + YYYY.MM.DD}"

              document_type => "Журнал"

                }

    }

}

рекомендация

отwww.cnblogs.com/xy51/p/11208876.html