ELK

E = Elasticsearch，一款基于的Lucene的分布式搜索引擎，我们熟悉的github，就是由ElastiSearch提供的搜索，据传已经有10TB+的数据量。

L = Logstash ，一款分布式日志收集系统，支持多输入源，并内置一些过滤操作，支持多输入元

K = Kibana ，一款配合ElasticSearch的web可视化界面，内置非常各种查询，聚合操作，并拥有漂亮的图形化展示功能

官网地址：https://www.elastic.co

这里再介绍一个很好用的轻量级的产品 Beats，支持同logstash和elasticsearch进行交互

Filebeat   Real-time insight into log data.
Packetbeat   Analyze network packet data.
Winlogbeat   Analyze Windows event logs.
Metricbeat   Ship and analyze metrics.

下面是官方的产品结构图

由上图可见可以用K+E+Logstash

也可以 K+E+Beats组成

下面将一一介绍搭建方法

本例介绍如何搭建配置最新的 5.0版本

环境搭建

ELK的搭建

环境依赖： java 1.8 及以上版本

 
          yum -y  
          install  
          java-1.8.0-openjdk

本例在Centos7 x64上root用户yum方式安装，也可以自己下载tar包解压手动运行，具体安装方式见官网教程

https://www.elastic.co/guide/en/logstash/current/installing-logstash.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html

https://www.elastic.co/guide/en/kibana/current/install.html

配置repo源

 
          vim  
          /etc/yum 
          .repos.d 
          /elastic 
          .repo

添加下面内容

 
          [elasticsearch-5.x] 
         
          name=Elasticsearch repository  
          for  
          5.x packages 
         
          baseurl=https: 
          //artifacts 
          .elastic.co 
          /packages/5 
          .x 
          /yum 
         
          gpgcheck=1 
         
          gpgkey=https: 
          //artifacts 
          .elastic.co 
          /GPG-KEY-elasticsearch 
         
          enabled=1 
         
          autorefresh=1 
         
          type 
          =rpm-md

然后安装

 
          yum -y  
          install  
          elasticsearch kibana logstash

到此安装结束

EKB的搭建

配置好repo源后

 
          yum -y  
          install  
          elasticsearch kibana

然后下载 beat的rpm包或者tar包，这里介绍rpm包安装

需要依赖curl，没有的yum安装

Filebeats

 
          curl -L -O https: 
          //artifacts 
          .elastic.co 
          /downloads/beats/filebeat/filebeat-5 
          .0.1-x86_64.rpm 
         
          rpm - 
          vi  
          filebeat-5.0.1-x86_64.rpm

Metricbeats

 
          curl -L -O https: 
          //artifacts 
          .elastic.co 
          /downloads/beats/metricbeat/metricbeat-5 
          .0.1-x86_64.rpm 
         
          rpm - 
          vi  
          metricbeat-5.0.1-x86_64.rpm

到此EKB安装结束

环境配置

elastic的产品都用yaml做的配置，所以配置文件都是目录下的 .yml文件

产品的配置文件分别是

/etc/elasticsearch/elasticsearch.yml

/etc/kibana/kibana.yml

/etc/logstash/logstash.yml

/etc/filebeat/filebeat.yml

/etc/metricbeat/metricbeat.yml

下面列出各个组件中需要注意的地方

Kibana配置

server.port: 5601

server.host: "localhost"

elasticsearch.url: "http://localhost:9200"

需要配置ssl的里边有相应项目，自己看吧不列举了

Elasticsearch配置

network.host: 192.168.0.1

http.port: 9200

Logstash配置

这个本身yml文件需要配置的不多，主要是跟elastic链接的配置

logstash的配置文件目录 /etc/logstash/conf.d/

新建 nb-pipeline.conf

 
          input { 
         
          beats { 
         
          port =>  
          5044 
         
          } 
         
          file { 
         
          path =>  
          "/path/to/target/file" 
         
          } 
         
          } 
         
          output { 
         
          elasticsearch { 
         
          hosts => [ 
          "http://localhost:9200" 
          ] 
         
          index =>  
          "%{[@metadata][beat]}-%{+YYYY.MM.dd}" 
         
          document_type =>  
          "%{[@metadata][type]}" 
         
          } 
         
          }

input

input可以是beats可以是file，支持multiple的

具体见官网详细介绍吧

https://www.elastic.co/guide/en/logstash/current/input-plugins.html

output

同样支持很多种输出，定义index，不过一般都输出到elasticsearch，不多做介绍，见官网

https://www.elastic.co/guide/en/logstash/current/output-plugins.html

Filebeat配置

文件的位置

- input_type: log

# Paths that should be crawled and fetched. Glob based paths.
paths:
- /var/log/*.log

这里有两处output位置，根据需要自己选择

#----------------------------- Logstash output --------------------------------

hosts: ["localhost:5043"]

#-------------------------- Elasticsearch output ------------------------------

hosts: ["localhost:9200"]

Metricbeat配置

Modules配置

支持很多，默认的是system，还支持mongodb(当前版本有个小问题)

本例采用默认的，其他见官网

https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-modules.html

output

同样输出到elasticsearch

output.elasticsearch:
# Array of hosts to connect to.
hosts: ["10.10.6.83:9200"]

导入Dashboard

Metric beat内置了几种Dashboard，可以直接导入显示

操作方法

 
          /usr/share/metricbeat/scripts/import_dashboards  
          -es http: 
          //localhost 
          :9200

详细参照

https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-sample-dashboards.html

TroubleShooting

kibana安装完成后，无法创建索引

默认的索引是logstash-*，并且是按时间检索的

如果logstash直接解析传给elasticsearch的那没有问题，可以创建成功

如果是beat穿过去的，需要自己定义

比如filebeat传过去的，索引要用“filebeat-*”

metricbeat传过去的，索引用“metricbeat-*”

这里只是简单的介绍，ELK功能很强大，欢迎有兴趣的童鞋深入研究

https://www.elastic.co/guide/index.html

贴两张图

Filebeat > logstash > E > K

Metricbeat > E > K 监控windows进程

ELK日志分析平台搭建 + Beats

ELK

本例介绍如何搭建配置最新的 5.0版本

环境搭建

ELK的搭建

EKB的搭建

环境配置

Kibana配置

Elasticsearch配置

Logstash配置

input

output

Filebeat配置

Metricbeat配置

Modules配置

output

导入Dashboard

TroubleShooting

kibana安装完成后，无法创建索引

猜你喜欢