ELK介绍：
随着业务发展越来越壮大，服务器的数量越来越多，导致我们运维人员无法很好的去管理日志。
ELK就是由elasticsearch logstash以及kibana组成：
Elasticsearch：是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。详细可参考EC官网（https://www.elastic.co/cn/）
Logstash：主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
Kibana：Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。
以上是最初的时候的架构模型，随着发展，我们出现了filebeat----轻量级的日志处理工具，它的优点是占用系统资源少，并且适合在各个服务器上面部署收集可以直接传输给ES服务器并且通过kibana进行日志展示，但是他的缺点正是logstash的优点，他无法设置日志的展示格式，看自己的需求进行构建。
Filebeat隶属于beats，beats包含了6种工具。
Packetbeat： 网络数据（收集网络流量数据）
Metricbeat： 指标 （收集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
Filebeat： 日志文件（收集文件数据）
Winlogbeat： windows事件日志（收集 Windows 事件日志数据）
Auditbeat：审计数据 （收集审计日志）
Heartbeat：运行时间监控 （收集系统运行时的数据）
关于x-pack工具，它提供了安全，警报，监控，报表，图表于一身的扩展包，是收费的，所以我也没装过。
Logstash工作原理：
它处理事件有三个阶段：input filter output，是一个接收，处理，转发日志的工具，支持很多种日志：webserver 错误日志，等等
架构原理：
可以看出来源数据到到input，然后filter处理，output输出；当然这里面肯定是有些语法要求的。具体的可参考https://elkguide.elasticsearch.cn/logstash/examples/nginx-access.html太多了 这里我就不写了。
Logstash太耗费cpu 内存等资源了，所以可以通过filebeat来取代它
Filebeat的工作原理：
主要由prospectors（勘测者）和harvesters（收割机）两部分组成：
prospectors（勘测者）主要负责管理harvesters并找到所有读取源；
harvesters（收割机）：负责读取单个文件内容，每个文件会启动一个收割机来负责打开或关闭文件，且在运行时文件描述符处于打开状态，所以在收割机关闭之前磁盘不会被释放（即使删除正在被收割机打开的文件，磁盘空间也不会被释放。一会安装完成之后我们来看一下filebeat的配置文件，很简单就能懂。
搭建环境：
Centos7.0两台：
10.10.10.10（搭建es，kibana，以及logstash来演示）
10.10.10.20（搭建filebeat，nginx来演示）
由于是java开发的所以配置java1.8
安装方式我采用的是rpm包，版本是6.5版本。到官网下载即可。
链接：https://www.elastic.co/downloads
10.10.10.10：
1配置jdk1.8
tar -xf jdk-8u191-linux-x64.tar.gz -C /usr/local/ && mv jdk1.8.**** jdk1.8
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8
export CLASSPATH=.:$JAVA_HOME/lib.tools.jar
export PATH=$JAVA_HOME/bin:$PATH
2 配置ES服务：
rpm -ivh elasticsearch-6.5.0.rpm
安装完成后，在/etc/elasticsearch有elasticsearch.yml文件是用来配置集群节点等相关信息的
开始配置集群节点，在10.10.10.10上面配置es配置文件
[root@master-node ~]# vim /etc/elasticsearch/elasticsearch.yml # 增加或更改以下内容
cluster.name: master-node # 集群中的名称
node.name: master # 该节点名称
node.master: true # 意思是该节点为主节点，若不是主节点写为false
node.data: false # 表示这不是数据节点，若是数据节点改为true
network.host: 0.0.0.0 # 监听全部ip，在实际环境中应设置为一个安全的ip
http.port: 9200 # es服务的端口号
discovery.zen.ping.unicast.hosts: ["10.10.10.10", "10.10.10.20] # 配置自动发现
如果你的环境中需要搭建集群的请注意红色部分。我这里就两台，所以不需要。
现在可以来启动es服务了。
systemctl start elasticsearch，注意这不会报错但是起不来，可以通过status查看报错信息
在这里很多朋友们会报错，我也用的是虚拟机，以为es要求最低的内存为2G，那我们可以调节一下运行内存。vim /etc/elasticsearch/jvm.options此文件为java的虚拟机的配置文件
在里面修改两个参数-xms -xmx 默认应该是2G，我改为了256m
此时启动发现还会报错，发现它会报找不见java，那我们只能做个软连接了，因为在这里我也不知道是不是bug，因为确实已经配置好了环境变量了。
ln -s /usr/local/jdk1.8/bin/* /usr/local/bin
再次启动就成功了！
ps aux| grep elasticsearch
善用systemctl status elasticsearch以及使tail -f /var/log/messages
netstat -antp | grep java 可以发现9200 9300 端口开启
9300端口是集群通信用的，9200端口则是数据传输时用的。
当查到这些都没有问题的时候我们的es可以算是启动成功了，我们可以查询一下我们的集群状态。
[root@master-node ~]# curl '10.10.10.10/_cluster/health?pretty'
{
"cluster_name" : "master-node",
"status" : "green", # 为green则代表健康没问题，如果是yellow或者red则是集群有问题
"timed_out" : false, # 是否有超时
"number_of_nodes" : 3, # 集群中的节点数量
"number_of_data_nodes" : 2, # 集群中data节点的数量
"active_primary_shards" : 0,
"active_shards" : 0,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}
也可以通过浏览器http://10.10.10.10:9200/_cluster/health?pretty来进行查看
检查完毕之后，我们的es就算是搭建好了。
第二步我们来搭建kibana，提供一个人性化的web展示框架，是node.js框架写的
10.10.10.10：
我也都下载好了rpm包：
rpm -ivh kibana-6.5.0-x86_64.rpm
安装完成后我们来对kibana来进行配置。
[root@master-node ~]# vim /etc/kibana/kibana.yml # 增加以下内容
server.port: 5601 # 配置kibana的端口
server.host: 0.0.0.0 # 配置监听ip
elasticsearch.url: "http://10.10.10.10:9200" # 配置es服务器的ip，如果是集群则配置该集群中主节点的ip
logging.dest: /var/log/kibana.log # 配置kibana的日志文件路径，不然默认是messages里记录日志
创建kibana的日志文件：
touch /var/log/kibana.log; chmod 777 /var/log/kibana.log
启动kibana服务
systemctl start kibana
ps aux | grep kibana
netstat -antp | grep 5601
端口为5601，由于是node.js开发的所以进程名字为node
然后就可以通过浏览器访问了
:http://10.10.10.10:5601
是不需要账户和密码就可以登陆的。建议用谷歌登陆啊，因为全是外语。
安装logstash：
rpm -ivh logstash-6.5.0.rpm
安装完成后我们不要启动服务，我们先配置logstash收集syslog的日志：
[root@data-node1 ~]# vim /etc/logstash/conf.d/syslog.conf # 加入如下内容
input { # 定义日志源
syslog {
type => "system-syslog" # 定义类型
port => 10514 # 定义监听端口
}
}
output { # 定义日志输出
stdout {
codec => rubydebug # 将日志输出到当前的终端上显示
}
}
检查配置文件是否有错：
[root@data-node1 ~]# cd /usr/share/logstash/bin
[root@data-node1 /usr/share/logstash/bin]# ./logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/syslog.conf --config.test_and_exit
Configuration OK # 为ok则代表配置文件没有问题
命令说明：
--path.settings 用于指定logstash的配置文件所在的目录
-f 指定需要被检测的配置文件的路径
--config.test_and_exit 指定检测完之后就退出，不然就会直接启动了
配置kibana服务器的ip以及配置监听的对象的端口
[root@data-node1 ~]# vim /etc/rsyslog.conf
#### RULES ####
*.* @@10.10.10.10:10514
重启rsyslog，让配置生效：systemctl restart rsyslog
接下来我们制定配置文件，启动logstash
[root@data-node1 ~]# cd /usr/share/logstash/bin
[root@data-node1 /usr/share/logstash/bin]# ./logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/syslog.conf
# 这时终端会停留在这里，因为我们在配置文件中定义的是将信息输出到当前终端，如果上一步检测执行成功的话这块应该没什么问题，会输出很多信息。
上面只是测试，我们现在来真正配置logstash，让收集的信息输送到es服务，并且通过kibana展示出来。
[root@data-node1 ~]# vim /etc/logstash/conf.d/syslog.conf # 更改为如下内容
input {
syslog {
type => "system-syslog"
port => 10514
}
}
output {
elasticsearch {
hosts => ["192.168.77.128:9200"] # 定义es服务器的ip
index => "system-syslog-%{+YYYY.MM}" # 定义索引
#这里我们会引申出来一个叫索引的东西，这个我们后面要配合kibana来设置索引进行查看。
现在我们继续检测配置文件有没有错：
[root@data-node1 ~]# cd /usr/share/logstash/bin
[root@data-node1 /usr/share/logstash/bin]# ./logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/syslog.conf --config.test_and_exit
Sending Logstash's logs to /var/log/logstash which is now configured via log4j2.properties
Configuration OK
没问题后我们启动服务，并且检查进程以及监听端口
systemctl start logstash
ps aux | grep logstash
netstat -antp | grep 9600
netstat -antp |grep 10514
这里我得说明一下啊，我的这块没有报错，但是如果报错了首先是进程存在，这两个端口没起来；善用日志，去messages找报错信息，这里报错可能是你的权限不够，我就不截图了
chown logstash /var/log/logstash/logstash-plain.log
chown -R logstash /var/lib/logstash/
这下再启动logstash并且检查端口。
此时我们还得修改一下logstash的yml文件，修改一下监听ip，因为它是本地回环ip无法远程通信。
vim /etc/logstash/logstash.yml
http.host: "0.0.0.0"
重新启动logstash服务并且查看端口，到这里我们的logstash也配置好了。
那我们现在可以登陆上kibana来进行日志的查看咯！
完成了logstash服务器的搭建之后，回到kibana服务器上查看日志，执行以下命令可以获取索引信息：
[root@master-node ~]# curl '10.10.10.10:9200/_cat/indices?v'
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
green open .kibana 6JfXc0gFSPOWq9gJI1ZX2g 1 1 1 0 6.9kb 3.4kb
green open system-syslog-2018.03 bUXmEDskTh6fjGD3JgyHcA 5 1 61 0 591.7kb 296.7kb
如上，可以看到，在logstash配置文件中定义的system-syslog索引成功获取到了，证明配置没问题，logstash与es通信正常。（第二行第三列就是我们再logstash.conf定义的索引）
[root@master-node ~]# curl -XGET '10.10.10.10:9200/system-syslog-2018.03?pretty'
这条命令是来查看详细信息的。
删除索引用：
curl -XDELETE 'localhost:9200/system-syslog-2018.03'
同样的这些都可以同过web界面ip+端口来进行展示。
如果上面正常的话我们就可以去配置kibana了，浏览器访问10.10.10.10：5601
我们来创建索引。
用谷歌浏览器来登陆-----左下角管理----kibana标签找索引的字眼----设置索引的名称（必须和的索引通配哦）----选择过滤器（可以选或不选）-----创建-----左上角发现------然后输入自己的设置的索引找到日志就ok了
有时候会发现无法找到日志信息，可能是时间的问题，右上角选择时间。
至此ELK就算是介绍完了，下面我们来介绍filebeat轻量级的收集工具的使用方法
之前也介绍过beats是ELK体系中新增的一个工具，它属于一个轻量的日志采集器，以上我们使用的日志采集工具是logstash，但是logstash占用的资源比较大，没有beats轻量，所以官方也推荐使用beats来作为日志采集工具。而且beats可扩展，支持自定义构建
官方：https://www.elastic.co/cn/products/beats
10.10.10.20：
我也是下载好的rpm包
rpm -ivh filebeat-5.2.0-x86_64.rpm
安装完成后我们来编辑配置文件：
[root@data-node2 ~]# vim /etc/filebeat/filebeat.yml # 增加或者更改为以下内容
filebeat.prospectors:
- type: log
#enabled: false 这一句要注释掉
paths:
- /var/log/messages # 指定需要收集的日志文件的路径
#output.elasticsearch: # 先将这几句注释掉
# Array of hosts to connect to.
# hosts: ["localhost:9200"]
output.console: # 找个位置添加下面这两句话测试用，指定在终端上输出日志信息
enable: true
完成后：执行以下命令看看是否终端可以打印日志，若可以则配置成功
[root@data-node2 ~]# /usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat.yml
以上配置只是测试filebeat是否能正常收集数据，现在我们再次修改配置文件
[root@data-node2 ~]# vim /etc/filebeat/filebeat.yml
#output.console: 把这两句注释掉
# enable: true
# 把这两句的注释去掉
output.elasticsearch:
# Array of hosts to connect to.
hosts: ["10.10.10.10:9200"] # 并配置es服务器的ip地址
完事后我们启动服务：
[root@data-node2 ~]# systemctl start filebeat
[root@data-node2 ~]# ps axu |grep filebeat
启动成功后，到es服务器上查看索引，可以看到新增了一个以filebeat-6.0.0开头的索引，这就代表filesbeat和es能够正常通信了：
[root@master-node ~]# curl '192.168.77.128:9200/_cat/indices?v'
最后在kibana上按照之前的流程配置索引了，以上这就是如何使用filebeat进行日志的数据收集，可以看到配置起来比logstash要简单，而且占用资源还少。
在这里我要说一下，为什么有了filebeat却还要用logstash呢，因为logstash可以设置日志的输出格式，当然如果你为了方便可以直接在客户端配置filebeat，不需要logstash来进行处理了；如果你们日志较多，那这时候就可以配置logstash配合使用。以上只是我个人见解，并且没有什么经验，简单看看。
作者：陆游。