ELK日志分析系统部署

1、ELK日志分析系统概述

■ 日志服务器
● 提高安全性
● 集中存放日志
● 缺陷
◆ 对日志的分析困难

■ ELK日志分析系统
● Elasticsearch
● Logstash
● Kibana

■ 日志处理步骤
● 将日志进行集中化管理
因为es拥有前端和后端所有集群的数据信息，对于es来说就是集中化管理，不需要每一台去收集,Logstash回去收集信息，只需管理和 Logstash对接的日志数据源就可以
● 将日志格式化(Logstash) 并输出到Elasticsearch
格式化的目的：是为了输出为一个标准可用的模式
● 对格式化后的数据进行索引和存储( Elasticsearch)
非常强大的索引，百度和谷歌都用这个搜索引擎
● 前端数据的展示( Kibana)

1.2、Elasticsearch介绍（索引数据库）

■ Elasticsearch的概述
● 提供了一个分布式多用户能力的全文搜索引擎
● 搜索引擎效率高是因为有分片和副本机制

■ Elasticsearch核心概念

● 接近实时
lasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)
● 集群
一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据,并一起提供索引和搜索功能。其中一个节点为主节点,这个主节点是可以通过选举产性的，并提供跨节点的联合索引和搜索的功能。集群有一 个唯一性标示的名字，默认是elasticsearch,集群名字很重要，每个节点是基于集群名字加入到其集群中的。因此,确保在不同环境中使用不同的集群名字。一个集群可以只有一个节点。强烈建议在配置elasticsearch时， 配置成集群模式。
◆ es具有集群机制，节点通过集群名称加入到集群中，同时在集群中的节点会有一个自己的唯一身份标识
● 节点
节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样,节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。当然，你可以自己定义。该名字也很重要,在集群中用于识别服务器对应的节点。节点可以通过指定集群名字来加入到集群中。默认情况,每个节点被设置成加入到elasticsearch集群。如果启动了多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群。
● 索引
索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引， 另一个产品目录的索引,还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，如果你想，可以定义任意多的索引。
◆ 索引相对于关系型数据库的库。
◆ 索引(库)→类型(表)→文档(记录)
● 索引对应的类型(type)
会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一 个类型，当然，也可以为评论数据定义另一个类型。
◆ 类型相对于关系型数据库的表
● 文档(document)
一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档， 某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以SON (Javascript Object Notation)格式来表示，而JSON是一个到处存在的互联网数据交互格式。
在一个index/type里面，只要你想，你可以存储任意多的文档。注意,虽然一个文档在物理上位于一个索引中， 实际上一个文档必须在一个索引内被索引和分配一个类型。
◆ 文档相对于关系型数据库的列。
● 分片和副本
在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上,或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时,可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。
● 分片的两个最主要原因:
a.水平分割扩展,增大存储量
b.分布式并行跨分片操作,提高性能和吞吐量
分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的， 这些对用户而言是透明的。
小结：网络问题等等其它问题可以在任何时候不期而至，为了健壮性,强烈建议要有一个故障切换机制， 无论何种故障以防止分片或者节点不可用。为此，elasticsearch让我们将索引分片复制一份或多份,称之为分片副本或副本。
● 副本也有两个最主要原因:
a.高可用性,以应对分片或者节点故障。出于这个原因，分片副本要在不同的节点上。
b. 增大吞吐量,搜索可以并行在所有副本上执行。

总结：
总之，每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了，每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和副本的数量可以在索引创建的时候指定。在索引创建之后,你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量

1.3、Logstash介绍

■ Logstash介绍
● 一款强大的数据处理工具
● 可实现数据传输、格式处理、格式化输出
● 数据输入、数据加工(如过滤，改写等)以及数据输出

小结：Logstash由JRuby语言编写， 基于消息(message based) 的简单架构，并运行在Java虚拟机(JVM)上。不同于分离的代理端(agent)或主机端(server) ，LogStash可配置单一的代理端(agent) 与其它开源软件结合，以实现不同的功能

■ LogStash主要组件
● Shipper: 日志收集者。负责监控本地日志文件的变化,及时把日志文件的最新内容收集起来。通常，远程代理端(agent) 只需要运行这个组件即可
● Indexer: 日志存储者。负责接收日志并写入到本地文件。
● Broker: 日志Hub。负责连接多个Shipper和多个Indexer
● Search and Storage:允许对事件进行搜索和存储;
● Web Interface:基于Web的展示界面

小结：正是由于以上组件在LogStash架构中可独立部署,才提供了更好的集群扩展性

1.4、Kibana介绍

■ Kibana介绍
● 一个针对Elasticsearch的开源分析及可视化平台
● 搜索、查看存储在Elasticsearch索引中的数据
● 通过各种图表进行高级数据分析及展示

■ Kibana主要功能
● Elasticsearch无缝之集成
● 整合数据，复杂数据分析
● 让更多团队成员受益
● 接口灵活，分享更容易
● 配置简单，可视化多数据源
● 简单数据导出

2、部署ELK日志分析系统

■ 案例拓扑

■ 需求描述

● 配置ELK日志分析群集
● 使用L ogstash收集日志
● 使用Kibana查看分析日志

■ 群集环境设备配置
node 1 :192.168.140.20
node 2: 192.168.140.30
apache:192.168.140.60

■ 部署步骤

2.1、进行主机重命名

[root@server6 ~]# hostnamectl set-hostname apache
[root@server6 ~]# su
[root@apache ~]# 
[root@server2 ~]# hostnamectl set-hostname node1
[root@server2 ~]# su
[root@node1 ~]# 
[root@server3 ~]# hostnamectl set-hostname node2
[root@server3 ~]# su
[root@node2 ~]# 

2.1.2、开启会话同步，关闭防火墙，配置域名解析

[root@node1 ~]# systemctl stop firewalld
[root@node1 ~]# setenforce 0
setenforce: SELinux is disabled
[root@node1 ~]# vim /etc/hosts

2.1.3、检查java环境

[root@node1 ~]# java -version      #检测Java的版本信息

2.2、关闭同步会话，部署elasticsearch软件

2.2.1、在/opt目录下安装elasticsearch-rpm包

[root@node1 ~]# cd /opt                #切换到opt目录下
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm    #安装rpm包

2.2.2、加载系统服务

[root@node1 opt]# systemctl daemon-reload            #加载守护进程，让系统可以识别
[root@node1 opt]# systemctl enable elasticsearch.service  #设置开机自启动
[root@node1 opt]# cd /etc/elasticsearch/
[root@node1 elasticsearch]# ls           #查看主配置文件

[root@node1 elasticsearch]# cp elasticsearch.yml elasticsearch.yml.bak     #备份主配置文件
[root@node1 elasticsearch]# ls -lh

[root@node1 elasticsearch]# vim elasticsearch.yml    #修改配置文件（去除要修改项前的#）
17/ cluster.name: my-elk-cluster                    ####集群名字
23/ node.name: node1                                     ####节点名字
33/ path.data: /data/elk_data                           ####数据存放路径
37/ path.logs: /var/log/elasticsearch/              ####日志存放路径
43/ bootstrap.memory. lock: false                 ####不在启动的时候锁定内存(前端缓存。与IOPS 性能测试方式，每秒读写次数相关)
55/ network.host: 0.0.0.0                                ### #提供服务绑定的IP地址, 0.0.0.0代表所有地址
59/ http port: 9200                                          ####侦听端口为9200
68/ discovery.zen.ping.unicast.hosts: ["node1", "node2"]          ####集群发现通过单播实现

[root@node1 elasticsearch]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml     #查看修改内容

2.2.3、创建数据存放路径并授权

[root@node1 elasticsearch]# mkdir -p /data/elk_data        #递归创建目录
[root@node1 elasticsearch]# chown elasticsearch.elasticsearch /data/elk_data  #对创建的目录进行授权
[root@node1 elasticsearch]# systemctl start elasticsearch.service    #启动服务
[root@node1 elasticsearch]# netstat -anpt | grep 9200   #查看端口号信息

2.2.3.1、登录浏览器查看节点信息

2.2.3.2、浏览器上检查群集的健康和状态信息

2.3、node2如上配置

2.3.1、在/opt目录下安装elasticsearch-rpm包

[root@node2 ~]# cd /opt                #切换到opt目录下
[root@node2 opt]# rpm -ivh elasticsearch-5.5.0.rpm    #安装rpm包

2.3.2、加载系统服务

[root@node2 opt]# systemctl daemon-reload            #加载守护进程，让系统可以识别
[root@node2 opt]# systemctl enable elasticsearch.service  #设置开机自启动
[root@node2 opt]# cd /etc/elasticsearch/
[root@node2 elasticsearch]# ls           #查看主配置文件
[root@node2 elasticsearch]# cp elasticsearch.yml elasticsearch.yml.bak     #备份主配置文件
[root@node2 elasticsearch]# ls -lh
[root@node2 elasticsearch]# vim elasticsearch.yml    #修改配置文件（去除要修改项前的#）
17/ cluster.name: my-elk-cluster                    ####集群名字
23/ node.name: node2                                     ####节点名字
33/ path.data: /data/elk_data                           ####数据存放路径
37/ path.logs: /var/log/elasticsearch/              ####日志存放路径
43/ bootstrap.memory. lock: false                 ####不在启动的时候锁定内存(前端缓存。与IOPS 性能测试方式，每秒读写次数相关)
55/ network.host: 0.0.0.0                                ### #提供服务绑定的IP地址, 0.0.0.0代表所有地址
59/ http port: 9200                                          ####侦听端口为9200
68/ discovery.zen.ping.unicast.hosts: ["node1", "node2"]          ####集群发现通过单播实现
[root@node2 elasticsearch]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml     #查看修改内容

2.3.3、创建数据存放路径并授权

[root@node2 elasticsearch]# mkdir -p /data/elk_data        #递归创建目录
[root@node2 elasticsearch]# chown elasticsearch.elasticsearch /data/elk_data  #对创建的目录进行授权
[root@node2 elasticsearch]# systemctl start elasticsearch.service    #启动服务
[root@node2 elasticsearch]# netstat -anpt | grep 9200   #查看端口号信息

2.3.3.1、登录浏览器查看节点信息

2.3.3.2、浏览器上检查群集的健康和状态信息

2.4、关闭server,开启同步会话功能，在node1上安装elasticsearch-head插件，方便管理集群

[root@node1 ~]# cd /opt          #切换到opt目录
[root@node1 opt]# cd
[root@node1 ~]# yum install gcc gcc-c++ make -y  #安装依赖坏境
[root@node1 ~]# cd /opt
[root@node1 opt]# tar zxvf node-v8.2.1.tar.gz   #解压缩
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure      #告诉系统对服务添加哪些功能
[root@node1 node-v8.2.1]# make -j3          #使用三个进程同时处理
[root@node1 node-v8.2.1]# make install    #编译安装

2.4.1、安装phantomjs前端框架

[root@node1 ~]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/       #放置软件包，解压缩
[root@node1 ~]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/  #拷贝到本机目录下，方便使用命令管理

[root@node1 bin]# cp phantomjs /usr/local/bin/   #拷贝到bin目录下，可供系统识别外部服务命令

2.4.2、安装elasticsearch数据可视化工具

[root@node1 ~]# tar zxvf elasticsearch-head.tar.gz  -C /usr/local/src/
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# ls -lh

[root@node1 elasticsearch-head]# npm install        #进行安装

2.4.3、修改主配置文件

[root@node1 elasticsearch-head]# cd
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
进入尾行添加
http.cors.enabled: true              #开启跨域访问支持，默认为false
http.cors.allow-origin: "*"         #跨域访问允许的域名地址

2.4.4、启动elasticsearch-head服务

[root@node1 ~]# systemctl restart elasticsearch    #重启服务
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &   #切换到后台运行
[root@node1 elasticsearch-head]# netstat -anpt | grep 9100    #查看elasticsearch-head端口状态
[root@node1 elasticsearch-head]# netstat -anpt | grep 9200    #查看elasticsearch端口状态

2.4.5、查看前端框架展示

2.4.6、登录node1主机建立索引，索引名为index-demo，类型为test

[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"Lisi","mesg":"hello world"}'             #创建更精细化的索引

2.4.6.1、浏览器查看效果

3、登录apache主机安装logstash做一些日志搜集输出到elasticsearch

3.1、安装apache服务

[root@apache ~]# yum -y install httpd
[root@apache ~]# systemctl start httpd
[root@apache ~]# netstat -anpt | grep httpd

3.2、验证java坏境

[root@apache ~]# java -version

3.3、安装logstash

[root@apache ~]# cd /opt
[root@apache opt]# rpm -ivh logstash-5.5.1.rpm

3.4、启动logstash，并设置开机自启

[root@apache ~]# systemctl start logstash.service        #启动服务
[root@apache ~]# systemctl enable logstash.service    #设置开机自启动
[root@apache~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/      #创建软连接，将命令连接到本机bin目录下

注：
logstash（apache）与elasticsearch（node）功能是否正常，做对接测试
Logstash这个命令测试
字段描述解释:
-f通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e后面跟着字符出该字符串可以被当做logstash的配置（如果是””,则默认使用stdin做为输入、stdout作为输出)
-t测试配置文件是否正确，然后退出

3.5、输入采用标准输入，输出采用标准输出，在apache服务器上

[root@apache ~]# logstash -e 'input { stdin{} } output { stdout{} }'

3.5.1、使用rubydebug显示详细输出，codec为一种编解码器

[root@apache ~]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

3.5.2、使用logstash将信息写入elasticsearch中，输入，输出对接

[root@apache ~]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.140.20:9200"] } }'

3.5.3、logstash配置文件主要由三部分组成：input，output，filter（根据需要）

[root@apache ~]# chmod o+r /var/log/messages  #给其他用户添加读的权限
[root@apache ~]# ll /var/log/messages      #查看状态

3.5.4、配置文件中定义的是收集系统日志（system）

[root@apache ~]# vim /etc/logstash/conf.d/system.conf   
[root@apache ~]# systemctl restart logstash.service     #重启服务

添加
input {
    
                                 输入
      file{
    
    
      path => "/var/log/messages"   搜集对象，系统日志
      type => "system"                      
      start_position => "beginning"
          }     位置       开始
       }
output {
    
                                输出
        elasticsearch {
    
    
        hosts => ["192.168.140.20:9200"]  
        index => "system-%{+YYYY.MM.dd}"
        } 索引              时间戳
}

3.5.5、浏览器查看索引信息

3.6、node1上安装kibana进行数据展示,并配置文件

[root@node1 ~]# rpm -ivh kibana-5.5.1-x86_64.rpm     #安装kibana
[root@node1 ~]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak  #备份kibana的配置文件
[root@node1 kibana]# vim kibana.yml    #修改kibana配置文件
2/ server.port: 5601
7/ server.host: "0.0.0.0"
21/ elasticsearch.url: "http://192.168.140.20:9200"
30/ kibana.index: ".kibana"
[root@node1 kibana]# systemctl start kibana.service     #重启服务
[root@node1 kibana]# systemctl enable kibana.service  #设置开机自启

3.6.1、进入浏览器查看效果

3.6.2、创建一个索引system-*，对接系统日志文件

3.6.3、对接apache主机上的apache日志文件（访问日志和错误日志）

[root@apache ~]# cd /etc/logstash/
[root@apache logstash]#  cd conf.d/
[root@apache conf.d]# vim apache_log.conf
[root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf

添加

input {
    
    
      file{
    
    
      path => "/etc/httpd/logs/access_log"
      type => "access"
      start_position => "beginning"
          }
      file{
    
    
      path => "/etc/httpd/logs/error_log"
      type => "error"
      start_position => "beginning"
          }
       }
output {
    
    
       if [type] == "access" {
    
            先做判断类型，进行对应展示
        elasticsearch {
    
    
        hosts => ["192.168.140.20:9200"]
        index => "apache_access-%{+YYYY.MM.dd}"
        }
        }
       if [type] == "error" {
    
    
        elasticsearch {
    
    
        hosts => ["192.168.140.20:9200"]
        index => "apache_error-%{+YYYY.MM.dd}"
        }
      }
} 
[root@apache ~]# logstash -f apache_log.conf  #输入、输出显示
[root@apache ~]# systemctl restart httpd
[root@apache ~]# systemctl status httpd

3.6.4、在浏览器上搜索apache的ip地址，建立连接

3.6.5、再次刷新node1的页面，查看索引信息

3.6.6、创建apache_access-* apache_error-*索引

4、总结

ES作为一个强大的索引型数据库，不仅可以和Logstash，Kibana一起使用，也可以单独使用。对于更多的数据量，我们可以用es数据库+logstash+kafka+redis+kibana来实现。这里logstash只是用来格式化和传输日志信息，而kafka则用来专门收集日志信息，redis作为缓存，缓解ES的压力，发挥各自的优势，从而更高效的使ES去索引和存储日志信息