安装ELK Stack海量日志分析系统

拓扑图：

较为常见的ELK stack架构

主机名	主机地址	角色
node1	192.168.31.201	Elasticsearch、jdk1.8、Kibana
node2	192.168.31.202	Elasticsearch、jdk1.8
node3	192.168.31.203	Elasticsearch、jdk1.8
node4	192.168.31.204	logstash、jdk1.8
node5	192.168.31.205	redis
node6	192.168.31.206	logstash、nginx、jdk1.8

一、安装Logstash

#编辑repo文件，这里配置一个清华的yum源。
[root@bc ~]# vim /etc/yum.repos.d/logstash24.repo
  [logstash2.4-tsinghua]
  name=logstash24
  baseurl=https://mirrors.tuna.tsinghua.edu.cn/ELK/yum/logstash-2.4/
  enabled=1
  gpgcheck=0
#安装logstash
[root@bc ~]# yum install logstash-2.4.1 -y
#输出执行路径
[root@bc ~]# export PATH=/opt/logstash/bin/:$PATH

测试能否正常运行：

1.编辑文件

[root@bc ~]# vim basic
  input{
          stdin{}
  }
  output{
          stdout {
                  codec => rubydebug
          }
  }

从标准输入读取（键盘），输出到标准输出（屏幕）

2.使用指定文件运行logstash，测试是否正常运行

[root@bc ~]# logstash -f basic 
Settings: Default pipeline workers: 1
Pipeline main started
hello world
{
       "message" => "hello world",
      "@version" => "1",
    "@timestamp" => "2017-03-03T02:16:51.538Z",
          "host" => "bc.com"
}

这里我们键盘输入的是hello world

二、Elasticsearch

1.配置yum源

#编辑repo文件，这里配置一个清华的yum源。
[root@bc ~]# vim /etc/yum.repos.d/elasticsearch24.repo 
  [elasticsearch2.4-tsinghua]
  name=logstash24
  baseurl=https://mirrors.tuna.tsinghua.edu.cn/ELK/yum/elasticsearch-2.x/
  enabled=1
  gpgcheck=0

#安装elasticsearch
[root@bc ~]# yum install elasticsearch-2.4.4 -y
#启动
[root@bc ~]# service elasticsearch start
Starting elasticsearch (via systemctl):                    [  OK  ]

2.测试elasticsearch是否正常运行

[root@bc ~]# curl -i -XGET 'localhost:9200/'
HTTP/1.1 200 OK
Content-Type: application/json; charset=UTF-8
Content-Length: 367

{
  "name" : "Jericho Drumm",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "vLUapCyRRK6YH2ilwdPMkQ",
  "version" : {
    "number" : "2.4.4",
    "build_hash" : "fcbb46dfd45562a9cf00c604b30849a6dec6b017",
    "build_timestamp" : "2017-01-03T11:33:16Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.2"
  },
  "tagline" : "You Know, for Search"
}

3.构建elasticsearch集群

[root@node3 ~]# vim /etc/elasticsearch/elasticsearch.yml
  cluster.name: "elasticsearch"
  #集群名字
  node.name: "node3.bc.com"
  #节点名字，三个节点都需要不同的名字以示区分
  network.host: 0.0.0.0
  #监听地址
  http.port: 9200
  #浏览器访问地址
  discovery.zen.ping.unicast.hosts: ["node2.bc.com", "node3.bc.com", "node1.bc.com"]
  #node1，node2，node3三个节点的单播通信，告诉大家自己的存活状态。

注意：这个地方是最坑的！！！

冒号后面，逗号后边少一个空格都会启动失败。

4.为elasticsearch安装插件

1.安装kopf插件
  [root@node2 ~]# /usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf/
2.安装head插件
  [root@node2 ~]# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
3.查看已经安装的插件
  [root@node2 ~]# /usr/share/elasticsearch/bin/plugin list
  Installed plugins in /usr/share/elasticsearch/plugins:
      - head
      - license
      - kopf

需要注意的是:

1.三个节点的插件必须都安装，否则启动不了。
systemctl status elasticsearch一般会报错： IllegalArgumentException[No custom metadata prototype registered for type
2.本地没有插件的话会自动从github下载
比较坑的是，elaticsearch的不同版本plugin这个命令的使用方法可能会不同
不过可以用-h来显示使用方法，命令不要复制就用。

5.使用浏览器访问

浏览器输入elasticsearch节点之一的地址：
http://192.168.31.201:9200/_plugin/head/

elk.jpg

使用logstash内置的匹配规则，匹配httpd的日志格式

1.这个不是必要的配置文件，我们在这里先探究一下默认的匹配规则有什么用。

#编写一个叫apachelog.conf的文件，用来写匹配httpd日志的规则。
[root@bc ~]# vim apachelog.conf
input {
        file {
                path    => ["/var/log/httpd/access_log"]
                type    => "apachelog"
                start_position => "beginning"
            }
}

filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
}

output {
    stdout {
        codec   => rubydebug
    }
}

需要注意的是，此处有三个插件。
input插件指的是logstash从哪里读数据；
filter插件指的是怎么对文本进行过滤；
output插件指的是需要把结果输出到哪里
这三个插件的意思是： logstash从文件中读取数据（input）， 经过内置的COMBINEDAPACHELOG规则匹配之后（filter）， 把结果输出到屏幕（output）

输出结果：

[root@bc ~]# logstash -f apachelog.conf
{
        "message" => "192.168.31.242 - - [03/Mar/2017:14:00:41 +0800] \"GET /noindex/css/fonts/Bold/OpenSans-Bold.ttf HTTP/1.1\" 404 238 \"http://192.168.31.201/noindex/css/open-sans.css\" \"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36\"",
       "@version" => "1",
     "@timestamp" => "2017-03-03T06:00:52.934Z",
           "path" => "/var/log/httpd/access_log",
           "host" => "bc.com",
           "type" => "apachelog",
       "clientip" => "192.168.31.242",
          "ident" => "-",
           "auth" => "-",
      "timestamp" => "03/Mar/2017:14:00:41 +0800",
           "verb" => "GET",
        "request" => "/noindex/css/fonts/Bold/OpenSans-Bold.ttf",
    "httpversion" => "1.1",
       "response" => "404",
          "bytes" => "238",
       "referrer" => "\"http://192.168.31.201/noindex/css/open-sans.css\"",
          "agent" => "\"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36\""
}

延伸：我们查看COMBINEDAPACHELOG是否可以匹配nginx日志的规则

使用combinedlog匹配nginx规则
{
        "message" => "192.168.31.242 - - [03/Mar/2017:14:11:01 +0800] \"GET / HTTP/1.1\" 304 0 \"-\" \"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36\" \"-\"",
       "@version" => "1",
     "@timestamp" => "2017-03-03T06:11:49.150Z",
           "path" => "/var/log/nginx/access.log",
           "host" => "bc.com",
           "type" => "nginx",
       "clientip" => "192.168.31.242",
          "ident" => "-",
           "auth" => "-",
      "timestamp" => "03/Mar/2017:14:11:01 +0800",
           "verb" => "GET",
        "request" => "/",
    "httpversion" => "1.1",
       "response" => "304",
          "bytes" => "0",
       "referrer" => "\"-\"",
          "agent" => "\"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36\""
}

我们可以看出来，用COMBINEDAPACHELOG也可以匹配nginx日志，但是会漏掉一些东西信息。

从web服务器收集日志，并使用redis作为消息队列

1.node6配置logstash的运行文件

[root@node6 ~]# vim /etc/logstash/conf.d/nginx-out.conf
input {
        file {
                path    => ["/var/log/nginx/access.log"]
                type    => "nginxlog"
                start_position => "beginning"
        }
}

filter {
        grok {
                match => { "message" => "%{COMBINEDAPACHELOG} %{QS:x_forwarded_for}" }
        }
}

output{
        redis {
                port    =>      "6379"
                host    =>      ["192.168.31.205"]
                data_type       =>      "list"
                key     =>      "logstash-%{type}"
}

这里的意思是，从nginx日志读入，使用规则匹配，并输出到redis服务器

2.node5作为消息队列，安装redis

[root@node5 ~]# redis-cli 
127.0.0.1:6379> LLEN logstash-nginxlog
(integer) 19
127.0.0.1:6379> LLEN logstash-nginxlog
(integer) 27
127.0.0.1:6379> LINDEX logstash-nginxlog 1
"{\"message\":\"192.168.31.242 - - [03/Mar/2017:20:39:47 +0800] \\\"GET /nginx-logo.png HTTP/1.1\\\" 200 368 \\\"http://192.168.31.203/\\\" \\\"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36\\\" \\\"-\\\"\",\"@version\":\"1\",\"@timestamp\":\"2017-03-03T12:41:38.315Z\",\"path\":\"/var/log/nginx/access.log\",\"host\":\"node3.bc.com\",\"type\":\"nginxlog\",\"clientip\":\"192.168.31.242\",\"ident\":\"-\",\"auth\":\"-\",\"timestamp\":\"03/Mar/2017:20:39:47 +0800\",\"verb\":\"GET\",\"request\":\"/nginx-logo.png\",\"httpversion\":\"1.1\",\"response\":\"200\",\"bytes\":\"368\",\"referrer\":\"\\\"http://192.168.31.203/\\\"\",\"agent\":\"\\\"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36\\\"\",\"x_forwarded_for\":\"\\\"-\\\"\"}"

3.node4作为logstash Server从redis读取数据

[root@node4 ~]# vim /etc/logstash/conf.d/redis-in.conf
input {
    redis {
        batch_count => 1
        data_type => "list"
        key => "logstash-nginxlog"
        host => "192.168.31.205"
        port => 6379
        threads => 5
    }
}

output{
        elasticsearch{
                hosts => ["192.168.31.201", "192.168.31.202", "192.168.31.203"]
        }
}

3.启动服务

#启动方式也可以使用nohup logstash -f nginxout.conf &来启动
#也可以通过启动脚本来启动。
#但使用启动脚本容易因为权限问题，而导致logstash无法正常运行。

#修改启动脚本的启动用户为root
[root@node4 ~]# vim /etc/init.d/logstash 
  LS_USER=root
  LS_GROUP=root
#启动logstash
[root@node4 ~]# /etc/init.d/logstash start

为什么要使用logstash => redis => logstash Server这种结构?
首先，我们要了解redis在此处的用处。
redis在此处，做为一个消息队列，可以用来整合多个ngxin那里收集而来的日志。
当elasticsearch发生故障或重启的时候，redis仍可接受来自web端的日志。
当elasticsearch重新启动的时候，则会从消息队列中重新读取数据。
这样就可以不会因为重启的这段时间而丢失那段时间的日志数据。

安装kibana

1.在任意节点安装kibana

#配置kibana的清华镜像
[root@bc ~]# vim /etc/yum.repos.d/kibana.repo
[Kibana-4.5]
name=Kibana-Tsinghua
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ELK/yum/kibana-4.5/
gpgcheck=0
enabled=1

[root@bc ~]# yum install kibana -y

2.修改配置文件

[root@bc ~]# vim /opt/kibana/config/kibana.yml
  elasticsearch.url: "http://node1.bc.com:9200"

3.启动kibana

#启动kibana
[root@bc ~]# nohup /opt/kibana/bin/kibana &
#浏览器输入，可以使用ip地址
  http://node1.bc.com:5601

kibana.jpg

ELK stack的安全问题

(1).ELK安全相关：
由于ELK stack是日志信息，相对来说比较私密，不能任由谁都能访问。
a.在前端使用nginx做代理，并且启用basic认证。
b.nginx设置访问控制，来限制访问来源的ip。
c.把ELK stack在局域网内，不向外提供服务。

(2)redis的安全相关：
a.redis启动自带的认证功能
b.nginx设置访问控制，来限制访问来源的ip。
c.把redis在局域网内，不向外提供服务。

#实际上，由于NoSQL的产品兴起不久，最近都有一些安全相关的资讯。
#一定要在安全相关方面，引起注意。
  1.redis被提权之后，被恶意被执行flush_all导致被清库。
  2.mongodb低版本没有认证功能，被清库。
  3.elasticsearch被恶意勒索。（自身为开源免费，认证插件收费。）

总结：

(1).ELK安装起来看起来十分容易，但是实际操作起来，因为版本之间有差异，所以很容易出错。而这个时候，我们可以通过查看日志，或者到官方文档
(2).写出正确的grok规则是最花时间，也就是说ELK里面，最烧脑的是logstash。
但是elasticsearch的配置文件很严格，有时即使是少写一个空格也会启动失败。
(3).因为ELK stack需要启动java虚拟机，很占用内存。
同时elasticsearch、logstash都需要安装JVM虚拟机，一般不搭建在同一台服务器。
(4).redis很消耗内存，在redis内存占用达到总体70%以上的时候就需要引起注意。
同时，redis最好安装3或者以上的高版本，因为低版本的redis很容易和logstash不兼容，写不进去。
(5).由于权限的问题而导致启动失败
可修改/etc/sysconfig/logstash中启动用户为root。
(6)这个架构中的单点故障：Redis。
1.logstash Server故障的时候，消息储存在消息队列中
2.logstash Client故障的时候，日志仍然保存在nginx日志文件中。
但是重启的时候，只要配合sincedb依然可以继续上次断开的地方开始读取。
3.Elasticsearch故障的时候，集群中的其他节点会生效
4.Redis故障的时候，，logstash client的多个主机都无法向redis写入数据。

所以将在不久写一篇文章，讲述如何搭建一个redis集群。

关于新版本的见解：
文章都是实际搭建之后而成，关于理论部分不过多阐述。
ELK stack2.4版本目前使用较多，新版ELK由于变动较大并追加了新功能。
在搭建或者使用期间时报错，可能较难搜索到结果。
如果求稳定使用而不是追求新功能的话，本文可以作为参考。