ELK实战

       作者从毕业开始一直从事游戏开发,提供大量游戏实战模块代码及案例供大家学习与交流,希望以下知识可以带来一些帮助,如有任何疑问，请加群641792143交流与学习. 或关注微信公众号 程序员干货区

       闻道有先后，术业有专攻，希望大家不吝赐教

Elasticsearch

​ 实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；
​ 是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

Logstash

​ 一个用来搜集、分析、过滤日志的工具。
​ 它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。

Kibana

​ 一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。
​ 它利用 Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。

---

Elasticsearch

配置

[root@lupuxiaotest ~]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml 
cluster.name: my-secure
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.0.59
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"

启动

 systemctl restart elasticsearch.service

logstash

配置

[root@lupuxiaotest share]# cat /etc/logstash/logstash.conf 
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  file {
    path => "/var/log/init_5.log"
    start_position => "beginning"
    codec=> multiline {
    pattern =>  "^\d{4}"
    negate => true
    what => "previous"

     } 
  }
}

filter {
          if ([message] =~ "None$") {
             drop {}
          }
	 grok {
		match =>  {"message" => "%{TIMESTAMP_ISO8601:time} %{NOTSPACE:file} %{LOGLEVEL:level}: %{IP:remote_ip}(?<info>.*)"}
	}
	mutate{
 		remove_field => ["message","level","file"]
	}	
}

#output {
#   stdout {
#	codec => rubydebug
#	
#   }
#
#}


output {
  elasticsearch {
    hosts => ["http://192.168.0.59:9200"]
    index => "server_init-%{+YYYY.MM.dd}"
  }
}

启动

./bin/logstash -f /etc/logstash/logstash.conf --path.settings /etc/logstash/

Kibana

配置

[root@lupuxiaotest share]# grep -v "^#" /etc/kibana/kibana.yml 
server.port: 5601
server.host: "192.168.0.59"
elasticsearch.hosts: ["http://192.168.0.59:9200"]
xpack.reporting.encryptionKey: "a_random_string"
xpack.security.encryptionKey: "something_at_least_32_characters"

启动

systemctl status kibana.service

统计remote_ip 次数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PXzn9pNP-1576505004179)(http://image.rinkgame.com/blog/20190306/CtGw3O9zQECc.png?imageslim)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-maCWEayr-1576505004180)(http://image.rinkgame.com/blog/20190306/sabgIbdBcOVh.png?imageslim)]