通过 Docker 部署 ELK 日志收集系统

说明： elasticsearch、kibana、logstash、filebeat 版本要一致，elasticsearch-head 方便通过浏览器查看elasticsearch 的状态和索引数据。

工作原理： 通过 filebeat（轻量级数据收集引擎）收集日志后，推送给 Logstash （数据收集处理引擎）进行过滤、分析、丰富、统一格式等操作，将处理后的日志存储在 Elasticsearch （分布式搜索引擎）的索引中，最后由 Kibana（可视化化平台）搜索、展示存储在 Elasticsearch 中索引数据。

环境说明：

应用	版本
docker	19.03.9
elasticsearch	7.17.2
kibana	7.17.2
logstash	7.17.2
filebeat	7.17.2
elasticsearch-head	5.0

1. 镜像拉取

docker pull  docker.elastic.co/elasticsearch/elasticsearch:7.17.2
docker pull  mobz/elasticsearch-head:5                           
docker pull  docker.elastic.co/kibana/kibana:7.17.2             
docker pull  docker.elastic.co/logstash/logstash:7.17.2     
docker pull  docker.elastic.co/beats/filebeat:7.17.2           

2. elasticsearch 安装

1. 准备 elasticsearch.yml 文件

# 创建文件夹
mkdir /home/southgisdata/elasticsearch
# 创建 elasticsearch.yml 文件
vi  /home/southgisdata/elasticsearch/elasticsearch.yml
------------------------写入---------------------------
network.host: 0.0.0.0 
cluster.name: "docker-cluster" 
http.cors.enabled: true 
http.cors.allow-origin: "*" 
#cluster.initial_master_nodes: ["node-1"] 
xpack: 
 ml.enabled: false
 monitoring.enabled: false 
 security.enabled: false 
 watcher.enabled: false
#去除以下两项的注释，则开启身份认证
#xpack.security.enabled: true
#xpack.security.transport.ssl.enabled: true
------------------------结束---------------------------

2. 运行 elasticsearch 容器

docker run -d --restart=always -p 9200:9200 -p 9300:9300 \
-e "discovery.type=single-node" \
-v /home/southgisdata/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
--name elasticsearch docker.elastic.co/elasticsearch/elasticsearch:7.17.2

3. 验证
   浏览器验证： 访问 192.168.1.100:9200
   

命令行验证： curl http://localhost:9200/_nodes/http?pretty

注意： 如果出现以下报错！！！

处理方法如下：

1. 修改内存：
   在/etc/sysctl.conf文件，最后添加以下内容：

vm.max_map_count=262144        

2. 开启配置文件elasticsearch.yml 的以下配置：

cluster.initial_master_nodes: ["node-1"]

3. elasticsearch-head 安装

1. 运行 elasticsearch-head 容器

docker run -d --restart=always -p 9100:9100 --name elasticsearch-head mobz/elasticsearch-head:5

2. 修改 vendor.js 主要是能让数据浏览右边显示索引数据
   

# 创建文件夹
mkdir -p /home/southgisdata/elasticsearch-head
# 进入文件夹下
cd /home/southgisdata/elasticsearch-head
# 拷贝 vendor.js 文件到宿主机上
docker cp elasticsearch-head:/usr/src/app/_site/vendor.js ./
# 修改 vendor.js 文件内容
sed -i '/contentType:/s/application\/x-www-form-urlencoded/application\/json;charset=UTF-8/' vendor.js

sed -i '/var inspectData = s.contentType/s/application\/x-www-form-urlencoded/application\/json;charset=UTF-8/' vendor.js

3. 再次运行 elasticsearch-head 容器

# 删除容器
docker rm -f elasticsearch-head
# 运行容器
docker run -d --restart=always -p 9100:9100 -v /home/southgisdata/elasticsearch-head/vendor.js:/usr/src/app/_site/vendor.js --name elasticsearch-head mobz/elasticsearch-head:5

4. 验证
   **浏览器验证：**访问 192.168.1.100:9100
   

4. logstash 安装

1. 准备 logstash.yml、pipelines.yml 配置文件

# 创建文件夹
mkdir -p /home/southgisdata/logstash/config
# 创建 logstash.yml 文件
vi /home/southgisdata/logstash/config/logstash.yml
------------------------写入---------------------------
config:
  reload:
    automatic: true
    interval: 3s
xpack:
  management.enabled: false
  monitoring.enabled: false
------------------------结束---------------------------

# 创建 pipelines.yml 文件
vi /home/southgisdata/logstash/config/pipelines.yml
------------------------写入---------------------------
- pipeline.id: test
  path.config: "/usr/share/logstash/pipeline/logstash-filebeat.conf"
------------------------结束---------------------------

2. 准备 logstash-filebeat.conf 配置文件

# 创建文件夹
mkdir -p /home/southgisdata/logstash/pipeline
# 创建 logstash.yml 文件
vi /home/southgisdata/logstash/pipeline/logstash-filebeat.conf
------------------------写入---------------------------
# 访问端口配置
input {
  beats {
    port => 5044
  }
}

# 过滤条件配置
#filter{
#  grok{
#    match => {
#    "message" => "%{COMBINEDAPACHELOG}"
#   }
#  }
#}

# 输出到ES配置
output {
  elasticsearch {
    hosts => ["http://192.168.1.100:9200"]	            
    index => "nginx_log"
  }
}
------------------------结束---------------------------

3. 运行 logstash 容器

docker run -d  -p 5044:5044 \
-v /home/southgisdata/logstash/pipeline:/usr/share/logstash/pipeline \
-v /home/southgisdata/logstash/config:/usr/share/logstash/config \
--name logstash docker.elastic.co/logstash/logstash:7.17.2

4. 验证
   启动时间要两分钟左右，之后试着访问web，即可在es-head的web界面看到nginx_log的索引
   

5. kibana 安装

1. 准备 kibana.yml 配置文件

# 创建文件夹
mkdir -p /home/southgisdata/kibana
# 创建 kibana.yml 配置文件
vi /home/southgisdata/kibana/kibana.yml
------------------------写入---------------------------
server.name: kibana
# 允许所有地址访问
server.host: "0.0.0.0"
# elasticsearch的地址
elasticsearch.hosts: ["http://192.168.1.100:9200/"] 
xpack.monitoring.ui.container.elasticsearch.enabled: true
------------------------写入---------------------------

2. 运行 kibana 容器

docker run -d --restart=always -p 5601:5601 \
-v /home/southgisdata/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml \
--name kibana docker.elastic.co/kibana/kibana:7.17.2

3. 验证
   查看 elasticsearch-head 会发现多了几个索引，这几个索引是 kibanna 生成的。
   

6. filebeat 安装

1. 准备 filebeat.yml 配置文件

# 创建文件夹
mkdir -p /home/southgisdata/filebeat
# 创建 kibana.yml 配置文件
vi /home/southgisdata/filebeat/filebeat.yml
------------------------写入---------------------------
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/access.log   #日志文件路径

output.logstash:
  hosts: ["192.168.1.100:5044"]  #logstash访问地址
------------------------写入---------------------------

2. 运行 filebeat 容器
   映射了 filebeat 配置文件和 nginx 日志，这样 nginx 日志有变化时映射过去的文件也会随之同步。

docker run -d --restart=always --name filebeat \
-v /home/southgisdata/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /usr/local/nginx/logs/access.log:/var/log/access.log \
-d docker.elastic.co/beats/filebeat:7.17.2

3. 验证
   查看 nginx_log 的索引，可以看到 nginx 的日志数据。
   

7. 通过 kibana 展示收集的数据