目前最新的6.5.4 ELK日志收集全家桶 搭建 步骤:

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_25406669/article/details/85339488

全家桶 官网:https://www.elastic.co/cn/downloads/kibana
流程图:
ELK框架流程图

1.1 安装环境搭建
本文中介绍的ELK平台搭建需要用到如下六种程序,出于兼容性考虑,程序附上版本号。
在这里插入图片描述
JDK 1.8
在这里插入图片描述

1.2. elasticsearch 的安装与配置
1.2.1. ES 基本环境搭建

解压文件 elasticsearch-6.5.4.tar.gz
tar -zxvf elasticsearch-6.5.4.tar.gz -C /opt/soft/elasticsearch
创建 data、 logs 文件夹
在这里插入图片描述
B) 选择ES存放日志文件和数据文件磁盘,需要寻找大磁盘 一般不少于1.5T
找到ES的配置文件:
/opt/soft/elasticsearch/elasticsearch-6.5.4/config/ elasticsearch.yml
在这里插入图片描述

cluster.name: localhost-search-cluster
node.name: localhost #同hostname cat /etc/hostname
path.data: /opt/soft/elasticsearch/data/
path.logs: /opt/soft/elasticsearch/logs/
network.host: 10.57.130.201 #本机IP地址
http.port: 9200
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
http.cors.enabled: true
http.cors.allow-origin: “*”

插件:head的安装 参照这篇:
https://www.cnblogs.com/lizichao1991/p/7809156.html

1.2.3. ES 用户创建
es 在linux 系统环境下比较特殊,需要建立专门的用户名去启动,否则启动报错,故需要创建单独的es 用户
A) Linux 下创建用户
useradd elasticsearch

B) 给用户增加相应目录访问权限
允许elasticsearch用户读取es数据目录 (-R 是递归遍历子目录)
chown elasticsearch.elasticsearch -R /opt/soft/elasticsearch/
C) 切换用户
su elasticsearch

1.2.4. ES 启动和验证
上述步骤OK,即可启动es
需要切换到 es 用户下
su elasticsearch
启动es
./bin/elasticsearch -d
验证启动结果
在这里插入图片描述

浏览器访问:
在这里插入图片描述
1.3. kibana的安装与配置
1.3.1. kibana基本环境搭建

解压压缩包 kibana-6.5.4-linux-x86_64.tar.gz
tar -zxvf kibana-6.5.4-linux-x86_64.tar.gz -C /opt/soft/kibana
B) 配置 kibana 参数
默认为配置都未打开,我们需要打开需要用到的参数
/opt/soft/kibana/kibana-6.5.4-linux-x86_64/config/kibana.yml
在这里插入图片描述

1.3.2. kibana启动和验证

A) 启动 kibana
启动时 顺便将启动信息输出到 /dev/null 黑洞中
nohup kibana-6.5.4-linux-x86_64/bin/kibana > /dev/null 2>&1 &
B) 验证启动:
在这里插入图片描述
C) 终端验证
浏览器访问 http://10.57.130.201:5601

在这里插入图片描述
1.4. logstash的安装与配置
1.4.1. logstash基本环境搭建

A) 解压 logstash-6.5.4.zip
unzip logstash-6.5.4.zip
B) 配置 logstash
B1)创建配置文件目录 conf/ ,也可不创建放在系统默认配置目录下
mkdir conf
B2) 创建配置文件

test.conf
在这里插入图片描述

B3) 搭建最简单日志收集系统

产生日志的脚本:
在这里插入图片描述
不作任何处理的配置
在这里插入图片描述
1.4.2. Logstash启动和验证
A) 启动logstatsh
根据不同配置文件启动不同实例
nohup bin/logstash -f conf/test.conf --config.reload.automatic >& /dev/null &
B) 验证启动

在这里插入图片描述

然后去kibana去 创建匹配的索引:

在这里插入图片描述

通过Filebeat去收集日志到logstash 然后过滤:
这时候logstash的配置为 :

在这里插入图片描述

1.5. filebeat的安装与配置
1.5.1. filebeat基本环境搭建

A) 在服务端解压 filebeat-6.5.4-linux-x86_64.tar.gz
B) 修改 config 中的 filebeat.yml 需要打开一些配置
在这里插入图片描述
在这里插入图片描述

过滤的类型要对上:syslog;

1.5.2. filebeat启动和验证
A) filebeat的启动
启动命令
nohup ./filebeat -e -c filebeat.yml >&/dev/null &
B) filebeat的启动验证
kibana 展示出来:
在这里插入图片描述

仅仅作为参考:如有不懂请留言,必会解答;

猜你喜欢

转载自blog.csdn.net/qq_25406669/article/details/85339488