部署ELK日志分析系统（配写图）ovo

其他 2021-04-02 03:13:19 阅读次数: 0

ELK日志分析系统

文章目录

简介

ELK日志分析系统

  • Elasticsearch
  • Logstash
  • Kibana

日志处理步骤

  1. 将日志进行集中化管理
  2. 将日志格式化（Logstash）并输出到Elasticsearch
  3. 对格式化后的数据进行索引和存储（Elastticsearch）
  4. 前端数据的展示（Kibana）

一、Elasticsearch

介绍

  • 提供了一个分布式多用户能力的全文搜索引擎
  • 分布式即数据不会放在一个地方
  • 正是 ES 这些优秀的机制，所以会被百度等龙头企业所选择

核心概念

接近实时：

指索引和数据处理的能力

集群：

一个内部组件 ES 的架构（特性）

节点：

有集群必定有节点

索引：

索引（库）→ 索引类型（表）→ 索引的具体文档（记录）
索引根据以上这个方式来进行数据（位置）定位

分片：

例如，一个40G的文件，分为两份20G的文件，存放至两个节点上，读取这个40G的文件时，会效率更快

副本：核心是为了容灾，不过也可以处理任务

分片加上副本的使用：例如，四台主机同时处理一项任务，理论上效率可以提高四倍

二、Logstash

介绍

  • 一款强大的数据处理工具
  • 可实现数据传输、格式处理、格式化输出
  • 数据输入、数据加工（如过滤，改写等）以及数据输出

主要组件

  • Shipper
  • Indexer
  • Broker
  • Search and Storage
  • Web Interface

三、Kibana

介绍

  • 一个针对Elasticsearch的开源分析及可视化平台
  • 搜索、查看存储在Elasticsearch索引中的数据
  • 通过各种图标进行高级数据分析及展示

主要功能

  • Elasticsearch无缝之集成
  • 整合数据，复杂数据分析
  • 让更多团队成员受益
  • 接口灵活，分享更容易
  • 配置简单，可视化多数据源
  • 简单数据导出

拓展:

EFK 的构成：

  • Elasticsearch
  • Logstash（仅做数据格式处理的工作）
  • Filebeat （搜集文件数据）
  • Kafka
  • Kibana
  • Redis

部署ELK日志分析系统

mark

需求描述：

  • 配置ELK日志分析集群
  • 使用Logstash收集日志
  • 使用Kibana查看分析日志

环境

主机 操作系统 IP 所需软件
当做Node1 Centos7 192.168.171.7 Elasticsearch、Kibana
当做Node2 Centos7 192.168.171.4 Elasticsearch
Apache Centos7 192.168.171.17 Logstash

注：所有主机都需要关闭防火墙

配置步骤

1、 配置 Elasticsearch 环境

登录192.168.171.7 更改主机名 配置域名解析 查看Java环境

systemctl stop firewalld
systemctl disable firewalld
setenforce 0


hostnamectl set-hostname node1
su -

vim /etc/hosts
192.168.171.7  node1
192.168.171.4  node2
#尾部添加

java -version
#查看JAVA环境，一般默认是1.8.0_131

mark

安装java环境（jdk）

cd /opt
#将软件包传至该目录下
rpm -ivh jdk-8u201-linux-x64.rpm

vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
#注释：
1.输出定义java的工作目录
2.输出指定java所需的类文件
3.输出重新定义环境变量，$PATH一定要放在$JAVA_HOME的后面，让系统先读取到工作目录中的版本信息


source /etc/profile.d/java.sh
java -version

mark

node2也进行上方所有的配置

node1

cd /opt
rz elasticsearch-5.5.0.rpm

rpm -ivh elasticsearch-5.5.0.rpm

systemctl daemon-reload
systemctl enable elasticsearch.service

mark

更改配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
#备份

vim /etc/elasticsearch/elasticsearch.yml
//17行	cluster.name: my-elk-cluster							#集群名字
//23行	node.name: node1										#节点名字
//33行	path.data: /data/elk_data								#数据存放路径
//37行	path.logs: /var/log/elasticsearch/						#日志存放路径
//43行	bootstrap.memory_lock: false							#不在启动的时候锁定内存（前端缓存，与IOPS-性能测试方式，每秒读写次数相关）
//55行	network.host: 0.0.0.0									#提供服务绑定的IP地址，0.0.0.0代表所有地址
//59行	http.port: 9200											#侦听端口为9200
//68行	discovery.zen.ping.unicast.hosts: ["node1", "node2"]	#集群发现通过单播实现

都要取消注释

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
#创建数据存放路径并授权

systemctl start elasticsearch
netstat -antp | grep 9200
#启动elasticsearch是否成功开启

mark

mark

2、可用虚拟win10访问，查看节点信息

http://192.168.171.7:9200
http://192.168.171.4:9200

mark

node2也是一样配置

除了第23行的节点名字

3、集群检查健康和状态

http://192.168.171.7:9200/_cluster/health?pretty
http://192.168.171.4:9200/_cluster/health?pretty

http://192.168.171.7:9200/_cluster/state?pretty
http://192.168.171.4:9200/_cluster/state?pretty

mark

mark

4、安装elasticsearch-head插件

node1

（1）编译安装node组件依赖包,耗时比较长

上传node-v8.2.1.tar.gz到/opt

yum -y install gcc gcc-c++ make 

cd /opt
rz node-v8.2.1.tar.gz
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/

./configure 
make -j 2
make install

（2）安装phantomjs（前段框架）

cd /usr/local/src/
#将软件包传至本目录下
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

（3）安装elasticsearch-head（数据可视化工具）

cd /usr/local/src/
#将软件包传至本目录下
tar zxvf elasticsearch-head.tar.gz

cd elasticsearch-head/
npm install

（4）修改主配置文件

cd ~
vim /etc/elasticsearch/elasticsearch.yml
#在尾部添加配置
http.cors.enabled: true
http.cors.allow-origin: "*"

#开启跨域访问支持，默认为false
#跨域访问允许的域名地址

systemctl restart elasticsearch

mark

（5）启动 elasticsearch-head

cd /usr/local/src/elasticsearch-head/
npm run start &
#切换到后台运行

netstat -lnupt |grep 9100
netstat -lnupt |grep 9200

node2也是这样配置

（6）真机浏览器验证

http://192.168.171.7:9100 
http://192.168.171.4:9100 
#可以看见群集很健康是绿色
#然后点连接 会发现：集群健康值: green (0 of 0)

http://192.168.171.7:9200   
http://192.168.171.4:9200

mark

node1（192.168.171.7）
索引为index-demo,类型为test,可以看到成功创建

curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"xcf","mesg":"hello world"}'

mark

在虚拟win10打开浏览器，访问，查看索引信息

http://192.168.171.7:9100

#可以看见索引默认被分片5个，并且有一个副本
#点击数据浏览，会发现在node1上创建的索引为index-demo，类型为test这些相关的信息

mark

mark

5、安装logstash

安装logstash并做一些日志搜集输出到elasticsearch中

Apache（192.168.171.17）

（1）更改主机名并安装 Apache httpd 服务

hostnamectl set-hostname apache
su -

yum install -y httpd
systemctl start httpd

（2）安装java环境（和node1node2一样）

java -version

（3）安装logstash


cd /opt
rz logstash-5.5.1.rpm 

rpm -ivh logstash-5.5.1.rpm   

systemctl start logstash.service     
systemctl enable logstash.service

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
#建立软连接，方便系统识别

mark

（4）做对接测试 logstash（Apache）与 elasticsearch（node）功能是否正常

Logstash [选项] [对象]
-f：通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e：后面跟着字符串 该字符串可以被当做logstash的配置（如果是" ",则默认使用stdin作为输入、stdout作为输出）
-t：测试配置文件是否正确，然后退出

（5）输入采用标准输入，输出采用标准输出

logstash -e 'input { stdin{} } output { stdout{} }'

Logstash API endpoint {:port=>9600}
www.baidu.com                					    ##需要输入www.baidu.com
2018-10-12T02:10:11.313Z apache www.baidu.com
www.sina.com.cn                                     ##需要输入www.sina.com.cn
2018-10-12T02:10:29.778Z apache www.sina.com.cn

Ctrl + c退出

mark

（6）使用 rubydebug 显示详细输出，codec 为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

Logstash API endpoint {:port=>9600}
www.baidu.com
{
    "@timestamp" => 2018-10-12T02:15:39.136Z,
      "@version" => "1",
          "host" => "apache",
       "message" => "www.baidu.com"
}

mark

（7）使用logstash将信息写入elasticsearch中，输入 输出 对接

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.171.7:9200"] } }'

Logstash API endpoint {:port=>9600}
www.baidu.com                     ###输入内容
www.sina.com.cn                   ###输入内容
www.google.com.cn                 ###输入内容

（8）真机访问测试

 http://192.168.171.7:9100/ 
 #查看索引信息

mark

6、登录192.168.171.17 Apache主机 做对接配置

（1）logstasgh 配置文件

#Logstash配置文件主要由三部分组成：input、output、filter（根据需要）

chmod o+r /var/log/messages
ll /var/log/messages

mark

（2）配置文件中定义的是收集系统日志（system）

vim /etc/logstash/conf.d/system.conf
input {
		file{
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
			}
		}

output {
        elasticsearch {
          hosts => ["192.168.171.7:9200"]
          index => "system-%{+YYYY.MM.dd}"
					  }
       }
       

systemctl restart logstash.service

（3）真机浏览 http://192.168.171.7:9100/ 查看索引信息

mark

mark

（4）在node1安装Kibana

cd /usr/local/src/
#将软件包传至本目录下
rpm -ivh kibana-5.5.1-x86_64.rpm

cd /etc/kibana/
cp kibana.yml kibana.yml.bak

vim kibana.yml
//2行	server.port: 5601                					#kibana打开的端口
//7行	server.host: "0.0.0.0"           					#kibana侦听的地址
//21行	elasticsearch.url: "http://192.168.171.7:9200"		#和elasticsearch建立联系
//30行	kibana.index: ".kibana"								#在elasticsearch中添加.kibana索引


systemctl start kibana.service
systemctl enable kibana.service

（5）真机浏览器测试

使用浏览器输入192.168.171.7:5601

首次登录创建一个索引 名字：system-*  ##这是对接系统日志文件
Index name or pattern   
##下面输入system-*

先点最下面的出面的create 按钮创建

然后点最左上角的Discover按钮 会发现system-*信息

最后点下面的host旁边的add 会发现右面的图只有 Time 和host 选项了 这个比较友好

mark

mark

mark

7、对接 Apache 主机的 Apache 日志文件

cd /etc/logstash/conf.d/

vim apache_log.conf
input {
       file{
        path => "/etc/httpd/logs/access_log"
        type => "access"
        start_position => "beginning"
        }
       file{
        path => "/etc/httpd/logs/error_log"
        type => "error"
        start_position => "beginning"
        }
        
      }
output {
        if [type] == "access" {
        elasticsearch {
          hosts => ["192.168.171.7:9200"]
          index => "apache_access-%{+YYYY.MM.dd}"
          }
        }
        if [type] == "error" {
        elasticsearch {
          hosts => ["192.168.171.7:9200"]
          index => "apache_error-%{+YYYY.MM.dd}"
          }
        }
        }
        
        
        

/usr/share/logstash/bin/logstash -f apache_log.conf
#开启

真机

打开浏览器 输入http://192.168.171.17
打开浏览器 输入http://192.168.171.7:9100/ 查看索引信息
能发现
apache_error-2021.03.05 apache_access-2021.03.05

mark

mark

打开浏览器 输入http://192.168.171.7:5601
点击左下角有个management选项
—index patterns
—create index pattern

----分别创建apache_error-* 和 apache_access-* 的索引

mark

mark

猜你喜欢

转载自blog.csdn.net/Gloomyumenge/article/details/114404141
今日推荐
周排行
一维数组的常见查找法
新建文件夹接口
问题 1161: 【回文数(二)】
关于一些初级ACM竞赛题目的分析和题解（九）
转载：什么是分布式系统中的幂等性
【Selenium】
实用的滚动
使用google object_detection API检测重力波
1031 - Easy Game 简单区间DP
UNIX-LINUX编程实践教程笔记：5 学习stty
每日归档
更多
2025-03-15(0)
2025-03-14(0)
2025-03-13(0)
2025-03-12(0)
2025-03-11(0)
2025-03-10(0)
2025-03-09(0)
2025-03-08(0)
2025-03-07(0)
2025-03-06(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022