ELK日志管理系统搭建

 发表于 2017-11-17

文章目录

1.      1.CentOS下安装ELK

1.      1.1.使用 yum 安装 Java 环境。(先检查是否有java环境),安装java 1.8版本

2.      1.2.下载并安装Elasticsearch

CentOS下安装ELK

使用 yum 安装 Java 环境。(先检查是否有java环境),安装java 1.8版本

下载并安装Elasticsearch

·        安装ElasticsearchPGP Key rpm –import https://artifacts.elastic.co/GPG-KEY-elasticsearch

·        安装6.0.0 版本下载地址:elasticsearch下载完成使用yumlocalinstall elasticsearch-5.6.3.rpm 方式安装,安装到目录usr/share/elasticsearch目录下。同时设置开机启动,使用命令systemctldaemon-reloadsystemctl enable elasticsearch.service(开机自动启动)。

·        启动服务:systemctlstart elasticsearch.service

·        查看服务状态:systemctlstatus elasticsearch.service

·        开放防火墙:firewall-cmd–permanent –add-port={9200/tcp,9300/tcp}然后重载防火墙firewall-cmd–reload,重启下防火墙,或者直接关闭防火墙(外网不建议)。

·        配置文件目录,路径:etc/elasticsearch/elasticsearch.yml 修改节点

·           network.host: 0.0.0.0

·           bootstrap.memory_lock: false  其他使用默认即可。

安装成通过http://172.17.1.206:9200 即可访问,查看Elasticsearch状态。

1.     安装 Kibana

安装Kibana,下载地址 Kibana 同样使用yum 安装,yum localinstall kibana,安装到目录usr/share/kibana,同时设置开机启动,使用命令systemctldaemon-reloadsystemctl enabe kibana.service

1.     启动服务:systemctlstart kibana;

2.     查看服务状态systemctl status kibana.service;

3.     修改配置文件节点,路径:etc/kibana/kibana.yml,修改节点:

4.         server.host: 0.0.0.0   其他使用默认即可。

安装成功后通过 http://172.17.1.206:5601 访问即打开kibana页面。

1.     安装Logstash

1.     官网下载,通过rpm安装,yum localinstalllogstash-6.0.0.rpm;

2.     设置开机启动systemctl enable logstash.service

3.     启动服务systemctl start logstash.service

4.     windows下安装直接使用powershell执行,使用命令 ./install-service-logstash.ps1

2.     安装metricbeatLinux

0.     下载地址安装rpm包,yumlocalinstall metricbeat-6.0.0-x86_64.rpm

1.     设置开机启动systemctl enable metricbeat.service

2.     修改配置文件,连接Elasticsearch,修改配置它下面节点地址即可(/etc/metricbeat/metricbeat.yml

3.       hosts:["172.17.1.206:9200"]

4.     导入参数

5.       curl-XPUT 'http://172.17.1.206:9200/_template/metricbeat?pretty'–d@/etc/metricbeat/metricbeat.template.json

6.     etc/metricbeat目录下安装模板 metricbeat setup –template,这个是索引模板,安装完成后即可在KibanaIndex 设置中 metricbeat* 创建索引,安装好后可以通过http://172.17.1.206:9200/metricbeat-*查看安装的模板索引

7.     安装dashboardsmetricbeat setup –dashboards,可以在KibanaDashboards页面中查看服务器的状态。安装时,必须先配置kibana地址。

8.     选择设置,可以设置监控不同的模块,如redis,docker等模块,可以通过metricbeat modules list命令查看可以监控的模块,需要在etc/metricbeat目录下执行。

如:监控linuxdocker容器环境,默认metricbeat只对system模块是启用的,其他模块都禁用,这里需要通过metricbeatmodules enable docker 进行启用。进入配置文件进行输出配置,我们需把监控数据输入到elasticsearch中,直接配置输出地址即可(默认已配置,只需修改Ip地址)。

模块配置,对监控的docker模块进行配置,

多个服务器上安装metricbeat监控软件,只需执行一次模板安装和dashboards安装即可。导入参数后续操作内网环境已安装,外网不需要安装。

3.     安装HeartbeatLinux

Heartbeat是一个心跳检测工具,主要监控服务的可用性。监控给定的地址是否可用(官网原话:对于给定的URL列表,Heartbeat就问一句,还活着没?活着吱一声。。。) 不管你是测试同主机服务还是其他网络服务,Heartbeat都可以很轻松的生成正常运行时间和响应时间数据。而且修改配置不需要重启Heartbeat,同时可以Ping你想Ping的任何东西。Heartbeat通过ICMP,TCP,HTTP进行ping,也支持TLS,身份验证(authentication),和代理(proxies)。由于简单的DNS解析,你可以监控所有负载均衡的服务(原文:You can monitor all the hostsbehind a load-balanced server thanks to simple DNS resolution)

·        官网下载,使用yum 本地安装,yum localinstallheartbeat-6.0.0.rpm

·        设置开机启动systemctl enable heartbeat.service

·        修改配置文件,因要把数据放在elasticsearch里输出数据,

·        安装模板,使用命令heartbeat setup –template ,安装好后可以通过http://172.17.1.206:9200/heartbeat-*进行查看

·        安装dashboards,使用命令heartbeat setup –dashboards,安装好后就可以在kibana中查看监控的服务状态,安装时,请确保配置文件setup.kibana.host已连接Kibana

·        启动服务 serviceheartbeat-elastic start;

·        配置heartbeat.yml文件,配置节点heartbeat.monitor,配置要监控的http页面 heartbeat.monitors: - type: http

·          #List or urls to query

·          urls:

·          -"http://172.17.1.206:9200"

·          -"http://172.17.1.246:1006"

·          -"http://172.17.1.246:1007"

·          -"http://172.17.1.246:1008"

·          -"http://172.17.1.246:1028"

·          -"http://172.17.1.245:8010"

·          -"http://172.17.1.245:1002"

·          -"http://crm.shanglv51.com"

·          -"http://aip.shanglv51.com"

·         

·          # Configuretask schedule

·          schedule: '@every 10s'

·         

·          #Total test connection and data exchange timeout

·          timeout: 10s

Heartbeat window安装,直接解压heartbeat-6.0.0-windows-x86_64.zip压缩包,使用powershell.\install-service-heartbeat.ps1 安装成服务即可,然后用net startheartbeat启动服务,模板安装,用cmd命令执行heartbeat setup –dashboards配置文件修改方式类似。参考地址:https://www.elastic.co/guide/en/beats/heartbeat/6.0/heartbeat-installation.html

猜你喜欢

转载自blog.csdn.net/qijkkwcw/article/details/80699437