ELK-Elasticsearch、Logstash、Kibana部署对接展示

其他 2021-03-20 10:17:39 阅读次数: 0

ELK

一、普通日志服务器

优点：提高安全性
集中存放日志
缺点：对日志的分析困难

二、日志分析架构

2.1 ELK

Elasticsearch+Logstash+Kibana

Logstash：日志收集+格式处理+日志输出

2.2 EFK

适合业务体量非常大、对日志收集、格式转换并且处理的复杂程度非常高的项目

Elasticsearch+Filebeat+Kafka+Redis+Logstash+Kibana

Logstash：转换格式
Filebeat：日志收集+日志输出
redis可给Kafka和Logstash做缓存
Kafka：消息代理（存在数据、数据传输的载体）（高吞吐量），中间件，传递处理交互请求

三、ELK日志分析系统

Elasticsearch
Logstash
Kibana
在这里插入图片描述

3.1 Elasticsearch

提供一个分布式多用户能力的全文搜索引擎

3.1.1 核心概念

接近实时（NRT）

Elaisticsearch是一个接近实时的搜索平台，这意味着，
从索引一个文档直到这个文件能够被搜索到有一个轻微的延迟（通常是1秒）

集群

一个集群就是由一个或多个节点组织在一起，它们共同持有你整个数据，并一起提供索引和搜索功能。
其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。
集群有一个唯一性标示的名字，默认是elasticsearch，一个集群可以只有一个节点。
强烈建议在配置elasticsearch时，配置成集群模式。
ES具有集群机制，节点通过集群名称加入到集群中。
同时在集群中的节点会有一个自己的唯一身份标识(自己的名称)。

节点

节点就是一台单一的服务器，时集群的一部分，存储数据并参与集群的索引和搜索功能。
像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名。
可以自己定义，在集群中用于识别服务器对应的节点。
节点可以通过指定的集群名字来加入到集群中。默认情况，每个节点被设置成加入到elasticsearch集群。
如果启动多个节点，假设能自动发现对方，他们将会自动组建一个名为elasticsearch的集群。

索引

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引的文档进行索引、搜索、更新、删除时，都要使用到这个名字。在一个集群中，如果你想，可以定义任意多的索引。
索引相对于关系型数据库的库

索引（库）–>类型（表）–>文档（记录）

类型

在一个索引中，可以定义一种或多种。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你定义。通常会为具有一组共同字段的文档定义为一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型
类型相对于关系型数据库的表

文档

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。
在一个Index/type里面，可以存储任意多的文档。虽然一个文档在物理上位于一个索引中，时加上一个文档必须在一个索引内被索引和分配一个类型。

分片与副本（shard&replicas）

在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为解决这个问题，elasticsearch提供将索引分成多个分片的功能。当创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立索引，可以位于集群中的任何节点上。
分片的两个主要原因：
水平分割扩展，增大存储量
分布式并行跨分片操作，提高性能和吞吐量

分布式分片的机制和搜索请求的文档如何汇总完全是有elasticsearch控制的，这些对用户而言是透明的。
网络问题等等其它问题可以在任何时候不期而至，为了健壮性，强烈建议要有一个故障切换机制，无论何种故障以防止分片或者节点不可用。
为此，elasticsearch让我们将索引分片复制一 份或多份，称之为分片副本或副本。

●副本也有两个最主要原因：
a、高可用性，以应对分片或者节点故障。出于这个原因，分片副本要在不同的节点上。
b、xxx能，增大吞吐量，搜索可以并行在所有副本上执行。

总之，每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了，每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分月和副本的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变副本的数量，但是你事后不能改变分片的数量。
默认情况下，Elasticsearch中的每 个索引被分片5个主分片和1个副本，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个副本分片(1个完全拷贝)， 这样的话每个索引总共就有10个分片。

3.2 Logstash

一款强大的数据处理工具。Logstash由JRuby语言编写，基于消息(message based)的简单架构，并运行在Java虚拟机(JVM)上。 不同于分离的代理端(agent)或主机端(server) ，LogStash可配置单一的代理端(agent) 与其它开源软件结合，以实现不同的功能。

3.2.1 Logstash主要组件

Shipper
Indexer
Broker
Search and Storage
Web Interface
在这里插入图片描述

3.2.2 组件作用

Inputplugin：实现数据传输（数据输入）
Filterplugin：实现格式处理（数据加工(如过滤，改写等)）
Outputplugin：实现格式化输出（数据输出）

3.3 Kibana

3.3.1 介绍

Kibana是一个 针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。
使用Kibana, 可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板(dashboard) 实时显示Elasticsearch查询动态。 设置Kibana非常简单。 无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

1、一种针对Elasticsearch 的开源分析即可视化平台
2、搜索、查看存储在Elasticsearch索引中的数据
3、通过各种图标进行高级数据分析及展示

3.3.2 Kibana主要功能

1、Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制， 可以将任何结构化和非结构化数据加入Elasticsearch索引。
Kibana还充分利用了Elasticsearch强大的搜索和分析功能。
2、整合你的数据。Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
3、复杂数据分析。Kibana提升了Elasticsearch分析能力， 能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。
4、让更多团队成员受益。强大的数据库可视化接让各业务岗位都能够从数据集合受益。
5、接口灵活，分享更容易。使用Kibana可以更加方便地创建、 保存、分享数据，并将可视化数据快速交流。
5、 配置简单。Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器， 可以快速启动运行。
7、可视化多数据源。Kibana可以非常方便地把来自Logstash、 ES Hadoop、 Beats或第三方技术的数据整合到Elasticsearch, 支持的第三方技术包括Apache Flume、 Fluentd等。
8、 简单数据导出。Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。

Elasticsearch无缝之集成
整合数据，复杂数据分析
让更多团队成员受益 接口灵活，分享更容易
配置简单，可视化多数据源
简单数据导出

四、日志处理步骤

1、将日志进行集中化管理
2、将日志格式化（Logstash）并输出到Elasticsearch
3、对格式化后的数据进行索引和存储（Elastcsearch）
4、前端数据的展示（Kibana）

4.1ELK工作原理展示图

【APPServer集群】–>【logstash Agent采集器】–>【Elasticsearch Cluster】–>【Kibana Server】–>【Browser】
Logstash收集AppServer产生的Log，并存放到Elasticsearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。简单来说，进行日志处理分析，一般要经过以下几个步骤：

1、将日志进行集中化管理（beats）
beats包含四种工具：
Packetbeat（搜集网络流量数据）
Topbeat（搜集系统、进程级别的CPU和内存使用情况等数据）
Filebeat（搜集文件数据）
Winlogbeat（搜集Windows事件日志数据）
2、将日志格式化
3、对格式化后的数据进行索引和存储（elasticsearch）
4、前端数据展示

journalctl -u   #根据类型查询，如查看docker服务日志journalctl -u docker

五、实验部署

5.1案例环境：配置ELK日志分析系统

配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志

主机 操作系统 主机名 IP地址 主要软件
服务器 Centos7.4 node1 192.168.238.10 Elasticsearch Kibana
服务器 Centos7.4 node2 192.168.238.20 Elasticsearch
服务器 Centos7.4 apache 192.168.238.30 Logstash Apache

六、部署Elasticsearch

6.1 配置elasticsearch环境

这是我自己的，其中参数需要自己修改
将安装包拖到/opt目录下

hostnamectl set-hostname node1   
bash				#bash后shell脚本就断了

#!/bin/bash

echo "192.168.238.10 node1" >> /etc/hosts
echo "192.168.238.20 node2" >> /etc/hosts

java -version
cd /opt/
tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/ &> /dev/null

echo 'export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH' >>  /etc/profile
source /etc/profile
java -version

登录192.168.100.41 更改主机名 配置域名解析 查看Java环境

[root@localhost ~]# hostnamectl set-hostname node1 [root@localhost ~]#
bash

[root@node1 ~]# vim /etc/hosts
192.168.238.10 node1
192.168.238.20 node2

[root@node1 ~]# java -version openjdk version “1.8.0_131” OpenJDK
Runtime Environment (build 1.8.0_131-b12) OpenJDK 64-Bit Server VM
(build 25.131-b12, mixed mode)

JDK [root@node1 ~]# cd /opt/ [root@node1 opt]# rz -E rz waiting to receive. [root@node1 opt]# tar zxvf jdk-8u91-linux-x64.tar.gz -C
/usr/local/

[root@node1 opt]# vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_91 export
JRE_HOME= J A V A H O M E / j r e e x p o r t C L A S S P A T H = . : {JAVA_HOME}/jre export CLASSPATH=.: JAVAH​OME/jreexportCLASSPATH=.:{JAVA_HOME}/lib: J R E H O M E / l i b e x p o r t P A T H = {JRE_HOME}/lib export PATH= JREH​OME/libexportPATH={JAVA_HOME}/bin:$PATH

[root@node1 opt]# source /etc/profile

==登录192.168.100.42 更改主机名 配置域名解析 查看Java环境 ==

[root@node2 ~]# hostnamectl set-hostname node2

[root@node2 ~]# vi /etc/hosts
192.168.238.10 node1
192.168.238.20 node2

[root@node2 ~]# java -version openjdk version “1.8.0_181” OpenJDK
Runtime Environment (build 1.8.0_181-b13) OpenJDK 64-Bit Server VM
(build 25.181-b13, mixed mode)

6.2 部署elasticsearch软件

登录192.168.238.10
1、安装elasticsearch—rpm包
上传elasticsearch-5.5.0.rpm到/opt目录下

[root@node1 ~ ]#cd /opt/
[root@node1 opt]#rz -E
rz waiting to receive.
[root@node1 opt]#ls
elasticsearch-5.5.0.rpm  jdk-8u91-linux-x64.tar.gz  rh
[root@node1 opt]#rpm -ivh elasticsearch-5.5.0.rpm

2、加载系统服务

[root@node1 opt]# systemctl daemon-reload    
[root@node1 opt]# systemctl enable elasticsearch.service

3、更改elasticsearch主配置文件

[root@node1 opt]#cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node1 opt]#  vi /etc/elasticsearch/elasticsearch.yml
17/ cluster.name: my-elk-cluster                  		 ####集群名字
23/ node.name: node1                                  	 ####节点名字
33/ path.data: /data/elk_data                       	 ####数据存放路径
37/ path.logs: /var/log/elasticsearch/          	 	 ####日志存放路径
43/ bootstrap.memory_lock: false                		 ####不在启动的时候锁定内存（前端缓存。与IOPS-性能测试方式，每秒读写次数相关）
55/ network.host: 0.0.0.0                                ####提供服务绑定的IP地址，0.0.0.0代表所有地址
59/ http.port: 9200                                      ####侦听端口为9200
68/ discovery.zen.ping.unicast.hosts: ["node1", "node2"]      ####集群发现通过单播实现“单播”

[root@node1 opt]#grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node-1
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、创建数据存放路径并授权

[root@node1 opt]#mkdir -p /data/elk_data
[root@node1 opt]#chown elasticsearch:elasticsearch /data/elk_data/

5、启动elasticsearch是否成功开启

[root@node1 opt]#systemctl start elasticsearch.service 
[root@node1 opt]#netstat -antp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      42300/java

6、关闭防火墙

[root@node1 mnt]#systemctl stop firewalld.service 
[root@node1 mnt]#setenforce 0

6、查看节点信息 用真机192.168.238.1 的浏览器打开 http://192.168.238.10:9200 有文件打开 下面是节点的信息

{
    
    
  "name" : "node-1",
  "cluster_name" : "my-elk-cluster",
  "cluster_uuid" : "I3Q3QV0BRfGJlck5QbYffA",
  "version" : {
    
    
    "number" : "5.5.0",
    "build_hash" : "260387d",
    "build_date" : "2017-06-30T23:16:05.735Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

在这里插入图片描述

登录192.168.238.20
1、安装elasticsearch—rpm包
上传elasticsearch-5.5.0.rpm到/opt目录下

[root@node2 opt]#cd /opt/
[root@node2 opt]#ls
jdk-8u91-linux-x64.tar.gz  rh
[root@node2 opt]#rz -E
rz waiting to receive.
[root@node2 opt]#ls
elasticsearch-5.5.0.rpm  jdk-8u91-linux-x64.tar.gz  rh
[root@node2 opt]# rpm -ivh elasticsearch-5.5.0.rpm

2、加载系统服务

[root@node2 opt]# systemctl daemon-reload    
[root@node2 opt]# systemctl enable elasticsearch.service

3、更改elasticsearch主配置文件

[root@node2 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
[root@node2 opt]#  vi /etc/elasticsearch/elasticsearch.yml

17/ cluster.name: my-elk-cluster                   		####集群名字
23/ node.name: node2                                  	####节点名字
33/ path.data: /data/elk_data                        	####数据存放路径
37/ path.logs: /var/log/elasticsearch/           		####数据存放路径
43/ bootstrap.memory_lock: false                 		####不在启动的时候锁定内存
55/ network.host: 0.0.0.0                               ####提供服务绑定的IP地址，0.0.0.0代表所有地址
59/ http.port: 9200                                     ####侦听端口为9200
68/ discovery.zen.ping.unicast.hosts: ["node1", "node2"]     ####集群发现通过单播实现

[root@node2 opt]#  grep -v "^#" /etc/elasticsearch/elasticsearch.yml
cluster.name: my-elk-cluster
node.name: node2
path.data: /data/elk_data
path.logs: /var/log/elasticsearch/
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]

4、创建数据存放路径并授权

[root@node2 opt]# mkdir -p /data/elk_data
[root@node2 opt]# chown elasticsearch:elasticsearch /data/elk_data/

5、启动elasticsearch是否成功开启

[root@node2 elasticsearch]# systemctl start elasticsearch.service
[root@node2 ~]#netstat -natp | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      42188/java

6、查看节点信息 用真机192.168.238.1 的浏览器打开 http://192.168.238.20:9200 有文件打开 下面是节点的信息

{
    
    
  "name" : "node2",
  "cluster_name" : "my-elk-cluster",
  "cluster_uuid" : "I3Q3QV0BRfGJlck5QbYffA",
  "version" : {
    
    
    "number" : "5.5.0",
    "build_hash" : "260387d",
    "build_date" : "2017-06-30T23:16:05.735Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

在这里插入图片描述

6.3 集群检查健康和状态

在真机浏览器192.168.238.1 打开 http://192.168.238.10:9200/_cluster/health?pretty 检查群集健康情况

{
    
    
  "cluster_name" : "my-elk-cluster",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 0,
  "active_shards" : 0,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

在这里插入图片描述

在真机浏览器192.168.238.1 打开 http://192.168.238.20:9200/_cluster/state?pretty ###检查群集状态信息

{
    
    
  "cluster_name" : "my-elk-cluster",
  "version" : 3,
  "state_uuid" : "wtx33zEiToG8FqoBDp0xhA",
  "master_node" : "oiOdCCLOTJOn9HvwzvFF3A",
  "blocks" : {
    
     },
  "nodes" : {
    
    
    "oiOdCCLOTJOn9HvwzvFF3A" : {
    
    
      "name" : "node-1",
      "ephemeral_id" : "o1n6V31BREiHDgY8IIXZKg",
      "transport_address" : "192.168.238.10:9300",
      "attributes" : {
    
     }
    },
    "woIoCKj9QXaZwLXrRYYs_A" : {
    
    
      "name" : "node2",
      "ephemeral_id" : "QEk2uB1TRcejlPiYLaUmVw",
      "transport_address" : "192.168.238.20:9300",
      "attributes" : {
    
     }
    }
  },
  "metadata" : {
    
    
    "cluster_uuid" : "I3Q3QV0BRfGJlck5QbYffA",
    "templates" : {
    
     },
    "indices" : {
    
     },
    "index-graveyard" : {
    
    
      "tombstones" : [ ]
    }
  },
  "routing_table" : {
    
    
    "indices" : {
    
     }
  },
  "routing_nodes" : {
    
    
    "unassigned" : [ ],
    "nodes" : {
    
    
      "woIoCKj9QXaZwLXrRYYs_A" : [ ],
      "oiOdCCLOTJOn9HvwzvFF3A" : [ ]
    }
  }
}

在这里插入图片描述

6.4 安装elasticsearch-head插件管理集群

上述查看集群的方式，极其不方便，我们可以通过安装elasticsearch-head插件后，来管理集群

登录192.168.238.10 node1主机
上传node-v8.2.1.tar.gz到/opt

[root@node1 ~]#cd /opt/
[root@node1 opt]#rz -E
rz waiting to receive.
[root@node1 opt]#ls
elasticsearch-5.5.0.rpm  jdk-8u91-linux-x64.tar.gz  node-v8.2.1.tar.gz  rh
[root@node1 opt]#df -h
文件系统        容量  已用  可用 已用% 挂载点
/dev/sda2        20G  3.9G   17G   20% /
devtmpfs        978M     0  978M    0% /dev
tmpfs           993M     0  993M    0% /dev/shm
tmpfs           993M   18M  975M    2% /run
tmpfs           993M     0  993M    0% /sys/fs/cgroup
/dev/sda3        10G   37M   10G    1% /home
/dev/sda1       6.0G  158M  5.9G    3% /boot
tmpfs           199M  4.0K  199M    1% /run/user/42
tmpfs           199M   48K  199M    1% /run/user/0
/dev/sr0        4.3G  4.3G     0  100% /mnt

[root@node1 opt]#yum install gcc gcc-c++ make -y

6.5 编译安装node组件依赖包

##耗时比较长20分钟左右

[root@localhost opt]# cd /opt
[root@node1 opt]# tar zxvf node-v8.2.1.tar.gz
[root@node1 opt]#cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure 
[root@node1 node-v8.2.1]# make -j 3
[root@node1 node-v8.2.1]# make install

6.6 安装phantomjs 前端框架

上传软件包到/usr/local/src/

[root@node1 node-v8.2.1]#cd /usr/local/src/
[root@node1 src]#rz -E
rz waiting to receive.
[root@node1 src]#ls
phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]#tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node1 src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@node1 bin]# cp phantomjs /usr/local/bin

6.7 安装elasticsearch-head 数据可视化工具

[root@node1 bin]# cd /usr/local/src/
[root@node1 src]#rz -E
rz waiting to receive.
[root@node1 src]# tar zxvf elasticsearch-head.tar.gz
[root@node1 src]# cd elasticsearch-head/
[root@node1 elasticsearch-head]# npm install

6.8 修改主配置文件

[root@node1 ~]# cd ~
[root@node1 ~]# vi /etc/elasticsearch/elasticsearch.yml   ####下面配置文件，插末尾##
http.cors.enabled: true   ##开启跨域访问支持，默认为false
http.cors.allow-origin: "*"  ## 跨域访问允许的域名地址
[root@node1 ~]# systemctl restart elasticsearch

6.9 启动elasticsearch-head 启动服务器

[root@node1 elasticsearch-head]#cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]#npm run start &
[1] 92344
[root@node1 elasticsearch-head]#
> [email protected] start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

[root@node1 elasticsearch-head]#netstat -lnupt | grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      92354/grunt         
[root@node1 elasticsearch-head]#netstat -lnupt | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      89868/java

在这里插入图片描述

6.10 编译安装node组件依赖包

登录192.168.238.20 node2主机
上传node-v8.2.1.tar.gz到/opt
耗时比较长20分钟左右

[root@node2 ~]#cd /opt/
[root@node2 opt]#rz -E
rz waiting to receive.
[root@node2 opt]#ls
elasticsearch-5.5.0.rpm  jdk-8u91-linux-x64.tar.gz  node-v8.2.1.tar.gz  rh
[root@node2 opt]#df -h
文件系统        容量  已用  可用 已用% 挂载点
/dev/sda2        20G  3.9G   17G   20% /
devtmpfs        978M     0  978M    0% /dev
tmpfs           993M     0  993M    0% /dev/shm
tmpfs           993M   18M  975M    2% /run
tmpfs           993M     0  993M    0% /sys/fs/cgroup
/dev/sda3        10G   37M   10G    1% /home
/dev/sda1       6.0G  158M  5.9G    3% /boot
tmpfs           199M   44K  199M    1% /run/user/0
/dev/sr0        4.3G  4.3G     0  100% /mnt
[root@node2 opt]#yum install gcc gcc-c++ make -y
[root@node2 opt]#tar zxvf node-v8.2.1.tar.gz
[root@node2 opt]# cd node-v8.2.1/
[root@node2 node-v8.2.1]# ./configure 
[root@node2 node-v8.2.1]# make -j 3
[root@node2 node-v8.2.1]# make install

6.11 安装phantomjs

上传软件包到/usr/local/src/

[root@node2 node-v8.2.1]#cd /usr/local/src/
[root@node2src]#rz -E
rz waiting to receive.
[root@node2 src]#ls
phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node2 src]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@node2 src]# cd phantomjs-2.1.1-linux-x86_64/bin
[root@node2 bin]# cp phantomjs /usr/local/bin

6.12 安装elasticsearch-head

[root@node2 bin]# cd /usr/local/src/
[root@node2 src]#rz -E
rz waiting to receive.
[root@node2 src]# tar xzvf elasticsearch-head.tar.gz
[root@node2 src]# cd elasticsearch-head/
[root@node2 elasticsearch-head]# npm install

6.13 修改主配置文件

[root@node2 ~]# cd ~
[root@node2 ~]# vi /etc/elasticsearch/elasticsearch.yml   ####下面配置文件，插末尾##
http.cors.enabled: true   ##开启跨域访问支持，默认为false
http.cors.allow-origin: "*"  ## 跨域访问允许的域名地址
[root@node2 ~]# systemctl restart elasticsearch

6.14 启动elasticsearch-head 启动服务器

[root@node2 ~]#cd /usr/local/src/elasticsearch-head/
[root@node2 elasticsearch-head]#npm run start &    		####切换到后台运行
[1] 91599
[root@node2 elasticsearch-head]#
> [email protected] start /usr/local/src/elasticsearch-head
> grunt server

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

[root@node2 elasticsearch-head]#netstat -lnupt |grep 9100
tcp        0      0 0.0.0.0:9100            0.0.0.0:*               LISTEN      91609/grunt         
[root@node2 elasticsearch-head]#netstat -lnupt |grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      89014/java

在这里插入图片描述

真机上打开浏览器输入http://192.168.238.10:9100/ 可以看见群集很健康是绿色

在Elasticsearch 后面的栏目中输入http://192.168.238.10:9200

然后点 连接 会发现：集群健康值: green (0 of 0)
在这里插入图片描述

真机上打开浏览器输入http://192.168.238.20:9100/ 可以看见群集很健康是绿色

在Elasticsearch 后面的栏目中输入http://192.168.238.20:9200

然后点 连接 会发现：集群健康值: green (0 of 0)
在这里插入图片描述

登录192.168.238.10 node1主机
索引为index-demo，类型为test，可以看到成功创建

curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
{
    
    
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    
    
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "created" : true
}

在192.168.238.1
打开浏览器输入http://192.168.238.10:9100/ 查看索引信息
在这里插入图片描述

●上面图可以看见索引默认被分片5个，并且有一个副本

点击 数据浏览 会发现在node1上创建的索引为index-demo,类型为test, 相关的信息
在这里插入图片描述

七、安装logstash并做一些日志搜集输出到elasticsearch中

登录主机192.168.238.30

7.1 部署logstash环境并对接

关闭防火墙关闭核心防护

systemctl stop firewalld
setenforce 0
systemctl disable firewalld

在这里插入图片描述

1、更改主机名

hostnamectl set-hostname apache
bash

2、安装Apahce服务（httpd）

yum -y install httpd
systemctl start httpd

在这里插入图片描述

3、安装Java环境

java -version        ###如果没有装 安装yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

在这里插入图片描述

4、安装logstash
上传logstash-5.5.1.rpm到/opt目录下

cd /opt
[root@localhost opt]#rz -E
rz waiting to receive.

rpm -ivh logstash-5.5.1.rpm                                      #安装logstash
systemctl start logstash.service                                 #启动logstash
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/         	 #建立logstash软连接

在这里插入图片描述

5、做对接测试
查看logstash（Apache）与elasticsearch（node）功能是否正常，做对接测试

Logstash这个命令测试
字段描述解释

●	-f  通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
●	-e  后面跟着字符串 该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出）
●	-t  测试配置文件是否正确，然后退出

6、输入采用标准输入 输出采用标准输出—登录192.168.238.30 在Apache服务器上

logstash -e 'input { stdin{} } output { stdout{} }'
。。。。。。。。。。省略。。。。。。。。
10:08:54.060 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
2018-10-12T02:08:54.116Z apache 
10:08:54.164 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {
    
    :port=>9600}
www.baidu.com                 ####需要输入www.baidu.com
2018-10-12T02:10:11.313Z apache www.baidu.com
www.sina.com.cn                                     ####需要输入www.sina.com.cn
2018-10-12T02:10:29.778Z apache www.sina.com.cn

在这里插入图片描述

7、使用rubydebug显示详细输出，codec为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
。。。。。。。。省略。。。。。。。。。
10:15:07.665 [[main]-pipeline-manager] INFO  logstash.pipeline - Starting pipeline {
    
    "id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
The stdin plugin is now waiting for input:
10:15:07.693 [[main]-pipeline-manager] INFO  logstash.pipeline - Pipeline main started
10:15:07.804 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {
    
    :port=>9600}
www.baidu.com
{
    
    
    "@timestamp" => 2018-10-12T02:15:39.136Z,
      "@version" => "1",
          "host" => "apache",
       "message" => "www.baidu.com"
}

在这里插入图片描述

7.2 使用logstash将信息写入elasticsearch中

输入 输出 对接

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.238.10:9200"] } }'
。。。。。。。。省略。。。。。。。
The stdin plugin is now waiting for input:
10:40:06.558 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {
    
    :port=>9600}
www.baidu.com                    ###输入内容
www.sina.com.cn                   ###输入内容
www.google.com.cn                ###输入内容

8、登录192.168.100.1 真机
打开浏览器 输入http://192.168.238.10:9100/ 查看索引信息###
多出 logstash-2019.04.16
在这里插入图片描述
点击数浏览查看响应的内容
在这里插入图片描述

登录192.168.238.30 Apache
主机 做对接配置
logstash配置文件
Logstash配置文件主要由三部分组成：input、output、filter（根据需要）

chmod o+r /var/log/messages
ll /var/log/messages
-rw----r--. 1 root root 572555 4月  16 23:50 /var/log/messages

在这里插入图片描述

7.3 配置文件中定义的是收集系统日志（system）

vi /etc/logstash/conf.d/system.conf 
input {
    
    
       file{
    
    
        path => "/var/log/messages"
        type => "system"
        start_position => "beginning"
        }
      }
output {
    
    
        elasticsearch {
    
    
          hosts => ["192.168.238.10:9200"]
          index => "system-%{+YYYY.MM.dd}"
          }
        }

systemctl restart logstash.service

在这里插入图片描述

登录192.168.238.1 真机
打开浏览器 输入http://192.168.238.10:9100/ 查看索引信息

多出 system-2019.04.16
在这里插入图片描述
在这里插入图片描述

登录192.168.238.10 node1主机

7.4 在node1主机安装kibana

上传kibana-5.5.1-x86_64.rpm 到/usr/local/src目录

cd /usr/local/src/
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak
vi kibana.yml
2/ server.port: 5601                #### kibana打开的端口
7/ server.host: "0.0.0.0"           ####kibana侦听的地址
21/ elasticsearch.url: "http://192.168.238.10:9200"             ###和elasticsearch建立联系
30/ kibana.index: ".kibana"              ####在elasticsearch中添加.kibana索引
systemctl start kibana.service    ###启动kibana服务
systemctl enable kibana.service   ###开机启动kibana服务

在这里插入图片描述

登录192.168.100.1真机
使用浏览器输入192.168.238.10:5601
首次登录创建一个索引 名字：system-* ##这是对接系统日志文件
Index name or pattern ###下面输入system-*

然后点最下面的出面的create 按钮创建

在这里插入图片描述

然后点最左上角的Discover按钮 会发现system-*信息

然后点下面的host旁边的add 会发现右面的图只有 Time 和host 选项了 这个比较友好
在这里插入图片描述

在这里插入图片描述

7.5 对接Apache主机的Apache 日志文件（访问的、错误的）

cd /etc/logstash/conf.d/
touch apache_log.conf
vi apache_log.conf
input {
file{
path => “/etc/httpd/logs/access_log”
type => “access”
start_position => “beginning”
}
file{
path => “/etc/httpd/logs/error_log”
type => “error”
start_position => “beginning”
}

  }

output {
if [type] == “access” {
elasticsearch {
hosts => [“192.168.100.41:9200”]
index => “apache_access-%{+YYYY.MM.dd}”
}
}
if [type] == “error” {
elasticsearch {
hosts => [“192.168.100.41:9200”]
index => “apache_error-%{+YYYY.MM.dd}”
}
}
}

/usr/share/logstash/bin/logstash -f apache_log.conf
在这里插入图片描述在这里插入图片描述

登录192.168.238.1 node1主机
打开输入http://192.168.238.30
打开浏览器 输入http://192.168.238.10:9100/ 查看索引信息###
能发现
apache_error-2019.04.16 apache_access-2019.04.16
在这里插入图片描述

打开浏览器 输入http://192.168.238.10:5601
点击左下角有个management选项—index patterns—create index pattern
分别创建apache_error-* 和 apache_access-* 的索引
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/IvyXYW/article/details/114297318
今日推荐
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
Java自定义时间格式
同步整形电路
在开发中最最最常用的字符串的属性大集合
Linux 查看端口占用并杀掉
Java基础四：ArrayList
多线程之死锁就是这么简单
mysql 基础命令集
awk 命令详解
Centos6.3编译安装nginx+php步骤
OCR （Optical Character Recognition，光学字符识别）
每日归档
更多
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022