Elasticsearch

1、Elastic Stack简介
2、Elasticsearch
- 2.1、简介
- 2.2、安装
- 2.3、基本概念
- 2.4、RESTful API
3、核心详解
- 3.1、文档
4、集群搭建
- 4.1、集群节点
- 4.2、搭建集群
- 4.3、分片和副本
- 4.4、故障转移
- 4.5、分布式文档
————分割————
1、Nginx日志分析系统
- 1.1、项目需求
- 1.2、业务流程
- Beats
2、Filebeat（文本日志）
- 2.1、架构
- 2.2、部署与运行
- 2.3、读取文件
- 2.4、自定义字段
- 2.5、输出到Elasticsearch
- 2.6、Filebeat工作原理
- 2.7、读取Nginx日志文件
- 2.8 Module
- - 2.8.1、nginx module配置
  - 2.8.2、配置filebeat
3、Metricbeat（内存，IO）
- 3.1、Metricbeat组成
- 3.2、部署与收集系统指标
- 3.3、Module
- 3.4、Nginx Module
- - 3.4.1、开启nginx的状态查询
  - 3.4.2、配置Nginx Module
4、Kibana
- 4.1、配置安装
- 4.2、功能说明
- 4.3、数据探索
- 4.4、Metricbeat 仪表盘
- 4.5、Nginx 指标仪表盘
- 4.6、Nginx 日志仪表盘
- 4.7、自定义图表
- 4.8、开发者工具
5、Logstash
- 5.1、简介
- 5.2 部署安装
- 5.3、配置详解
- 5.4、读取自定义日志
6、综合练习
- 6.1、流程说明
- 6.2、Filebeat
- 6.4、Logstash
- 6.5、Kibana

ElasticStack 是一系列开源产品的合集，包括 Elasticsearch、Kibana、Logstash 以及 Beats 等，能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。

Logstash主要是⽤来⽇志的搜集、分析、过滤⽇志的⼯具。
Kibana是⼀个优秀的前端⽇志展示框架。
Kafka数据缓冲队列。
Filebeat⾪属于Beats,轻量级数据收集引擎。

1、Elastic Stack简介

ELK实际上ELK是三款软件的简称，分别是Elasticsearch、
Logstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。所以说，ELK是旧的称呼，ELKB也不好（防止以后越来越多新技术），Elastic Stack是新的名字。

全系的Elastic Stack技术栈包括：
在这里插入图片描述

Elasticsearch
Elasticsearch 基于java，是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引
副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash
Logstash 基于java，是一个开源的用于收集,分析和存储日志的工具。

Kibana
Kibana 基于nodejs，也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的
Web 界面，可以汇总、分析和搜索重要数据日志。

Beats
Beats是elastic公司开源的一款采集系统监控数据的代理agent，是在被监控服务器上以客户端形式运行的数据收集器的统称，可以直接把数据发送给Elasticsearch或者通过Logstash发送给Elasticsearch，然后进行后续的数据分析活
动。

Beats由如下组成:

Packetbeat：是一个网络数据包分析器，用于监控、收集网络流量信息，Packetbeat嗅探服务器之间的流量，解析应用层协议，并关联到消息的处理，其支持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议；
Filebeat：用于监控、收集服务器日志文件，其已取代 logstash forwarder；
Metricbeat：可定期获取外部系统的监控指标信息，其可以监控、收集 Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper等服务；
Winlogbeat：用于监控、收集Windows系统的日志信息；

2、Elasticsearch

2.1、简介

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。

官网：https://www.elastic.co/cn/products/elasticsearch

在这里插入图片描述

2.2、安装

2.2.1、版本说明

Elasticsearch的发展是非常快速的，所以在ES5.0之前，ELK的各个版本都不统一，出现了版本号混乱的状态，所以从5.0开始，所有Elastic Stack中的项目全部统一版本号。我们将基于6.5.4这一版本进行学习。

2.2.2、下载

地址：https://www.elastic.co/cn/downloads/elasticsearch

2.2.3、单机版安装

#创建elsearch用户，Elasticsearch不支持root用户运行 
useradd elsearch 
mkdir -p /itcast/es
chown elsearch:elsearch /itcast/ -R

#解压安装包 
su - elsearch
tar -xvf elasticsearch-6.5.4.tar.gz -C /itcast/es/

#修改配置文件 
cd /itcast/es/elasticsearch-6.5.4
vim config/elasticsearch.yml 
network.host: 0.0.0.0 

#设置ip地址，任意网络均可访问 
#说明：在Elasticsearch中如果，network.host不是localhost或者127.0.0.1的话，
#就会认为是生产环境， 会对环境的要求比较高，我们的测试环境不一定能够满足，一般情况下需要修改2处配置
如下： 
1：修改jvm启动参数 
vim config/jvm.options 
-Xms128m #根据自己机器情况修改 
-Xmx128m 
2：一个进程在VMAs(虚拟内存区域)创建内存映射最大数量 
vim /etc/sysctl.conf 
vm.max_map_count=655360 

sysctl -p #配置生效


#启动ES服务 
su - elsearch 
cd bin 
./elasticsearch 或 ./elasticsearch -d #后台启动

[2020-10-18T09:33:12,433][INFO ][o.e.c.m.MetaDataIndexTemplateService] [ewK7vx-] adding template [.monitoring-alerts] for index patterns [.monitoring-alerts-6]
[2020-10-18T09:33:12,459][INFO ][o.e.c.m.MetaDataIndexTemplateService] [ewK7vx-] adding template [.monitoring-kibana] for index patterns [.monitoring-kibana-6-*]
[2020-10-18T09:33:12,576][INFO ][o.e.l.LicenseService     ] [ewK7vx-] license [a3dce76d-a983-450a-93ee-29e98cae67cd] mode [basic] - valid

浏览器访问得到如下信息，代表成功了
IP地址:9200
{
    
    
  "name" : "ewK7vx-",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "jZepGMPTQXGCeqQiBeKwVQ",
  "version" : {
    
    
    "number" : "6.5.4",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "d2ef93d",
    "build_date" : "2018-12-17T21:17:40.758843Z",
    "build_snapshot" : false,
    "lucene_version" : "7.5.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

操作过程遇到could not find java; set JAVA_HOME or ensure java is in PATH
linux安装java环境

一、配置JDK
wget https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gz   //解压
tar -zxvf jdk-8u201-linux-x64.tar.gz  //移动文件夹
mv jdk1.8.0_201 /usr/local/jdk1.8/

1.配置环境变量
vim /etc/profile
按下insert键，然后移动到最后一行，添加如下语句
export JAVA_HOME=/usr/local/jdk1.8/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

2.追加完成后更新配置
source /etc/profile

3.查看是否安装成功
java -version

4.创建软链接，环境变量
ln -s /usr/local/jdk1.8/bin/java /usr/bin/java

操作过程遇到ERROR: [1] bootstrap checks failed
[1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]

记住操作系统配置后，要重新登录或者重启

方案一：
vim /etc/security/limits.conf  在文件末尾修改
* soft nofile 65536
* hard nofile 65536
 其中*表示所有用户  nofile表示最大文件句柄数,表示能够打开的最大文件数目

方案二：
ulimit -Hn
ulimit -Hn 65536
ulimit -Hn

停止Elasticsearch
jps 查看Elasticsearch进程
kill xxx

2.2.4、elasticsearch-head

由于ES官方并没有为ES提供界面管理工具，仅仅是提供了后台的服务。elasticsearch-head是一个为ES开发的一个页
面客户端工具，其源码托管于GitHub，地址为：https://github.com/mobz/elasticsearch-head
head提供了4种安装方式：
源码安装，通过npm run start启动（不推荐）
通过docker安装（推荐）
通过chrome插件安装（推荐）
通过ES的plugin方式安装（不推荐）

通过docker安装

#拉取镜像 
docker pull mobz/elasticsearch-head:5 
#创建容器 
docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5 
#启动容器 
docker start elasticsearch-head

通过chrome插件的方式安装
打开chrome的应用商店，即可安装https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmec
olpfloofpjologoblkegm

通过浏览器访问 IP:9100
注意：
由于前后端分离开发，所以会存在跨域问题，需要在服务端做CORS的配置，如下：(忽略)

vim elasticsearch.yml
http.cors.enabled: true http.cors.allow-origin: "*"

在这里插入图片描述

2.3、基本概念

索引

索引（index）是Elasticsearch对逻辑数据的逻辑存储，所以它可以分为更小的部分。
可以把索引看成关系型数据库的表，索引的结构是为快速有效的全文索引准备的，特别是它不存储原始值。
Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上，每个索引有一或多个分片（shard），每个分片可以有多个副本（replica）。

文档

存储在Elasticsearch中的主要实体叫文档（document）。用关系型数据库来类比的话，一个文档相当于数据库表中的一行记录。
Elasticsearch和MongoDB中的文档类似，都可以有不同的结构，但Elasticsearch的文档中，相同字段必须有相同类型。
文档由多个字段组成，每个字段可能多次出现在一个文档里，这样的字段叫多值字段（multivalued）。
每个字段的类型，可以是文本、数值、日期等。字段类型也可以是复杂类型，一个字段包含其他子文档或者数组。

映射

所有文档写进索引之前都会先进行分析，如何将输入的文本分割为词条、哪些词条又会被过滤，这种行为叫做映射（mapping）。一般由用户自己定义规则。

文档类型

在Elasticsearch中，一个索引对象可以存储很多不同用途的对象。例如，一个博客应用程序可以保存文章和评论。
每个文档可以有不同的结构。
不同的文档类型不能为相同的属性设置不同的类型（即要相同）。例如，在同一索引中的所有文档类型中，一个叫title的字段必须具有相同的类型。

2.4、RESTful API

在Elasticsearch中，提供了功能丰富的RESTful API的操作，包括基本的CRUD、创建索引、删除索引等操作。

2.4.1、创建非结构化索引

在Lucene中，创建索引是需要定义字段名称以及字段的类型的，在Elasticsearch中提供了非结构化的索引，就是不需要创建索引结构，即可写入数据到索引中，实际上在Elasticsearch底层会进行结构化操作，此操作对用户是透明的。

说明：非结构化的索引，不需要事先创建，直接插入数据默认创建索引

创建空索引：
PUT请求

PUT /haoke

{
    
    
	"settings": {
    
    
		"index": {
    
    
			"number_of_shards": "5",
			"number_of_replicas": "1"
		}
	}
}

#删除索引
DELETE /haoke
{
    
    
	"acknowledged":true
}

打开Restful测试工具，输入url，输入put请求参数
浏览器:9200/索引库名称
http://120.76.63.10:9200/haoke

操作过程中遇到的错误（原来我是json格式弄错了，PUT /haoke都放进去了，第一次接触。诶，搞了一小时）
not_x_content_exception
Compressor detection can only be called on some xcontent bytes or compressed

{
    
    "error":{
    
    "root_cause":[{
    
    "type":"mapper_parsing_exception","reason":"failed to parse"}],"type":"mapper_parsing_exception","reason":"failed to parse","caused_by":{
    
    "type":"not_x_content_exception","reason":"Compressor detection can only be called on some xcontent bytes or compressed xcontent bytes"}},"status":400}

org.elasticsearch.common.compress.NotXContentException: Compressor detection can only be called on some xcontent bytes or compressed xcontent bytes

在线JSON校验格式工具
https://www.bejson.com/

2.4.2、插入数据

URL规则：
POST /{索引}/{类型}/{id}
id是文档标识符

POST /haoke/user/1001

#数据
{
    
    
  "id":1001,
  "name":"张三",
  "age":20,
  "sex":"男"
}

#回应
{
    
    
	"_index": "haoke",
	"_type": "user",
	"_id": "1001",
	"_version": 1,
	"result": "created",
	"_shards": {
    
    
		"total": 2,
		"successful": 1,
		"failed": 0
	},
	"_seq_no": 0,
	"_primary_term": 1
}

在这里插入图片描述

不指定id插入数据（自动生成id）：

POST /haoke/user

#数据
{
    
    
	"id": 1002,
	"name": "李四",
	"age": 21,
	"sex": "女"
}

2.4.3、更新数据

在Elasticsearch中，文档数据是不为修改的，但是可以通过覆盖的方式进行更新。

PUT /haoke/user/1001 

{
    
     
  "id":1001, 
  "name":"张三", 
  "age":21, 
  "sex":"女" 
}

在这里插入图片描述

局部更新
前面不是说，文档数据不能更新吗？其实是这样的：
在内部，依然会查询到这个文档数据，然后进行覆盖操作，步骤如下：

从旧文档中检索JSON
修改它
删除旧文档
索引新文档
doc

POST /haoke/user/1001/_update 

{
    
    
	"doc": {
    
    
		"age": 23
	}
}

在这里插入图片描述

2.4.4、删除数据

在Elasticsearch中，删除文档数据，只需要发起DELETE请求即可

DELETE /haoke/user/1001

返回的信息中需要注意的是，result表示已经删除，version也更加了。
在这里插入图片描述

如果删除一条不存在的数据，会响应404：
在这里插入图片描述

说明：
删除一个文档也不会立即从磁盘上移除，它只是被标记成已删除。Elasticsearch将会在你之后添加更多索引的
时候才会在后台进行删除内容的清理。

2.4.5、搜索数据

根据id搜索数据

GET /haoke/user/plk7OnUBJFa3OVT9hqdH
http://10.0.100.132:9200/haoke/user/plk7OnUBJFa3OVT9hqdH

#返回的数据如下
{
    
    
	"_index": "haoke",
	"_type": "user",
	"_id": "plk7OnUBJFa3OVT9hqdH",
	"_version": 1,
	"found": true,
	"_source": {
    
    
		"id": 1002,
		"name": "李四",
		"age": 21,
		"sex": "女"
	}
}

搜索全部数据

GET /haoke/user/_search

关键字搜素数据

#查询年龄等于21的用户    ?q=参数
GET /haoke/user/_search?q=age:21

结果
在这里插入图片描述

2.4.6、DSL搜索

Elasticsearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。
DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现。

POST /haoke/user/_search

#请求体 
{
    
    
	"query": {
    
    
		"match": {
    
     # match只是查询的一种 
			"age": 21
		}
	}
}

实现：查询年龄大于30岁的男性用户。
插入数据

POST /haoke/user

#数据
{
    
    
  "id":1001,
  "name":"张三",
  "age":20,
  "sex":"男"
}

在这里插入图片描述
查询数据

POST /haoke/user/_search 

#请求数据 
{
    
    
	"query": {
    
    
		"bool": {
    
    
			"filter": {
    
     # 过滤
				"range": {
    
    
					"age": {
    
    
						"gt": 30
					}
				}
			},
			"must": {
    
     # 必须
				"match": {
    
    
					"sex": "男"
				}
			}
		}
	}
}

在这里插入图片描述

全局搜索

POST /haoke/user/_search 
#请求数据 
{
    
    
	"query": {
    
    
		"match": {
    
    
			"name": "张三 李四"
		}
	}
}

在这里插入图片描述

2.4.7、高亮显示

POST /haoke/user/_search 
{
    
    
	"query": {
    
    
		"match": {
    
    
			"name": "张三 李四"
		}
	},
	"highlight": {
    
    
		"fields": {
    
    
			"name": {
    
    }
		}
	}
}

在这里插入图片描述

2.4.8、聚合

在Elasticsearch中，支持聚合操作，类似SQL中的group by操作。

POST /haoke/user/_search

{
    
    
	"aggs": {
    
    
		"all_interests": {
    
    
			"terms": {
    
    
				"field": "age"
			}
		}
	}
}

在这里插入图片描述

从结果可以看出，年龄30的有2条数据，20的有一条，40的一条。

3、核心详解

3.1、文档

在Elasticsearch中，文档以JSON格式进行存储，可以是复杂的结构，如：

{
    
    
	"_index": "haoke",
	"_type": "user",
	"_id": "1005",
	"_version": 1,
	"_score": 1,
	"_source": {
    
    
		"id": 1005,
		"name": "孙七",
		"age": 37,
		"sex": "女",
		"card": {
    
    
			"card_number": "123456789"
		}
	}
}

其中，card是一个复杂对象，嵌套的Card对象。

元数据（metadata）
一个文档不只有数据。它还包含了元数据(metadata)——关于文档的信息。三个必须的元数据节点是：
在这里插入图片描述

在这里插入图片描述

4、中文词
5、全文搜索
6、Elasticsearch集群
7、java客户端

文档地址（自个儿看）
链接：https://pan.baidu.com/s/12yqB5O_7hgzUzq8TaGLp6w
提取码：vno5
复制这段内容后打开百度网盘手机App，操作更方便哦

4、集群搭建

P28-P34
ELasticsearch的集群是由多个节点组成的，通过cluster.name设置集群名称，并且用于区分其它的集群，每个节点通过node.name指定节点的名称。

4.1、集群节点

在Elasticsearch中，节点的类型主要有4种：

master节点
配置文件中node.master属性为true(默认为true)，就有资格被选为master节点。
master节点用于控制整个集群的操作。比如创建或删除索引，管理其它非master节点等。
data节点
配置文件中node.data属性为true(默认为true)，就有资格被设置成data节点。
data节点主要用于执行数据相关的操作。比如文档的CRUD。
客户端节点
配置文件中node.master属性和node.data属性均为false。
该节点不能作为master节点，也不能作为data节点。
可以作为客户端节点，用于响应用户的请求，把请求转发到其他节点（相当于代理）
部落节点
当一个节点配置tribe.*的时候，它是一个特殊的客户端，它可以连接多个集群，在所有连接的集群上执行搜索和其他操作。

4.2、搭建集群

#启动3个虚拟机，分别在3台虚拟机上部署安装Elasticsearch 
过程看上面  itcast所属组是 elsearch

# 搭建集群
[elsearch@localhost es]$ mkdir /itcast/es-cluster 
[elsearch@localhost es]$ cp /itcast/es/elasticsearch-6.5.4/ /itcast/es-cluster/ -R 
[elsearch@localhost es]$ cd /itcast/es-cluster/elasticsearch-6.5.4/data
[elsearch@localhost data]$ rm -rf *  删除数据
[elsearch@localhost es]$ cd /itcast/es-cluster/elasticsearch-6.5.4/logs
[elsearch@localhost logs]$ rm -rf *  删除日志

#分发到其它机器 
[elsearch@localhost es]$ cd /itcast/
[elsearch@localhost es]$ scp -r es-cluster [email protected]:/itcast

# 集群配置
cd /itcast/es-cluster/elasticsearch-6.5.4/
vim elasticsearch.yml

#node01的配置： 
cluster.name: es-itcast-cluster 
node.name: node01 
node.master: true 
node.data: true 
network.host: 0.0.0.0 
http.port: 9200 
discovery.zen.ping.unicast.hosts: ["192.168.40.133","192.168.40.134","192.168.40.135"]  #发现集群的广播地址 discovery.zen.minimum_master_nodes: 2  # 表示至少有两个同意A主节点才能成为主节点
http.cors.enabled: true   # 跨域
http.cors.allow-origin: "*"

#node02的配置： 
cluster.name: es-itcast-cluster 
node.name: node02 
node.master: true
node.data: true 
network.host: 0.0.0.0 
http.port: 9200 
discovery.zen.ping.unicast.hosts: ["192.168.40.133","192.168.40.134","192.168.40.135"] 
discovery.zen.minimum_master_nodes: 2 
http.cors.enabled: true 
http.cors.allow-origin: "*"

#node03的配置： 
cluster.name: es-itcast-cluster 
node.name: node03 
node.master: true
node.data: true 
network.host: 0.0.0.0 
http.port: 9200 
discovery.zen.ping.unicast.hosts: ["192.168.40.133","192.168.40.134","192.168.40.135"]  discovery.zen.minimum_master_nodes: 2 
http.cors.enabled: true 
http.cors.allow-origin: "*"

#分别启动3个节点 
./elasticsearch

在这里插入图片描述

创建索引，粗线是主分片，细线是副本分片
在这里插入图片描述

查询集群状态：GET请求： http://IP地址:9200/_cluster/health
在这里插入图片描述

4.3、分片和副本

为了将数据添加到Elasticsearch，我们需要 索引(index) ——一个存储关联数据的地方。实际上，索引只是一个用来
指向一个或多个分片(shards)的“逻辑命名空间(logical namespace)”.

一个分片(shard)是一个最小级别“工作单元(worker unit)”,它只是保存了索引中所有数据的一部分。
我们需要知道是分片就是一个Lucene实例，并且它本身就是一个完整的搜索引擎。应用程序不会和它直接通
信。
分片可以是主分片(primary shard)或者是复制分片(replica shard)。
索引中的每个文档属于一个单独的主分片，所以主分片的数量决定了索引最多能存储多少数据。
复制分片只是主分片的一个副本，它可以防止硬件故障导致的数据丢失，同时可以提供读请求，比如搜索或者
从别的shard取回文档。
当索引创建完成的时候，主分片的数量就固定了，但是复制分片的数量可以随时调整。

4.4、故障转移

4.4.1、将data节点停止

在这里插入图片描述

将node02恢复：./node02/bin/elasticsearch
在这里插入图片描述

可以看到，node02恢复后，重新加入了集群，并且重新分配了节点信息。

4.4.2、将master节点停止

在这里插入图片描述

恢复node01节点：重启之后，发现node01可以正常加入到集群中，集群状态依然为绿色

4.4.3 特别说明

在这里插入图片描述

4.5、分布式文档

4.5.1、路由

在这里插入图片描述

4.5.2、文档的写操作

新建、索引和删除请求都是写(write)操作，它们必须在主分片上成功完成才能复制到相关的复制分片上。
在这里插入图片描述

下面我们罗列在主分片和复制分片上成功新建、索引或删除一个文档必要的顺序步骤：

客户端给 Node 1 发送新建、索引或删除请求。
节点使用文档的 _id 确定文档属于分片 0 。它转发请求到 Node 3 ，分片 0 位于这个节点上。
Node 3 在主分片上执行请求，如果成功，它转发请求到相应的位于 Node 1 和 Node 2 的复制节点上。当所有的复制节点报告成功， Node 3 报告成功到请求的节点，请求的节点再报告给客户端。客户端接收到成功响应的时候，文档的修改已经被应用于主分片和所有的复制分片。你的修改生效了。

4.5.3、搜索文档（单个文档）

文档能够从主分片或任意一个复制分片被检索。
在这里插入图片描述

4.5.4、全文搜索

对于全文搜索而言，文档可能分散在各个节点上，那么在分布式的情况下，如何搜索文档呢？
搜索，分为2个阶段，搜索（query）+取回（fetch）。

搜索
在这里插入图片描述

取回
在这里插入图片描述

————分割————

1、Nginx日志分析系统

1.1、项目需求

Nginx是一款非常优秀的web服务器，往往nginx服务会作为项目的访问入口，那么，nginx的性能保障就变得非常重要了，如果nginx的运行出现了问题就会对项目有较大的影响，所以，我们需要对nginx的运行有监控措施，实时掌握nginx的运行情况，那就 需要收集nginx的运行指标和分析nginx的运行日志 了。

1.2、业务流程

在这里插入图片描述

说明：

通过Beats采集Nginx的指标数据和日志数据
Beats采集到数据后发送到Elasticsearch中
Kibana读取数据进行分析
用户通过Kibana进行查看分析报表

nginx安装
https://www.cnblogs.com/kaerxifa/p/11533595.html

Beats

https://www.elastic.co/cn/products/beats
在这里插入图片描述

2、Filebeat（文本日志）

在这里插入图片描述

2.1、架构

用于监控、收集服务器日志文件.

在这里插入图片描述

2.2、部署与运行

下载（或使用资料中提供的安装包，版本为：filebeat-6.5.4）：https://www.elastic.co/downloads/beats
https://www.elastic.co/cn/downloads/past-releases/filebeat-6-5-4

mkdir /itcast/beats 
tar -xvf filebeat-6.5.4-linux-x86_64.tar.gz 
cd filebeat-6.5.4-linux-x86_64 

#创建如下配置文件 itcast.yml 
# input输入，标准输入stdin
# index.number_of_shards 是指索引要做多少个分片，只能在创建索引时指定，后期无法修改。
# output输出，输出到控制台。  美化+启用

filebeat.inputs: 
- type: stdin 
  enabled: true 
setup.template.settings: 
  index.number_of_shards: 3 
output.console: 
  pretty: true 
  enable: true 

#启动filebeat 
./filebeat -e -c itcast.yml 

#输入hello运行结果如下： 
hello

在这里插入图片描述

2.3、读取文件

#配置读取文件项 itcast-log.yml

filebeat.inputs: 
- type: log 
  enabled: true 
  paths: 
    - /itcast/beats/logs/*.log 
setup.template.settings: 
  index.number_of_shards: 3 
output.console: 
  pretty: true 
  enable: true

#启动filebeat
[root@localhost filebeat-6.5.4-linux-x86_64]# pwd
/itcast/beats/filebeat-6.5.4-linux-x86_64
[root@localhost filebeat-6.5.4-linux-x86_64]# ./filebeat -e -c itcast-log.yml

#/haoke/beats/logs下创建touch a.log文件，并输入如下内容
# vim a.log
# echo hello world > a.log


#观察filebeat输出
{
    
    

}

可以看出，已经检测到日志文件有更新，立刻就会读取到更新的内容，并且输出到控制台。
在这里插入图片描述

2.4、自定义字段

#配置读取文件项 itcast-log.yml

filebeat.inputs: 
- type: log 
  enabled: true 
  paths: 
    - /itcast/beats/logs/*.log 
  tags: ["web"] #添加自定义tag，便于后续的处理 
  fields: #添加自定义字段 
    from: itcast-im 
  fields_under_root: true #true为添加到根节点，false为添加到子节点中 
setup.template.settings: 
  index.number_of_shards: 3 
output.console: 
  pretty: true 
  enable: true 

#启动filebeat 
./filebeat -e -c itcast-log.yml 

#/itcast/beats/logs下创建a.log文件，并输入如下内容
123

#执行效果
在这里插入图片描述

2.5、输出到Elasticsearch

# itcast-log.yml

filebeat.inputs: 
- type: log 
  enabled: true 
  paths: 
    - /itcast/beats/logs/*.log 
  tags: ["haoke-im"] 
  fields: 
    from: haoke-im 
  fields_under_root: false 
setup.template.settings: 
  index.number_of_shards: 3 #指定索引的分区数 
output.elasticsearch: #指定ES的配置 
  hosts: ["10.0.100.132:9200"]


#启动filebeat 
./filebeat -e -c itcast-log.yml

#输入测试
echo 789 >> /itcast/beats/logs/a.log

在这里插入图片描述

2.6、Filebeat工作原理

Filebeat由两个主要组件组成：prospector 和 harvester。

harvester
负责读取单个文件的内容。
如果文件在读取时被删除或重命名，Filebeat将继续读取文件。
prospector
prospector 负责管理harvester并找到所有要读取的文件来源。
如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个harvester。
Filebeat目前支持两种prospector类型：log和stdin。
Filebeat如何保持文件的状态
Filebeat 保存每个文件的状态并经常将状态刷新到磁盘上的注册文件中。
该状态用于记住harvester正在读取的最后偏移量，并确保发送所有日志行。
如果输出（例如Elasticsearch或Logstash）无法访问，Filebeat会跟踪最后发送的行，并在输出再次可用时继续读取文件。
在Filebeat运行时，每个prospector内存中也会保存的文件状态信息，当重新启动Filebeat时，将使用注册文件的数据来重建文件状态，Filebeat将每个harvester在从保存的最后偏移量继续读取。
文件状态记录在data/registry文件中。

启动命令：

./filebeat -e -c itcast.yml 
./filebeat -e -c itcast.yml -d "publish" 

#参数说明 
-e: 输出到标准输出，默认输出到syslog和logs下 
-c: 指定配置文件 
-d: 输出debug信息

#测试： ./filebeat -e -c itcast-log.yml -d "publish"

2020-10-18T19:08:23.166+0800	DEBUG	[publish]	pipeline/processor.go:308	Publish event: {
    
    
  "@timestamp": "2020-10-18T11:08:23.164Z",
  "@metadata": {
    
    
    "beat": "filebeat",
    "type": "doc",
    "version": "6.5.4"
  },
  "source": "/itcast/beats/logs/a.log",
  "message": "456",
  "beat": {
    
    
    "version": "6.5.4",
    "name": "localhost.localdomain",
    "hostname": "localhost.localdomain"
  },
  "offset": 68,
  "tags": [
    "haoke-im"
  ],
  "prospector": {
    
    
    "type": "log"
  },
  "input": {
    
    
    "type": "log"
  },
  "fields": {
    
    
    "from": "haoke-im"
  },
  "host": {
    
    
    "name": "localhost.localdomain"
  }
}

2.7、读取Nginx日志文件

# itcast-nginx.yml 

filebeat.inputs: 
- type: log 
  enabled: true 
  paths: 
    - /var/log/nginx/*.log 
  tags: ["nginx"] 
setup.template.settings: 
  index.number_of_shards: 3 #指定索引的分区数 
output.elasticsearch: #指定ES的配置 
  hosts: ["10.0.100.132:9200"]

#启动 
./filebeat -e -c itcast-nginx.yml

在这里插入图片描述

浏览器访问一次，增加一条
在这里插入图片描述

可以看到，在message中已经获取到了nginx的日志，但是，内容并没有经过处理，只是读取到原数据，那么对于我们后期的操作是不利的，有办法解决吗？

2.8 Module

前面要想实现日志数据的读取以及处理都是自己手动配置的，其实，在Filebeat中，有大量的Module，可以简化我们的配置，直接就可以使用，如下：

./filebeat modules list

Enabled:

Disabled:
apache2
auditd
elasticsearch
haproxy
icinga
iis
kafka
kibana
logstash
mongodb
mysql
nginx
osquery
postgresql
redis
suricata
system
traefik

可以看到，内置了很多的module，但是都没有启用，如果需要启用需要进行enable操作：

./filebeat modules enable nginx #启动 
./filebeat modules disable nginx #禁用

./filebeat modules list

Enabled:
nginx

可以发现，nginx的module已经被启用。

2.8.1、nginx module配置

[root@localhost filebeat-6.5.4-linux-x86_64]# cd modules.d/
[root@localhost modules.d]# pwd
/itcast/beats/filebeat-6.5.4-linux-x86_64/modules.d
[root@localhost modules.d]# vim nginx.yml

- module: nginx
  # Access logs
  access:
    enabled: true
    var.paths: ["/var/log/nginx/access.log*"]
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths:

  # Error logs
  error:
    enabled: true
    var.paths: ["/var/log/nginx/error.log*"]
    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths:

2.8.2、配置filebeat

安装依赖（否则启动出错）
[elsearch@localhost bin]$ pwd
/itcast/es/elasticsearch-6.5.4/bin
[elsearch@localhost bin]$ ./elasticsearch-plugin install ingest-user-agent
[elsearch@localhost bin]$ /elasticsearch-plugin install ingest-geoip

# vim itcast-nginx.yml 

filebeat.inputs:
#- type: log 
#  enabled: true 
#  paths: 
#    - /var/log/nginx/*.log 
#  tags: ["nginx"] 
setup.template.settings:
  index.number_of_shards: 3 #指定索引的分区数 
output.elasticsearch: #指定ES的配置 
  hosts: ["10.0.100.132:9200"]
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false


#启动 
./filebeat -e -c itcast-nginx.yml

测试：访问nginx页面，查看elasticsearch，可以看到数据整理后的效果
（access：响应的状态码、remote_ip、请求method）
而不是直接一块message。

在这里插入图片描述

当然了，其他的Module的用法参加官方文档：
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-modules.html

3、Metricbeat（内存，IO）

在这里插入图片描述

定期收集操作系统或应用服务的指标数据
存储到Elasticsearch中，进行实时分析

3.1、Metricbeat组成

Metricbeat有2部分组成，一部分是Module，另一部分为Metricset。
Module：收集的对象，如：mysql、redis、nginx、操作系统等；
Metricset：收集指标的集合，如：cpu、memory、network等；
在这里插入图片描述

3.2、部署与收集系统指标

下载地址：https://www.elastic.co/cn/downloads/past-releases/metricbeat-6-5-4

tar -xvf metricbeat-6.5.4-linux-x86_64.tar.gz 
cd metricbeat-6.5.4-linux-x86_64 
vim metricbeat.yml

修改如下：
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["10.0.100.132:9200"]

#启动，默认配置文件就是metricbeat.yml
./metricbeat -e

在ELasticsearch中可以看到，系统的一些指标数据已经写入进去了：
在这里插入图片描述

在这里插入图片描述

system module配置：

[root@localhost modules.d]# pwd
/itcast/beats/metricbeat-6.5.4-linux-x86_64/modules.d
[root@localhost modules.d]# cat system.yml 
# Module: system
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/6.5/metricbeat-module-system.html

- module: system
  period: 10s
  metricsets:
    - cpu
    - load
    - memory
    - network
    - process
    - process_summary
    #- core
    #- diskio
    #- socket
  process.include_top_n:
    by_cpu: 5      # include top 5 processes by CPU
    by_memory: 5   # include top 5 processes by memory

- module: system
  period: 1m
  metricsets:
    - filesystem
    - fsstat
  processors:
  - drop_event.when.regexp:
      system.filesystem.mount_point: '^/(sys|cgroup|proc|dev|etc|host|lib)($|/)'

- module: system
  period: 15m
  metricsets:
    - uptime

#- module: system
#  period: 5m
#  metricsets:
#    - raid
#  raid.mount_point: '/'

3.3、Module

./metricbeat modules list #查看列表

Enabled: 
system #默认启用

3.4、Nginx Module

3.4.1、开启nginx的状态查询

在nginx中，需要开启状态查询，才能查询到指标数据。

#重新编译nginx 
./configure --prefix=/usr/local/nginx --with-http_stub_status_module 
make 
make install

#配置nginx 
vim nginx.conf
location /nginx-status {
    
     
    stub_status on; 
    access_log off; 
}

测试：
在这里插入图片描述

结果说明：

Active connections：正在处理的活动连接数
server accepts handled requests
第一个 server 表示Nginx启动到现在共处理了9个连接
第二个 accepts 表示Nginx启动到现在共成功创建 9 次握手
第三个 handled requests 表示总共处理了 21 次请求
请求丢失数 = 握手数 - 连接数 = 0，可以看出目前为止没有丢失请求
Reading: 0 Writing: 1 Waiting: 1
Reading：Nginx 读取到客户端的 Header 信息数
Writing：Nginx 返回给客户端 Header 信息数
Waiting：Nginx 已经处理完正在等候下一次请求指令的驻留链接（开启keep-alive的情况下，这个值等于
Active - (Reading+Writing)）

3.4.2、配置Nginx Module

#启用nginx module 
./metricbeat modules enable nginx 

#修改redis module配置 
vim modules.d/nginx.yml

# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/6.5/metricbeat-module-nginx.html

- module: nginx
  #metricsets:
  #  - stubstatus
  period: 10s

  # Nginx hosts
  hosts: ["http://10.0.100.132"]

  # Path to server status. Default server-status
  server_status_path: "server-status"

  #username: "user"
  #password: "secret"


#启动 
./metricbeat -e

测试：

可以看到，nginx的指标数据已经写入到了Elasticsearch。
更多的Module使用参见官方文档：
https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-modules.html

4、Kibana

在这里插入图片描述
Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。
官网：https://www.elastic.co/cn/products/kibana

4.1、配置安装

下载地址：https://www.elastic.co/cn/downloads/past-releases/kibana-6-5-4

#解压安装包 
tar -xvf kibana-6.5.4-linux-x86_64.tar.gz 

#修改配置文件 
cd kibana-6.5.4-linux-x86_64
vim config/kibana.yml 

server.host: "10.0.100.132" #对外暴露服务的地址 
elasticsearch.url: "http://10.0.100.132:9200" #配置Elasticsearch 

#启动 
./bin/kibana 

#通过浏览器进行访问 
http://10.0.100.132:5601/app/kibana

在这里插入图片描述

可以看到kibana页面，并且可以看到提示，导入数据到Kibana。

4.2、功能说明

在这里插入图片描述

4.3、数据探索

首先先添加索引信息：
在这里插入图片描述

即可查看索引数据：
在这里插入图片描述

4.4、Metricbeat 仪表盘

可以将Metricbeat的数据在Kibana中展示。

#修改metricbeat配置 
setup.kibana: 
  host: "10.0.100.132:5601" 

#安装仪表盘到Kibana 
./metricbeat setup --dashboards

即可在Kibana中看到仪表盘数据：
在这里插入图片描述

查看系统信息：
在这里插入图片描述

4.5、Nginx 指标仪表盘

在这里插入图片描述

4.6、Nginx 日志仪表盘

#修改配置文件 
[root@localhost beats]# cd filebeat-6.5.4-linux-x86_64/
[root@localhost filebeat-6.5.4-linux-x86_64]# vim itcast-nginx.yml 
filebeat.inputs:
setup.template.settings:
  index.number_of_shards: 3 #指定索引的分区数 
output.elasticsearch: #指定ES的配置 
  hosts: ["10.0.100.132:9200"]
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.kibana:
  host: "10.0.100.132:5601"


#安装仪表盘到kibana
./filebeat -c itcast-nginx.yml setup
 
 #启动filebeat
 ./filebeat -e -c itcast-nginx.yml

可以看到nginx的FileBeat的仪表盘了：
在这里插入图片描述

在这里插入图片描述

通过filebeat采集nginx日志，发送到Elasearch中，通过kibana展示

4.7、自定义图表

在Kibana中，也可以进行自定义图表，如制作柱形图：
在这里插入图片描述

在这里插入图片描述

将图表添加到自定义Dashboard中：
在这里插入图片描述

4.8、开发者工具

在Kibana中，为开发者的测试提供了便捷的工具使用，如下：
在这里插入图片描述

在这里插入图片描述

查询
在这里插入图片描述

5、Logstash

5.1、简介

在这里插入图片描述

5.2 部署安装

在这里插入图片描述

logstash：https://www.elastic.co/cn/downloads/past-releases/logstash-6-5-4

#检查jdk环境，要求jdk1.8+ 
java -version 

#解压安装包 
mkdir -p /itcast/logstash/logs	
cd /itcast/logstash/
tar -xvf logstash-6.5.4.tar.gz 

#第一个logstash示例 
cd /itcast/logstash/logstash-6.5.4
bin/logstash -e 'input { stdin { } } output { stdout {} }'

执行效果如下：
在这里插入图片描述

5.3、配置详解

Logstash的配置有三部分，如下：

input {
    
     #输入 
    stdin {
    
     ... } #标准输入 
}
filter {
    
     #过滤，对数据进行分割、截取等处理 
   ... 
}
output {
    
     #输出 
    stdout {
    
      ...  } #标准输出 
}

5.3.1、输入

采集各种样式、大小和来源的数据，数据往往以各种各样的形式，或分散或集中地存在于很多系统中。
Logstash 支持各种输入选择，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

5.3.2、过滤

实时解析和转换数据
数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它
们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

5.3.3、输出

Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。
在这里插入图片描述

5.4、读取自定义日志

前面我们通过Filebeat读取了nginx的日志，如果是自定义结构的日志，就需要读取处理后才能使用，所以，这个时
候就需要使用Logstash了，因为Logstash有着强大的处理能力，可以应对各种各样的场景。

5.4.1、日志结构

可以看到，日志中的内容是使用“|”进行分割的，使用，我们在处理的时候，也需要对数据做分割处理。

2020-10-19 09:11:21|ERROR|读取数据出错|参数：id=1002

5.4.2、编写配置文件

# mkdir -p /itcast/logstash/logs

#写日志到文件 
echo "2020-10-19 09:11:21|ERROR|读取数据出错|参数：id=1002" >> /itcast/logstash/logs/app.log

#vim itcast-pipeline.conf
input {
    
    
	file {
    
    
		path => "/itcast/logstash/logs/app.log"
		start_position => "beginning"
	}
}
filter {
    
    
	mutate {
    
    
		split => {
    
    
			"message" => "|"
		}
	}
}
output {
    
    
	stdout {
    
    
		codec => rubydebug
	}
}

5.4.3、启动测试

[root@localhost logstash-6.5.4]# pwd
/itcast/logstash/logstash-6.5.4

#启动 
[root@localhost logstash-6.5.4]# ./bin/logstash -f ./itcast-pipeline.conf

echo "2020-10-19 09:11:21|ERROR|读取数据出错|参数：id=1002" >> /itcast/logstash/logs/app.log

输出结果：
在这里插入图片描述

可以看到，数据已经被分割了。

5.4.4、输出到Elasticsearch

修改output

#vim itcast-pipeline.conf

input {
    
    
	file {
    
    
		path => "/itcast/logstash/logs/app.log"#
		type => "system"
		start_position => "beginning"
	}
}
filter {
    
    
	mutate {
    
    
		split => {
    
    
			"message" => "|"
		}
	}
}
output {
    
    
	elasticsearch {
    
    
		hosts => ["10.0.100.132:9200"]
	}
}



#启动 
./bin/logstash -f ./itcast-pipeline.conf


#写入数据 
echo "2020-10-19 09:11:21|ERROR|读取数据出错|参数：id=1003" >> /itcast/logstash/logs/app.log
echo "2020-10-20 09:11:21|ERROR|读取数据出错|参数：id=1004" >> /itcast/logstash/logs/app.log

在这里插入图片描述

6、综合练习

将前面所学习到的Elasticsearch + Logstash + Beats + Kibana整合起来做一个综合性的练习

itcast-dashboard-generate-1.0-SNAPSHOT.jar

6.1、流程说明

在这里插入图片描述

应用APP生产日志，用来记录用户的操作
[INFO] 2019-03-15 22:55:20 [cn.itcast.dashboard.Main] - DAU|5206|使用优惠券|2019-03-15
03:37:20
[INFO] 2019-03-15 22:55:21 [cn.itcast.dashboard.Main] - DAU|3880|浏览页面|2019-03-15 07:25:09
通过Filebeat读取日志文件中的内容，并且将内容发送给Logstash，原因是需要对内容做处理
Logstash接收到内容后，进行处理，如分割操作，然后将内容发送到Elasticsearch中
Kibana会读取Elasticsearch中的数据，并且在Kibana中进行设计Dashboard，最后进行展示

说明：日志格式、图表、Dashboard都是自定义的。

部署：

#打包成jar包，在linux上运行
java -jar itcast-dashboard-generate-1.0-SNAPSHOT.jar
#运行之后，就可以将日志写入到/itcast/logs/app.log文件中

APP代码：

package cn.itcast.dashboard;

import org.apache.commons.lang3.RandomUtils;
import org.joda.time.DateTime;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class Main {
    
    

    private static final Logger LOGGER = LoggerFactory.getLogger(Main.class);

    public static final String[] VISIT = new String[]{
    
    "浏览页面", "评论商品", "加入收藏", "加入购物车", "提交订单", "使用优惠券", "领取优惠券", "搜索", "查看订单"};

    public static void main(String[] args) throws Exception {
    
    
        while(true){
    
    
            Long sleep = RandomUtils.nextLong(200, 1000 * 5);
            Thread.sleep(sleep);
            Long maxUserId = 9999L;
            Long userId = RandomUtils.nextLong(1, maxUserId);
            String visit = VISIT[RandomUtils.nextInt(0, VISIT.length)];
            DateTime now = new DateTime();
            int maxHour = now.getHourOfDay();
            int maxMillis = now.getMinuteOfHour();
            int maxSeconds = now.getSecondOfMinute();
            String date = now.plusHours(-(RandomUtils.nextInt(0, maxHour)))
                    .plusMinutes(-(RandomUtils.nextInt(0, maxMillis)))
                    .plusSeconds(-(RandomUtils.nextInt(0, maxSeconds)))
                    .toString("yyyy-MM-dd HH:mm:ss");

            String result = "DAU|" + userId + "|" + visit + "|" + date;
            LOGGER.info(result);
        }

    }
}

6.2、Filebeat

在Filebeat部署logstash服务

#vim itcast-dashboard.yml
filebeat.inputs:
	- type: log
	enabled: true
	paths:
		- /itcast/logs/*.log # 读取日志文件
setup.template.settings:
	index.number_of_shards: 3
output.logstash:
	hosts: ["master:5044"]  # 指向logstash

#启动，先启动Logstash再启动filebeat
./filebeat -e -c itcast-dashboard.yml

6.4、Logstash

在这里插入图片描述

#vim itcast-dashboard.conf
input {
    
    
	beats {
    
    
		port => "5044"  # 从5044端口输入
	}
}
filter {
    
    
	mutate {
    
    
		split => {
    
    "message"=>"|"}  # 分割
	}
	mutate {
    
    
		add_field => {
    
     # 读取数据
		"userId" => "%{message[1]}"
		"visit" => "%{message[2]}"
		"date" => "%{message[3]}"
		}
	}
	mutate {
    
     # 转化格式
		convert => {
    
    
		"userId" => "integer"
		"visit" => "string"
		"date" => "string"
		}
	}
}
#output {
    
    
# stdout { codec => rubydebug }
#}
output {
    
    
	elasticsearch {
    
      # 输出到elasticsearch
		hosts => [ "master:9200","salve1:9200","salve2.135:9200","salve3.135:9200"]
	}
}


#启动
./bin/logstash -f itcast-dashboard.conf

6.5、Kibana

启动Kibana：

#启动
./bin/kibana
#通过浏览器进行访问
http://master:5601/app/kibana

添加Logstash索引到Kibana中：
在这里插入图片描述

6.5.1、时间间隔的柱形图

在这里插入图片描述

说明：x轴是时间，以天为单位，y轴是count数
保存：（my-dashboard-时间间隔的柱形图）

6.5.2、各个操作的饼图分布

在这里插入图片描述

通过上面数据的字段名获取得到。然后通过标签可以把visit去掉，更好的展示
在这里插入图片描述

统计各个操作的数量，形成饼图。
保存：（my-dashboard-各个操作的饼图）

6.5.3、数据表格

在这里插入图片描述

在数据探索中进行保存，并且保存，将各个操作的数据以表格的形式展现出来。
保存：（my-dashboard-表格）

6.5.4、制作Dashboard

在这里插入图片描述

上面的jar包木有。随便自己弄一下，掌握大概
在这里插入图片描述

Elastic Stack（ELK）从入门到实践

Elasticsearch

1、Elastic Stack简介

2、Elasticsearch

2.1、简介

2.2、安装

2.2.1、版本说明

2.2.2、下载

2.2.3、单机版安装

2.2.4、elasticsearch-head

2.3、基本概念

2.4、RESTful API

2.4.1、创建非结构化索引

2.4.2、插入数据

2.4.3、更新数据

2.4.4、删除数据

2.4.5、搜索数据

2.4.6、DSL搜索

2.4.7、高亮显示

2.4.8、聚合

3、核心详解

3.1、文档

4、集群搭建

4.1、集群节点

4.2、搭建集群

4.3、分片和副本

4.4、故障转移

4.4.1、将data节点停止

4.4.2、将master节点停止

4.4.3 特别说明

4.5、分布式文档

4.5.1、路由

4.5.2、文档的写操作

4.5.3、搜索文档（单个文档）

4.5.4、全文搜索

————分割————

1、Nginx日志分析系统

1.1、项目需求

1.2、业务流程

Beats

2、Filebeat（文本日志）

2.1、架构

2.2、部署与运行

2.3、读取文件

2.4、自定义字段

2.5、输出到Elasticsearch

2.6、Filebeat工作原理

2.7、读取Nginx日志文件

2.8 Module

2.8.1、nginx module配置

2.8.2、配置filebeat

3、Metricbeat（内存，IO）

3.1、Metricbeat组成

3.2、部署与收集系统指标

3.3、Module

3.4、Nginx Module

3.4.1、开启nginx的状态查询

3.4.2、配置Nginx Module

4、Kibana

4.1、配置安装

4.2、功能说明

4.3、数据探索

4.4、Metricbeat 仪表盘

4.5、Nginx 指标仪表盘

4.6、Nginx 日志仪表盘

4.7、自定义图表

4.8、开发者工具

5、Logstash

5.1、简介

5.2 部署安装

5.3、配置详解

5.3.1、输入

5.3.2、过滤

5.3.3、输出

5.4、读取自定义日志

5.4.1、日志结构

5.4.2、编写配置文件

5.4.3、启动测试

5.4.4、输出到Elasticsearch

6、综合练习