第三章 Beats 和 FileBeat 入门
第一节 Beats 的简介
官网 ：https://www.elastic.co/products/beats
1、官方定义 ：轻量级的数据传送者 -- Lightweight Data Shipper
Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为函数加以部署，然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能，Beats 还能将数据输送到 Logstash 进行转换和解析。
轻量型。 从源头采集。 简单明了。
2、种类 ：Filebeat 日志文件
Metricbeat 度量文件 --像操作系统 CUP数据、内存、磁盘、常用软件。（好处：可视化的分析、报警等功能）
Packetbeat ：网络数据 -- 抓包、分析服务器的网络传输情况
Winlogbeat ：Windows 数据
Heartbeat :健康检查
第二节 FileBeat 简介
处理流程 ：输入input 、处理filter 、 输出output
第三节 Filebeat 配置简介
一、input 配置
①、yaml语法
②、filebeat 其中的一个组成是 ：prospector ；在配置文件里就会有一个 prospectors的配置文件，而且 filebeat 不止有一个 prospector ，可以有多个；在yaml语法里，所以prospectors是数组的形式，数组的形式是由 “-”来实现的 。
每一个prospector 都有一个输入的类型 input_type ；他目前有两个类型 log 和stdin(标准输入---标准输入把日志文件传给filebeat，然后进行处理) ；
log 下会有一个 paths ,他也是一个数组的形式，所以也需要 ”-”来实现。
二、output 配置
有哪些output 对象？
Console ：标准输出 ；
Elasticsearch ；
Logstash ；
Kafka ；
Redis ；
File --把一个日志文件输出到另一个日志文件中 。
三、 Filebeat Filter 的配置简介
filebeat filter 的处理能力
①、input 时处理
include_lines : 达到某些条件的时候，读入这一行
exclude_lines ：达到某些条件的时候，不读入这一行
exclude_files：当文件名符合某些条件的时候，不读取这个文件
②、output 前处理 --Processor
drop_event ：读取到某一条，满足了某个条件，不输出
drop_fields ：读取到某一条，满足了某个条件，不输出这个字段
Decode_json_fields ：把这条数据里面符合json格式的字段，去做json的解析
Include_fields ：加入一些字段，或者是只想取数据里面的某一些字段例如：
①、把DBG 日志丢弃，不做存储
②、json字段的处理
第四节 Filebeat 高级使用简介
1、Filebeat + Elasticsearch Ingest Node : 原因：Filebeat 缺乏数据转换的能力
Elasticsearch Ingest Node ：
①、新增的node类型；
②、在数据写入es前对数据进行处理转换
③、pipeline api
2、Filebeat Module
①、对于社区常见需求进行配置封装增加易用性 ：
例如 Nginx 、Apache 、 MySQL 的日志
②、封装内容：
filebeat.yml配置、ingest node pipeline 配置、kibana dashboard第五节 Filebeat下载
官网下载 ：https://www.elastic.co/downloads/beats/filebeat
第六节 Packetbeat 简介
1、定义：
①、实时抓取网络包
②、自动解析应用层协议：ICMP（v4 and v6）、DNS、HTTP、MySQL、Redis......
③、Wireshark(抓包工具)2、Packetbeat 解析 HTTP 协议
解析 elasticsearch http 请求
