ElasticSearch 慕课网（三）

第四章 Logstash 入门

第一节 Logstash 简介

1、简介 data shipper （不是轻量级的，回避beats占用更多的资源，但是功能功能强大）

ETL的概念：Extract 对数据进行提取、Transform 转换、Load 对外的输出

2、定义：

logstash 是一个开源的，服务端的数据处理流，可以同时从多个数据源提取数据、转换数据、最后把数据放到你要存储的地方

3、处理流程

input：file 、Redis 、beats、kafka

filter ：
    ①、gork(表达式，简单理解为基于正则的，可以将非格式化数据转化成格式化数据的语法)、
    ②、mutate（可以对结构化的数数据的字段进行增删改查）、
    ③、drop、
    ④、date

output ：stdout 、elasticsearch 、Redis、kafka

第二节 Logstash 配置简介

1、处理流程 -- input 和 output 配置

2、处理流程 -- filter 配置

Grok :

基于正则表达式提供了丰富可重用的模式（pattern）；

基于此可以将非结构化数据作结构化处理。

Date:

将字符串类型的时间字段转换为时间戳类型，方便后续数据处理。

Mutate:

进行增加、修改、删除、替换等字段相关的处理。

3、例如

55.3.544.1  GET /index.html  15824  0.043

%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}

其中 ：% 是正则表达式  ； IP、WORD、URIPATHPARAM、NUMBER等 代表  pattern 

4、官网 ：https://www.elastic.co/products/logstash

里面有详细的介绍

第五章 分析 Elasticsearch 查询语句

查阅和搜索官方文档

https://www.elastic.co/learn

在社区提问题

https://elasticsearch.cn/

Elastic日报

https://elasticsearch.cn/explore/category-18