为什么需要ELK：
一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。
简介：
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。
Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，近实时（1s）文件存储、检索、分析，零配置，集群自动发现，自动分片索引，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。
Elastic Search
数据大致可以分为结构化数据和非结构化数据，结构化数据由于相互间具有一定的联系和固定的结构，对其进行查找时容易利用其结构编写算法加速其搜索速度。但是对于非结构化数据，只能采取顺序扫描的方法进行搜索，这种搜索方式耗时太久。因此自然的想到将非结构化的数据转换为结构化的数据，即将抽象的联系具体化，称之为索引。
Elastic Search采取Lucene全文搜索引擎架构，将数据通过Tokenize分词器划分为不同的字符串并过滤掉出现频率较高的停词(stop word)，例如is a an等等。这些字符串将会以一定的形式重新组织起来，以字符串、频率、文档链表的结构建立起字符串到文档数据的映射，称之为反向索引。这里的文档链表称之为倒排表。
（英文中存在同一词的多种形式，在分词器处理的过程中可以分为三大步骤，分别是：1)去除标点符号与停词 2)将不同的词元去除其形式归为一般形式的词 3) 将词与索引组件结合，形成词字典 4)按词的字母进行排序，合并相同的词，形成文档倒排链表）
某单词的倒排索引项主要包含如下信息：
1.文档id用于获取原始信息
2.单词频率（TF，Term Frequency），记录该单词在该文档中出现的次数，用于后续相关性算分
3.位置（Posting），记录单词在文档中的分词位置（多个），用于做词语搜索（Phrase Query）
4.偏移（Offset），记录单词在文档的开始和结束位置，用于高亮显示
基本概念
索引（Index）
ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。一个ES集群中可以按需创建任意数目的索引。
类型（Type）
类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。因此，一个索引内部可定义一个或多个类型(type)。一般来说，类型就是为那些拥有相同的域的文档做的预定义。例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。类比传统的关系型数据库领域来说，类型相当于“表”。
文档（Document）
文档是索引和搜索的原子单位，它是包含了一个或多个域（Field）的容器，基于JSON格式进行表示。文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为“多值域”。每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。
Elastic Search 是分布式搜索引擎系统，实现了近乎实时的数据存储、检索、分析功能。运作过程可以分为三部分：1.数据的录入与更新（索引的建立与更新） 2. 数据的查找与分析 3.集群的增减容
一、数据的录入与更新
(1)分片存储与副本机制
首先，ES是一个分布式的系统，一个索引在被创建时需要定义切片数目，不同分片（segment）存储在不同的datanode中，而每一个datanode都是一个完整的lucene搜索引擎。一堆文件将会通过负载均衡算法被相对均匀的分布到不同的分片中。数据会在分片中自动产生索引，也就是自动分片索引。ES默认一个索引有5个主分片，在创建索引时完成创建且不可更改，而副本分片的数量会随时变化。集群数量健康的状态下时，主分片必须与副本分片存储在不同的datanode上，降低数据丢失的风险。
(2)存储过程：
任意节点接收到了客户端请求，成为协调结点，根据hash算法得到路由值再对分片数取模，得到数据应该存储的分片位置，然后将请求转发到该主分片，主分片获得请求后写入数据，并且同步更新数据到副本分片。
这里需要注意的时，上面完成的操作并未落实到磁盘上。ES每一秒完成一次刷新操作，这个时间内录入的数据会被写入到文件缓存区中，而操作将会被记录到transactionLog文件中。这时新写入的数据可以被搜索到，但是未写入到磁盘。transactionLog文件每5秒将被写入到磁盘中一次，同时每30分种或者transactionLog文件过大的时候，文件缓冲区中的文件将被写入到磁盘。
二、数据的查找
1.任意节点接收到了客户端请求，成为协调结点。
2.协调结点将请求转发给所有的分片（节点）（包括p和r）
3.每个分片都进行搜索，并向协调结点返回自己的搜索结果（文档ID）
4.协调结点对返回的结果进行合并排序分页等操作
5.协调结点根据索引从分片中拉取真正的数据，最终返回给客户端
完成倒排索引得文档ID，再由正排索引由文档ID取得完整文档数据
三、集群的增减容（主节点丢失、协调结点） 待补充
(1)节点
主节点：处理与集群操作相关的内容，如创建或删除索引，跟踪集群节点状态，决定分片在结点上的分布。一般与数据结点分离。
数据节点：存储索引数据的节点，一个完整的lucene引擎，主要对文档进行增删该查操作
协调节点：只处理路由请求，处理搜索，广播索引等操作。
LogStash
LogStash主要用于从非结构化数据中提取关键数据并结构化，其工作步骤可以分为，读入=>解码=>过滤分析=>再编码=>输出。因此Logstash与之相对应的拥有三个模块：input、filter、output，每个模块又有众多可拔插的组件支持，每个模块可以同时支持多个插件。由此实现了功能的多样和复杂性。
elastic.co 官网提供了众多插件的API
一、数据的输入
1)**从文件读入**
file{
path=>"/root/logstash/mylog"
start_position=>"beginning"
sincedb_path=>"/dev/null"
codec=”json”
}
2)**从Sql数据库**
jdbc {
type => "logs_20171206"
jdbc_connection_string => "jdbc:mysql://192.168.9.80:3306/kgc_behivour_log"
jdbc_user => "root"
jdbc_password => "123456"
jdbc_driver_library => "/root/workspace/downloads/jdbc_mysql_5.1.44-dependencies.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "1000"
statement => "select * from logs_20171206"
schedule => "* * * * *"
}
二、数据过滤分析
grok {
patterns_dir => ["./patterns"]
match => {
"message" => "%{USERUID}"
}
}
grok {
patterns_dir => ["./patterns"]
match => {
"message" => "%{EQUIPMENT}"
}
}
grok {
match => {
"message" => "%{TIMESTAMP_ISO8601:time}\t%{DATA:request}\t%{WORD:method}\t%{NUMBER:status}\t%{IP:uip}\t(?:-|%{IP:sip})\t(?:-|%{URI:prepend})\t(?:-|(?[^\r]+))"
}
}
三、数据的输出
1)elasticsearch
elasticsearch {
hosts => ["192.168.9.80:9200"]
index => "behivour-logs"
document_type => "logs_20171206"
document_id => "%{id}"
}
2）Stdout
stdout{
codec=”rubydebug”
}
Kibana
创建index pattern
Management>Index Patterns>Create Index Pattern
数据可视化Visualize