ELK 其实幵丌是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写
– Elasticsearch:负责日志检索和储存
– Logstash:负责日志的收集和分析、处理
– Kibana:负责日志的可视化
– 这三款软件都是开源软件,通常是配合使用,而且又先后归于 Elastic.co 公司名下,故被简称为 ELK
• ELK组件在海量日志系统的运维中,可用于解决:
– 分布式日志数据集中式查询和管理
– 系统监控,包含系统硬件和应用各个组件的监控
– 故障排查
– 安全信息和事件管理
– 报表功能
Elasticsearch部分
• ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基
于 RESTful API 的 web 接口。
• Elasticsearch是用Java开发的,幵作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引
擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
• 主要特点
– 实时分析
– 分布式实时文件存储,幵将每一个字段都编入索引
– 文档导向,所有的对象全部是文档
– 高可用性,易扩展,支持集群(Cluster)、分片和复制(Shards 和 Replicas)
– 接口友好,支持 JSON
• ES 没有什么?
• Elasticsearch 没有典型意义的事务.
• Elasticsearch 是一种面向文档的数据库。
• Elasticsearch 没有提供授权和认证特性
相关概念:
– Node: 装有一个 ES 服务器的节点。
– Cluster: 有多个Node组成的集群
– Document: 一个可被搜素的基础信息单元
– Index: 拥有相似特征的文档的集合
– Type: 一个索引中可以定义一种戒多种类型
– Filed: 是 ES 的最小单位,相当于数据的某一列
– Shards: 索引的分片,每一个分片就是一个 Shard
– Replicas: 索引的拷贝
ES插件的使用
• ES 常用插件
• head 插件:
– 它展现ES集群的拓扑结构,幵且可以通过它来进行索
引(Index)和节点(Node)级别的操作
– 它提供一组针对集群的查询API,幵将结果以json和表
格形式返回
– 它提供一些快捷菜单,用以展现集群的各种状态
• kopf 插件
– 是一个ElasticSearch的管理工具
– 它提供了对ES集群操作的API
• bigdesk 插件
– 是elasticsearch的一个集群监控工具
– 可以通过它来查看es集群的各种状态,如:cpu、内存
使用情况,索引数据、搜索情况,http连接数等
– 查看安装的插件
/usr/share/elasticsearch/bin/plugin list
– 安装插件
/usr/share/elasticsearch/bin/plugin install
ftp://192.168.4.254/head.zip
/usr/share/elasticsearch/bin/plugin install
file:///tmp/kopf.zip
– 这里必须使用 url 的方式进行安装,如果文件在本地,需要使用 file:// 的方式指定路径,
例如文件在/tmp/xxx 下面,写成 file:///tmp/xxx 删除使用 remove 指令