文章目录
使用模块功能简介
Filebeat+Logstash +Kibana+Elasticsearch+Kafka
- Filebeat轻量型日志采集器。Filebeat 内置有多种模块（auditd、Apache、NGINX、System、MySQL 等等），可针对常见格式的日志大大简化收集、解析和可视化过程，只需一条命令即可。之所以能实现这一点，是因为它将自动默认路径（因操作系统而异）与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。不仅如此，数个 Filebeat 模块还包括预配置的 Machine Learning 任务。
- Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据
- Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。
- ElasticSearchElasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。
- Kibana 通过 Kibana，您可以对自己的 Elasticsearch 进行可视化，还可以在 Elastic Stack 中进行导航，这样您便可以进行各种操作了，从跟踪查询负载，到理解请求如何流经您的整个应用，都能轻松完成。
针对免费版本,下列服务目前只能看监控,无法配置报警规则
- APM使用 Elastic APM 可扩展到应用程序指标。准确查看您的应用程序把时间都花在了哪里，然后您便可快速修复问题并对您推送的代码拥有十足信心。
- Heartbeat通过主动探测来监测服务的可用性。通过给定 URL 列表，Tcp端口，Icmp服务ip来安排监控。Heartbeat 会将此信息和响应时间发送至 Elastic 的其他部分，以进行进一步分析。
在实际应用场景下，为了满足大数据实时检索的场景，利用Filebeat去监控日志文件，将Kafka作为Filebeat的输出端，Kafka实时接收到Filebeat后以Logstash作为输出端输出，到Logstash的数据也许还不是我们想要的格式化或者特定业务的数据，这时可以通过Logstash的一些过了插件对数据进行过滤最后达到想要的数据格式以ElasticSearch作为输出端输出，数据到ElasticSearch就可以进行丰富的分布式检索了。
ELK系统可以根据实际需要来选择搭建,暂时先介绍最简单的Filebeat+ElasticSearch+Kibana组成的系统,ElasticSearch 集群和Kibana,辅以Hearbeat组件和APM组件的使用
安装包下载
Apache 官网下载地址
- Kafka 使用版本 kafka_2.12-2.3.0.tgz
Elastic 官网下载地址,目前的地址打开默认会下载最新版本,需要使用对应的版本可以手动修改实际下载url里的版本号信息
- Elasticsearch 使用版本 7.4.0
- Kibana 使用版本 7.4.0
- Filebeat 使用版本 7.4.0
- Logstash 使用版本 7.4.0
- Heartbeat使用版本 7.4.0
- APM使用版本 7.4.0
资源的下载速度不太给力,安装包可以从这下载
链接：https://pan.baidu.com/s/1nLICdPr4G_-BvsNH2Yf4mg
提取码：pg61
Linux 环境 离线 ELK7.4.0之Kibana搭建
Linux 环境 离线 ELK7.4.0之Filebeat服务安装(直连ElasticSearch)
Linux 环境 离线 ELK 之ElasticSearch服务集群安装
