Filebeat+ELK搭建日志实时分析系统

java服务日志框架使用的是logback,filebeat只fetch级别为WARN和ERROR的记录.

### Filebeat

    一个轻量级开源日志文件数据搜集器,Filebeat 读取文件内容,发送到 Logstash 进行解析后进入 Elasticsearch,或直接发送到 Elasticsearch 进行集中式存储和分析。


### Logstash

    日志收集器。支持多种数据源输入(如java应用,filebeat,数据库等),并对数据进行过滤、分析、格式化等操作,然后存储到 Elasticsearch。

    使用Filebeat作为Logstash的输入,Logstash默认配置监听了5044端口,可以从Filebeat的配置output.logstash.hosts=["172.20.66.154:5044"]看出来。同时Filebeat的输出作为Logstash的输入,如下图配置 input.beats.port = 5044代表Logstash监听5044端口并接受来自filebeat的输入。

        

### Elasticsearch

    分布式搜索和分析引擎。基于 Apache Lucene 构建,能对大容量的数据进行接近实时的存储、搜索和分析操作。

### Kibana  

    数据分析和可视化平台。与 Elasticsearch 配合使用,对其中数据进行搜索、分析、图表展示。下图是我对公司测试环境下微服务进行监控的图表结果。Kibana支持灵活的展现方式,各种图表类型,这里不做说明。


### 常用命令

    - 杀进程:ps -ef |grep filebeat

发布了4 篇原创文章 · 获赞 1 · 访问量 3079

猜你喜欢

转载自blog.csdn.net/MrLee_123/article/details/79766429