Kubernetes(二十三)——Fluentd+Elasticsearch+Kibana(EFK)日志系统部署

视频详解

源码地址:
https://download.yutao.co/k8s/EFK/

EFK

Elasticsearch:是一个分布式的搜索和数据分析引擎,非常适用于索引和搜索大量日志数据。
Fluentd:是一个开源的数据收集器,我们可以在 Kubernetes 集群节点上安装 Fluentd,通过获取容器日志文件、过滤和转换日志数据,然后将数据传递到 Elasticsearch 集群,在该集群中对其进行索引和存储。
Kibana:是一个免费且开放的 Elasticsearch 数据可视化Dashboard,通过web 界面进行各种操作。

工作原理

EFK利用部署在每个节点上的 Fluentd 采集 Kubernetes 节点服务器的 /var/log 和 /var/lib/docker/container 两个目录下的日志,然后传到 Elasticsearch 中。最后,运维人员通过访问 Kibana 来查询日志。

生产环境中Elasticsearch和Kibana不一定部署在K8S集群中,Elasticsearch和Fluentd之间也会部署Kafka队列做缓冲,解决Elasticsearch性能跟不上的问题,引入Kafka也使得后台升级维护变得轻松。

Fluentd使用DaemonSet控制器发布,确保全部或某些节点上运行且只运行一个Pod

猜你喜欢

转载自blog.csdn.net/weixin_46415378/article/details/124915141