首先 我们知道 ,在我们传统的 框架中 都是 单个log日志信息统计 然而到了 我们微服务 就有 多个这样的 框架 每个框架 都有一个独立得 日志信息 ,维护较为繁琐 , 所以出现了 ELK+kafka 这样的 日志统计收集的 框架系统 .
首先 kafka 是个日志平台 , ELK 中有Logstash 这个是连接 kafaka 并收集中的 日志 传输到 ELK中的 ES 中 ,类似于存储地方 ,虽然有自己的可视化工具 不过不采用 , 连接搭配用 Kibana 这个 可视化工具使用显示 收集到的日志信息.
为什么选择使用 kafka
可扩展：Kafka集群可以透明的扩展，增加新的服务器进集群。
高性能：Kafka性能远超过传统的ActiveMQ、RabbitMQ等，Kafka支持Batch操作。
容错性：Kafka每个Partition数据会复制到几台服务器，当某个Broker失效时，Zookeeper将通知生产者和消费者从而使用其他的Broker。
高吞吐量：keep big data in mind，kafka采用普通的硬件支持每秒百万级别的吞吐量。
分布式：明确支持消息的分区，通过kafka服务器和消费者机器的集群分布式消费，维持每一个分区是有序的。
持续的消息：为了从大数据中派生出有用的数据，任何数据的丢失都会影响生成的结果，kafka提供了一个复杂度为O(1)的磁盘结构存储数据，即使是对于TB级别的数据都是提供了一个常量时间性能。