在sparkstreaming 中消费kafka中的数据，用zookeeper去记录消费者偏移量，这个是kafka 0.9以前的，0.9以后，kafka中的broker会自己记录消费者偏移量的。
首先我要纠正一下，Kafka只是缓存中间件，它本身不消费数据，说Kafka消费不过来数据，本身在概念上就错了，如果生产者生产的数据Kafka处理不了，首先想到的应该是增加topic的分区数，增加并发写入的能力，其次可以把数据压缩之后再放入Kafka中，如果达到网络瓶颈还不行那就没办法了
关于kafka的一点理解
猜你喜欢
转载自blog.csdn.net/wyqwilliam/article/details/84575682
今日推荐
周排行