kafka高效读写数据+zookeeper在kafka中的作用

kafka高效写数据

  1.顺序写磁盘

    kafka的producer生产数据,要写入到log文件中,写的过程是一直追加到文件末端,为顺序写,官网有数据表明,同样的磁盘,顺序写能到600M/s,而随机写只有100M/s,这与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁盘寻址的时间;

  2.零复制技术

    

zookeeper在kafka中的作用

  kafka集群中有一个broker会被选举为controller,负责管理集群broker的上下线,所有的topic的分区副本分配和leader选举等工作;

  controller的管理工作都是依赖于zookeeper的;

  leader选举过程:

    

 

猜你喜欢

转载自www.cnblogs.com/wnwn/p/12396351.html