kafka的关键组成

Messages and Batches:

  • kafka内的数据单位称为message。 message类似于一行或一条记录.
  • kafka所关心的message数据只是一些简单的byte数组,kafka并不关心你的数据的格式与意义。
  • key也是一个byte数组,跟message一样,它对于kafka而言也并没有什么意义.(key是用来路由的)
  • 为了更好的传输效率, messages 的写入一都是以batch的方式进行。
  • 一个batchj就是一个message的集合,一个batch中的所有message会被放到同一个topic中的partition中。
  • batch通常还会进行压缩,这样也更加有效的提高了数据传输与储存。

Schemas:

  • 对于kafka而言message就是没有意义的byte数组,Schema就能提供额外的结构与模式加强消息内容,方便理解。
  • Avro,Json,XML,Customer,etc Topics and www.feifanyule.cn Partitions
  • kafka的tpoic就是message的分类。
  • 对于topic的最贴近的比喻就是一个数据库的表或者是一个文件系统的文件夹。
  • topic被分解成了一个或者多个partition
  • messages以附加方式写入,并从头到尾按顺序读取。
  • 一个topic通常被分成了多个partition,但是不能保证按照写入时间的顺序排序。但是一个可以。

(需要严格读取topic消息顺序的时候,只使用一个partition) 
image

Producers and Consumers

  • kafka客户是就是系统的用户,有两种基本类型:生产者和消费者。
  • Producers创建消息,在其他的发布订阅系统中,被称为发布在或者写入者。
  • 一般而言,一个message会被写入到一个特定的topic中。
  • Consumers阅读消息。在其他发布/订阅系统中,这些客户可能被称为订阅者或读取者。
  • Consumers订阅一个或多个topic,并按照其produce顺序读取消息。
  • Consumers通过跟踪消息的offset来跟踪它已经消费的消息。

Offset 
- offset是元数据中的一个(一个不断增加的整数值)kafka在每条消息生成时都会添加这个元数据。 
- 每一个message在所在的www.120xh.cn  partition中都有着唯一的offset,通过zookeeper或者kafka本身存贮着这个最后消费的offset,保证在Consumer在宕机或者重启之后不会丢失其读到的位置。

Consumer Group

  • 在一个consumer group中工作的多个consumer,它们共同的去消费一个topic,并且确保了每个partition只有一个consumer可以进行消费。 
    (一个consumer group中的consumer不能消费同一个partition,但是一个consumer可以去消费多个partition) 
    image

Brokers and Clusters

    • 一个kafak服务就是一个broker。
    • 一个broker接收到producer的message后,为它们分配offset,并且将它们储存到硬盘上。
    • kafka broker 是cluster的运作的一部分。在一个www.yigouyule2.cn cluster的多个broker中,其中的一个broker通过算法选举称为了一个cluster的controller。(从活动的成员中自动选举) 
      (多个Partition时,只有Partition的learder才能进对于该partiotion的读写,其余的都是副本而已) 

猜你喜欢

转载自www.cnblogs.com/qwangxiao/p/9088697.html
今日推荐