kafka重要参数总结

• num.partitions=1
  #全局分区设置 默认1

---

• offsets.topic.num.partitions=50
  #__consumer_offsets分区设置 默认50

---

• default.replication.factor=1
  #全局副本设置 默认1

---

• offsets.topic.replication.factor=3
  #__consumer_offsets副本设置 默认3

---

• broker.id.generation.enable 和 reserved.broker.max.id 来配合生成新的 broker.id。
  #broker.id.generation.enable参数是用来配置是否开启自动生成 broker.id 的功能，默认情况下为true，即开启此功能。自动生成的broker.id有一个默认值，默认值为1000，也就是说默认情况下自动生成的 broker.id 从1001开始。

---

• port
  #broker server服务端口

---

• logs.dir
  #kafka数据的存放地址，多个地址的话用逗号分割,多个目录分布在不同磁盘上可以提高读写性能 /data/kafka-logs-1，/data/kafka-logs-2

---

• log.retention.{hous|minutes|ms}
  #日志留存时间，默认只保留最近7天的数据。

---

• log.retention.bytes
  #空间维度上的留存策略，控制着Kafka集群需要为每个消息日志保存多大的数据。对于大小超过该参数的分区日志而言，Kafka会自动清理该分区的过期日志段文件。默认为-1，表示不依据日志大小来清除日志。

---

• zookeeper.connect
  #无默认值，可以为一个CSV(comma-separated values)逗号分隔值列表，如设置为zk1:2181,zk2:2181,zk3:2181

---

• listeners
  #broker监听器的CSV列表，格式是[协议]：//[主机名]:[端口], [[协议]：//[主机名]:[端口]]。该参数主要用于客户端连接broker使用，可以认为是broker端开放给clients的监听端口。如果不指定主机名，则表示绑定默认网卡；如果主机名是0.0.0.0，则表示绑定所有网卡。

---

• replica.lag.time.max.ms
  #replicas响应leader的最长等待时间，若是超过这个时间，就将replicas排除在ISR之外

---

• replica.lag.max.messages
  #如果relicas落后太多,将会认为此partition relicas已经失效。而一般情况下,因为网络延迟等原因,总会导致replicas中消息同步滞后。如果消息严重滞后,leader将认为此relicas网络延迟较大或者消息吞吐能力有限。在broker数量较少,或者网络不足的环境中,建议提高此值.
  Kafka 0.9.0.0版本后移除了replica.lag.max.messages参数，只保留了replica.lag.time.max.ms作为ISR中副本管理的参数

---

• auto.leader.rebalance.enable=false
  #是否自动平衡broker之间的分配策略

---

• leader.imbalance.per.broker.percentage = 10
  #leader的不平衡比例，若是超过这个数值，会对分区进行重新的平衡
  比例计算公式为：
  （leader不是AR副本集的preferred replica的数量)/(broker 的AR副本数量)

---

• leader.imbalance.check.interval.seconds = 300
  #检查leader是否不平衡的时间间隔