kafka一份配置&说明

作者:SUNNY
时间:2018-06-11


## 配置参考:https://blog.csdn.net/vegetable_bird_001/article/details/51858915
## 官方说明:https://kafka.apache.org/documentation/
## broker.id可以自动获取,但避免扩容、下线导致部分id出现重复,因此手工指定
broker.id=__BROKER_ID__
## 是否通过管理工具删除topic
delete.topic.enable=true
## 能否自动创建topic,这里修改为false
auto.create.topics.enable=false
## 监听IP+port
listeners=PLAINTEXT://__HOST_IP__:9092
port=9092
## 已经弃用,只有当listeners没有配置情况下
#host.name=__HOST_IP__
## 一般num.network.threads主要处理网络io,读写缓冲区数据,基本没有io等待,配置线程数量为cpu核数加1
num.network.threads=30
## 主要进行磁盘io操作,高峰期可能有些io等待,因此配置需要大些。配置线程数量为cpu核数2倍,最大不超过3倍
num.io.threads=60
## 这个参数是指定用于缓存网络请求的队列的最大容量,这个队列达到上限之后将不再接收新请求
## 一般不会成为瓶颈点,除非I/O性能太差,这时需要配合num.io.threads等配置一同进行调整
queued.max.requests=500
## socket server发送数据缓冲区大小
socket.send.buffer.bytes=102400
## socket server接受数据缓冲区大小
socket.receive.buffer.bytes=102400
## soket server 可接受最大消息大小,防止oom
socket.request.max.bytes=104857600
## 消息存放目录
log.dirs=/data2/kafka-logs
## 是否开启压缩
log.cleaner.enable=false
## 默认分区数量
num.partitions=4
## 默认复制因子(此值包含所有副本数,与Elasticsearch副本数不一样)
default.replication.factor=2
## 副本同步数据的线程数(默认为1)
num.replica.fetchers=1
## kafka启动恢复日志,关闭前日志刷盘的线程数(每个数据目录)
num.recovery.threads.per.data.dir=2
## 消息保存时间
log.retention.hours=24
## log段大小
log.segment.bytes=1073741824
## 日志清理程序清理检查周期
log.retention.check.interval.ms=300000
## zk地址
zookeeper.connect=10.237.54.239:2181,10.237.54.244:2181/hb-dev-kafka10
## zk连接超时时间
zookeeper.connection.timeout.ms=6000
发布了67 篇原创文章 · 获赞 0 · 访问量 1791

猜你喜欢

转载自blog.csdn.net/zhinengyunwei/article/details/104042056