配置kafka

broker

参数名称 默认值 说明
auto.create.topics.enable True
broker.id 自动生成
delete.topic.enable False 如果为False则管理工具删除主题不会生效
log.retention.bytes -1 删除数据之前的最大大小
log.retention.hours 168 删除日志之前保留的小时数
log.retention.minutes
log.retention.ms
og.segment.bytes 1073741824 单个数据文件的最大大小
message.max.bytes 1000012 服务器可以接收消息的最大大小
min.insync.replicas 1 producer的acks为all时,这个表示写入副本成功的最小保证数目,否则抛异常。保证数据稳定性。
zookeeper.session.timeout.ms 6000 zk会话超时时间
num.io.threads 服务器用于执行网络请求的io线程数 8
num.network.threads 服务器用于处理网络请求的线程数 3
num.partitions 1 topic默认分区数

producer

参数名称 默认值 说明
bootstrap.servers 集群的IP:PORT
key.serializer
value.serializer
acks 1 all(-1):leader等待所有副本同步后才返回应答
1:等待应答但是不等待所有follower响应
0:产生就立即添加到socket缓冲区,并准备发送,不考虑应答
buffer.memory 33554432 生产者用来缓存等待发送到服务器的消息的内存总字节数
compression.type 数据压缩类型,默认不压缩
retries 发送失败重试的次数
batch.size 16384(字节) 发送到同一分区的数据打包在一起的大小,按批发送减少交互,太小的话批次太多,太大的话浪费内存
client.id 生产源
linger.ms 0 有消息后不立即发送,可以设置等几毫秒,成批发送来减少请求,但达到batch.size则马上发送
max.request.size 1048576 字节,单次发送数据的最大大小

consumer

参数名称 默认值 说明
fetch.min.bytes 1 请求拉取服务器返回的最小字节数,不够就积累到再拉取
group.id
auto.commit.interval.ms 5000 提交offset到kafka的频率,enable.auto.commit为true才有效
max.poll.records 500 单次调用poll返回的最大record数
session.timeout.ms 10000 消费者故障超时时间,超过此时间没收到心跳,则遗弃、并rebalance
auto.offset.reset latest kafka找不到当前offset时,自动重置为最早或最新
enable.auto.commit true 为true则后台周期性提交offset到服务器
max.poll.interval.ms 300000 消费者组调用poll的最大时间间隔,超过则遗弃、并rebalance

猜你喜欢

转载自blog.csdn.net/lk7688535/article/details/80423511