配置kafka
其他
2018-07-12 14:11:20
阅读次数: 0
broker
参数名称 |
默认值 |
说明 |
auto.create.topics.enable |
True |
|
broker.id |
自动生成 |
|
delete.topic.enable |
False |
如果为False则管理工具删除主题不会生效 |
log.retention.bytes |
-1 |
删除数据之前的最大大小 |
log.retention.hours |
168 |
删除日志之前保留的小时数 |
log.retention.minutes |
|
|
log.retention.ms |
|
|
og.segment.bytes |
1073741824 |
单个数据文件的最大大小 |
message.max.bytes |
1000012 |
服务器可以接收消息的最大大小 |
min.insync.replicas |
1 |
producer的acks为all时,这个表示写入副本成功的最小保证数目,否则抛异常。保证数据稳定性。 |
zookeeper.session.timeout.ms |
6000 |
zk会话超时时间 |
num.io.threads |
服务器用于执行网络请求的io线程数 |
8 |
num.network.threads |
服务器用于处理网络请求的线程数 |
3 |
num.partitions |
1 |
topic默认分区数 |
producer
参数名称 |
默认值 |
说明 |
bootstrap.servers |
|
集群的IP:PORT |
key.serializer |
|
|
value.serializer |
|
|
acks |
1 |
all(-1):leader等待所有副本同步后才返回应答 |
|
|
1:等待应答但是不等待所有follower响应 |
|
|
0:产生就立即添加到socket缓冲区,并准备发送,不考虑应答 |
buffer.memory |
33554432 |
生产者用来缓存等待发送到服务器的消息的内存总字节数 |
compression.type |
|
数据压缩类型,默认不压缩 |
retries |
|
发送失败重试的次数 |
batch.size |
16384(字节) |
发送到同一分区的数据打包在一起的大小,按批发送减少交互,太小的话批次太多,太大的话浪费内存 |
client.id |
|
生产源 |
linger.ms |
0 |
有消息后不立即发送,可以设置等几毫秒,成批发送来减少请求,但达到batch.size则马上发送 |
max.request.size |
1048576 |
字节,单次发送数据的最大大小 |
consumer
参数名称 |
默认值 |
说明 |
fetch.min.bytes |
1 |
请求拉取服务器返回的最小字节数,不够就积累到再拉取 |
group.id |
|
|
auto.commit.interval.ms |
5000 |
提交offset到kafka的频率,enable.auto.commit为true才有效 |
max.poll.records |
500 |
单次调用poll返回的最大record数 |
session.timeout.ms |
10000 |
消费者故障超时时间,超过此时间没收到心跳,则遗弃、并rebalance |
auto.offset.reset |
latest |
kafka找不到当前offset时,自动重置为最早或最新 |
enable.auto.commit |
true |
为true则后台周期性提交offset到服务器 |
max.poll.interval.ms |
300000 |
消费者组调用poll的最大时间间隔,超过则遗弃、并rebalance |
转载自blog.csdn.net/lk7688535/article/details/80423511