第2章 安装Kafka

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010819416/article/details/83962797

2.1 要事先行

2.1.1 选择操作系统
Kafka是使用Java开发的引用程序,可以运行在各个系统。

2.1.2 安装Java

2.1.3 安装zookeeper
Kafka使用Zookeeper保存集群的元数据信息和消费者信息。

2.2 安装Kafka Broker
(似乎都是把应用安装在/usr/local/下)

2.3 broker配置

2.3.1 常规配置

1 broker.id

2 port

3 zookeeper.connect

4 log.dirs
Kafka把所有消息都保存在磁盘上,存放这些日志片段的目录是通过log.dirs指定的。

5 num.recovery.threads.per.data.dir
Kafka会使用可配置的线程池来处理日志片段

6 auto.create.topic.enable
自动创建主题

2.3.2 主题的默认设置

1 num.partitions
指定了新创建的主题将包含多少个分区

2 log.retention.ms
根据时间来决定数据可以被保留多久

3 log.retention.bytes
通过保留的消息字节数来判断消息是否过期

4 log.segments.bytes
日志片段被关闭大小

5 log.segments.ms
日志片段关闭时间

6 message.max.bytes
限制单个消息的大小

2.4 硬件的选择

2.4.1 磁盘吞吐量
机械硬盘(HDD)和固态硬盘(SSD)

2.4.2 磁盘容量

2.4.3 内存

2.4.4 网络

2.4.5 CPU

2.5 云端的Kafka

2.6 Kafka集群

2.6.1 需要多少个broker
首先,需要多少磁盘空间来保留数据。
第二个要考虑的因素是集群处理请求的能力。

2.6.2 broker配置
1)必须配置相同的zookeeper.connect
2)每个broker都必须为broker.id参数设置唯一的值

2.6.3 操作系统调优

2.7 生成环境的注意事项

2.7.1 垃圾回收器选项

2.7.2 数据中心布局

2.7.3 共享Zookeeper

2.8 总结

猜你喜欢

转载自blog.csdn.net/u010819416/article/details/83962797
今日推荐