一 环境准备
1.1 集群规划
这里需要三个节点,分别如下:
linux102 linux103 linux104
zk zk zk
kafka kafka kafka
1.2 下载对应jar包
1.3 准备对应的三台虚拟机
具体安装,这里省略,可以参考我写的centos7.0安装说明!
注意,三台虚拟机需要都安装完毕jdk和zookeeper
1.4 Kafka集群部署
1)解压安装包
[itstar@linux102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/
2)修改解压后的文件名称
[itstar@linux102 module]$ mv kafka_2.11-0.11.0.0/ kafka
3)在/opt/module/kafka目录下创建logs文件夹
[itstar@linux102 kafka]$ mkdir logs
4)修改配置文件
[itstar@linux102 kafka]$ cd config/
[itstar@linux102 config]$ vi server.properties
输入以下内容:
#broker的全局唯一编号,不能重复 broker.id=0 #是否允许删除topic delete.topic.enable=true #处理网络请求的线程数量 num.network.threads=3 #用来处理磁盘IO的线程数量 num.io.threads=8 #发送套接字的缓冲区大小 socket.send.buffer.bytes=102400 #接收套接字的缓冲区大小 socket.receive.buffer.bytes=102400 #请求套接字的最大缓冲区大小 socket.request.max.bytes=104857600 #kafka运行日志存放的路径 log.dirs=/opt/module/kafka/logs #topic在当前broker上的分区个数 num.partitions=1 #用来恢复和清理data下数据的线程数量 num.recovery.threads.per.data.dir=1 #segment文件保留的最长时间,超时将被删除 log.retention.hours=168 #配置连接Zookeeper集群地址 zookeeper.connect=linux105:2181,linux106:2181,linux107:2181 |
5)配置环境变量
[root@linux102 module]# vi /etc/profile
#KAFKA_HOME export KAFKA_HOME=/opt/module/kafka export PATH=$PATH:$KAFKA_HOME/bin |
[root@linux102 module]# source /etc/profile
6)分发安装包
[root@linux102 etc]# xsync profile
[itstar@linux102 module]$ xsync kafka/
7)分别在linux103和linux104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2
注:broker.id不得重复
二 Kafka的目录结构
Kafka目录介绍
- /bin 操作kafka的可执行脚本,还包含windows下脚本
- /config 配置文件所在目录
- /libs 依赖库目录
- /logs 日志数据目录,目录kafka把server端日志分为5种类型,分为:server,request,state,log-cleaner,controller
三 集群的启动测试
1)启动集群
先在每台集群启动zookeeper
依次在linux102、linux103、linux104节点上启动kafka
[itstar@linux102 kafka]$ bin/kafka-server-start.sh config/server.properties &
[itstar@linux103 kafka]$ bin/kafka-server-start.sh config/server.properties &
[itstar@linux104 kafka]$ bin/kafka-server-start.sh config/server.properties &
2)查看进程
[root@node1 kafka_2.11-0.11.0.1]# jps
2576 Kafka
2551 QuorumPeerMain
2874 Jps
[root@node2 kafka_2.11-0.11.0.1]# jps
2499 QuorumPeerMain
2821 Jps
2526 Kafka
[root@node3 kafka_2.11-0.11.0.1]# jps
7617 QuorumPeerMain
7650 Kafka
7945 Jps
3)关闭集群
[itstar@linux102 kafka]$ bin/kafka-server-stop.sh stop
[itstar@linux103 kafka]$ bin/kafka-server-stop.sh stop
[itstar@linux104 kafka]$ bin/kafka-server-stop.sh stop