2.4版本安装部署,kafka命令行操作
kafka安装部署(2.4版本)
Kafka 官网下载
http://kafka.apache.org/downloads.html
1 集群规划
hadoop102 | hadoop103 | hadoop104 |
---|---|---|
zookeeper | zookeeper | zookeeper |
kafka | kafka | kafka |
2 集群部署
1)解压安装包
[qinjl@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/
2)修改解压后的文件名称
[qinjl@hadoop102 module]$ mv kafka_2.11-2.4.1.tgz kafka
3)在/opt/module/kafka目录下创建logs文件夹
[qinjl@hadoop102 kafka]$ mkdir logs
4)修改配置文件
[qinjl@hadoop102 kafka]$ cd config/
[qinjl@hadoop102 config]$ vi server.properties
输入以下内容:
#broker的全局唯一编号,不能重复
broker.id=0
#删除topic功能使能,当前版本此配置默认为true,已从配置文件移除
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志存放的路径(数据消息)
log.dirs=/opt/module/kafka/logs
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接Zookeeper集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
5)配置环境变量
[qinjl@hadoop102 module]$ sudo vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
[qinjl@hadoop102 module]$ source /etc/profile
6)分发安装包
[qinjl@hadoop102 module]$ xsync kafka/
- 注意:分发之后记得配置其他机器的环境变量
7)分别在 hadoop103 和 hadoop104 上修改配置文件/opt/module/kafka/config/server.properties 中的 broker.id=1、broker.id=2
- 注:broker.id不能重复
8)启动集群
#先启动Zookeeper集群,然后启动kafaka
[qinjl@hadoop102 kafka]$ zk.sh start
#依次在hadoop102、hadoop103、hadoop104节点上启动kafka
[qinjl@hadoop102 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
[qinjl@hadoop103 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
[qinjl@hadoop104 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
9)关闭集群
[qinjl@hadoop102 kafka]$ bin/kafka-server-stop.sh stop
[qinjl@hadoop103 kafka]$ bin/kafka-server-stop.sh stop
[qinjl@hadoop104 kafka]$ bin/kafka-server-stop.sh stop
10)kafka 群起脚本
#!/bin/bash
case $1 in
"start")
for i in hadoop102 hadoop103 hadoop104
do
echo "============== $i kafka============== "
ssh $i /opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties
done
;;
"stop")
for i in hadoop102 hadoop103 hadoop104
do
echo "============== $i kafka============== "
ssh $i /opt/module/kafka/bin/kafka-server-stop.sh
done
esac
Kafka命令行操作
1)增:创建topic
# 默认创建单分区单副本的主题
bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --topic tn
# 分区数和副本数,要小于所对应的可用节点数
bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --topic first --partitions 2 --replication-factor 2
选项说明:
- –replication-factor 2 --partitions 1
- –topic 定义topic名
- –replication-factor 定义副本数
- –partitions 定义分区数
2)查:查看topic
# 列出集群中所有可用的topics
bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list
# 描述出集群中所有主题的详情
bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe
# 列出指定的主题详情
bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic tn
例子:
[qinjl@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first
[qinjl@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list
3)删:删除topic
# 删除指定主题(标记清除,过一段时间kafka会自己删除)
bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic tn
4)改:修改分区数
# n(指定改成多少个分区),tn (改哪个主题)
bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --partitions n --topic tn
# 例子:
[qinjl@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 2
注意:Kafka 的分区数可以增加,但不支持减少(分区数只能往大修改,不能往小修改)
5)发送消息
# 指名topic的名称
bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic tn
# 例子:
[qinjl@hadoop102 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first
>hello
>world
6)消费消息
# 通过配置文件设置消费者组
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic tn --consumer.config config/consumer.properties
# 通过指定gn组名,直接设置消费者组
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic tn --group gn
# 不指定消费者组,kafka默认会分配一个组id(当前消费者就是一个组)
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first --from-beginning
- 注:如果是新的消费者组,第一次消费topic,默认不会读取已经存在的数据(不读取之前的offset)从最新的开始。加上–from-beginning参数,只有第一次读取才会从头开始读取(读取之前的所有offset),后面再有同组的消费者,加上–from-beginning参数,也不会从头读取