一、此文档安装kafka在以下节点上:
zgl-1:192.168.127.121
zgl-2:192.168.127.122
zgl-3:192.168.127.123
二、安装部署
1、上传安装包(kafka_2.11-1.0.0.tgz)到zgl-1节点上的(/usr/local)目录
如图:
2、解压安装包
指令:
tar -zxvf kafka_2.11-1.0.0.tgz
如图:
3、配置
3.1、在所有节点上,在指定路径创建kafka数据存放目录:
指令:(每个节点均要执行以下指令)
mkdir -p /data/kafka-data
3.2、修改配置文件
cd /usr/local/kafka_2.11-1.0.0/config/
vim server.properties
#修改内容如下:
broker.id=0
log.dirs=/data/kafka-data
zookeeper.connect=zgl-1:2181,zgl-2:2181,zgl-3:2181
如图:
3.3、将kafka的安装文件下发到其它节点
指令:
scp -r /usr/local/kafka_2.11-1.0.0/ @zgl-2:/usr/local/
scp -r /usr/local/kafka_2.11-1.0.0/ @zgl-3:/usr/local/
3.4、分别进入其它节点(此处是zgl-2、zgl-3)的config目录,配置该节点上的kafka
# 在zgl-2节点上
指令:
cd /usr/local/kafka_2.11-1.0.0/config/
vim server.properties
# 修改以下内容
broker.id=1
log.dirs=/data/kafka-data
zookeeper.connect=zgl-1:2181,zgl-2:2181,zgl-3:2181
如图:
#在zgl-3节点上:
cd /usr/local/kafka_2.11-1.0.0/config/
vim server.properties
# 修改以下内容:
broker.id=2
log.dirs=/data/kafka-data
zookeeper.connect=zgl-1:2181,zgl-2:2181,zgl-3:2181
如图:
4、配置kafka一键启动脚本
注:此步操作只在zgl-1节点上进行即可
指令:
mkdir -p /opt/onekey/kafka
如图:
# 进入kafka目录
cd /opt/onekey/kafka/
4.1编辑slave文件
vim slave
#在slave文件中编辑以下内容
zgl-1
zgl-2
zgl-3
如图:
4.2、编辑startkafka.sh文件(启动脚本)
vim startkafka.sh
# 在startkafka.sh文件中加入以下内容
cat /opt/onekey/kafka/slave | while read line
do
{
echo $line
ssh $line "source /etc/profile;nohup sh ${KAFKA_HOME}/bin/kafka-server-start
.sh -daemon ${KAFKA_HOME}/config/server.properties >/dev/null 3>&1 &"
}&
wait
done
如图:
4.3、编辑stopkafka.sh文件(停止脚本)
vim stopkafka.sh
#添加以下内容到stopkafka.sh文件中
cat /opt/onekey/kafka/slave | while read line
do
{
echo $line
ssh $line "source /etc/profile;jps |grep Kafka |cut -c 1-4 |xargs kill -s 9
"
}&
wait
done
如图:
4.4、编写后分别给startkafka.sh和stopkafka.sh文件执行权限
指令:
chmod +x startkafka.sh
chmod +x stopkafka.sh
如图:
5、配置环境变量
指令:
vim /etc/profile
# 将以下内容添加到profile中
export KAFKA_HOME=/usr/local/kafka_2.11-1.0.0
export PATH=$PATH:$KAFKA_HOME/bin
如图:
# 将环境变量配置文件下发其余节点
指令:
scp /etc/profile @zgl-2:/etc/
scp /etc/profile @zgl-3:/etc/
# 每个节点处 均加载环境变量
指令:
source /etc/profile
6、启动检验kafka(注:启动kafka之前要保证zookeeper已经正常启动)
# 进入zgl-1节点上的一键启动目录
cd /opt/onekey/kafka/
sh startkafka.sh
如图:
# 验证,在每个节点上jps查看进程
jps
如图:
小结:如上图所示,kafka部署安装完毕!!!