Apache Kafka的安装部署

一、此文档安装kafka在以下节点上:

zgl-1:192.168.127.121

zgl-2:192.168.127.122

zgl-3:192.168.127.123

二、安装部署

1、上传安装包(kafka_2.11-1.0.0.tgz)到zgl-1节点上的(/usr/local)目录

如图:

2、解压安装包

指令:

tar -zxvf kafka_2.11-1.0.0.tgz

如图:

3、配置

3.1、在所有节点上,在指定路径创建kafka数据存放目录:

指令:(每个节点均要执行以下指令)

mkdir -p /data/kafka-data

3.2、修改配置文件

cd /usr/local/kafka_2.11-1.0.0/config/

vim server.properties

#修改内容如下:

broker.id=0

log.dirs=/data/kafka-data

zookeeper.connect=zgl-1:2181,zgl-2:2181,zgl-3:2181

如图:

3.3、将kafka的安装文件下发到其它节点

指令:

scp -r /usr/local/kafka_2.11-1.0.0/ @zgl-2:/usr/local/

scp -r /usr/local/kafka_2.11-1.0.0/ @zgl-3:/usr/local/

3.4、分别进入其它节点(此处是zgl-2、zgl-3)的config目录,配置该节点上的kafka

# 在zgl-2节点上

指令:

cd /usr/local/kafka_2.11-1.0.0/config/

vim server.properties

# 修改以下内容

broker.id=1

log.dirs=/data/kafka-data

zookeeper.connect=zgl-1:2181,zgl-2:2181,zgl-3:2181

如图:

#在zgl-3节点上:

cd /usr/local/kafka_2.11-1.0.0/config/

vim server.properties

# 修改以下内容:

broker.id=2

log.dirs=/data/kafka-data

zookeeper.connect=zgl-1:2181,zgl-2:2181,zgl-3:2181

如图:

4、配置kafka一键启动脚本

注:此步操作只在zgl-1节点上进行即可

指令:

mkdir -p /opt/onekey/kafka

如图:

# 进入kafka目录

cd /opt/onekey/kafka/

4.1编辑slave文件

vim slave

#在slave文件中编辑以下内容

zgl-1
zgl-2
zgl-3

如图:

4.2、编辑startkafka.sh文件(启动脚本)

vim startkafka.sh

# 在startkafka.sh文件中加入以下内容

cat /opt/onekey/kafka/slave | while read line
do
{
echo $line
 ssh $line "source /etc/profile;nohup sh ${KAFKA_HOME}/bin/kafka-server-start
.sh -daemon ${KAFKA_HOME}/config/server.properties >/dev/null 3>&1 &"
}&
wait
done

如图:

4.3、编辑stopkafka.sh文件(停止脚本)

vim stopkafka.sh

#添加以下内容到stopkafka.sh文件中

cat /opt/onekey/kafka/slave | while read line
do
{
 echo $line
 ssh $line "source /etc/profile;jps |grep Kafka |cut -c 1-4 |xargs kill -s 9 
"
}&
wait
done

如图:

4.4、编写后分别给startkafka.sh和stopkafka.sh文件执行权限

指令:

chmod +x startkafka.sh

chmod +x stopkafka.sh

如图:

5、配置环境变量

指令:

vim /etc/profile

# 将以下内容添加到profile中

export KAFKA_HOME=/usr/local/kafka_2.11-1.0.0
export PATH=$PATH:$KAFKA_HOME/bin

如图:

# 将环境变量配置文件下发其余节点

指令:

scp /etc/profile @zgl-2:/etc/

scp /etc/profile @zgl-3:/etc/

# 每个节点处 均加载环境变量

指令:

source /etc/profile

6、启动检验kafka(注:启动kafka之前要保证zookeeper已经正常启动)

# 进入zgl-1节点上的一键启动目录

cd /opt/onekey/kafka/

sh startkafka.sh

如图:

# 验证,在每个节点上jps查看进程

jps

如图:

小结:如上图所示,kafka部署安装完毕!!!

猜你喜欢

转载自blog.csdn.net/Alan3344/article/details/84578224