Kafka 学习——一、Kafka 的安装和测试

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq193423571/article/details/84235177

一、Kafka 安装

1.1 Zookeeper 的安装

1. 进入需要安装的目录 (此处以 /usr/software 为准)
2. tar -zxvf /mnt/hgfs/share-file/zookeeper-3.4.13
3. sudo vim /etc/profile

   export JAVA_HOME=/usr/software/jdk1.8.0_191
   export JRE_HOME=$JAVA_HOME/jre
   export ZOOKEEPER_HOME=/usr/software/zookeeper-3.4.13
   export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH:
   export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$ZOOKEEPER_HOME/bin
   

4. source /etc/profile
5. cd zookeeper-3.4.13/conf
6. sudo cp zoo_sample.cfg zoo.cfg
7. sudo vim zoo.cfg

   tickTime=2000 #ZooKeeper服务器心跳时间，单位为ms
   initLimit=10 #投票选举心leader的初始化时间
   syncLimit=5 #leader与follower心跳检测最大容忍时间，响应超过syncLimit * tickTime,leader认为follower死掉，从服务器列表中删除follower
   clientPort=2181 #端口
   dataDir=/tmp/zooKeeper/data #数据目录
   dataLogDir=/tmp/zooKeeper/log #日志目录
   

8. sudo mkdir -p /tmp/zookeeper/data #数据目录
9. sudo mkdir -p /tmp/zookeeper/log #日志目录
10. cd …
11. cd bin
12. sudo ./zkServer.sh start
13. sudo ./zkServer.sh stop

1.2 Kafka 的安装和测试

建议 Ubuntu 用户 以 ROOT 权限执行。

1 tar -zxvf /mnt/hgfs/share-file/kafka_2.12-2.0.1
2 cd kafka_2.12-2.0.1
3 ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
4 ./bin/kafka-server-start.sh -daemon config/server.properties

5 jps

1425 QuorumPeerMain
3498 Jps
1724 Kafka

6 bin/zookeeper-server-stop.sh

7 创建主题

单机创建主题

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

集群创建主题 (ip自己定义哦)

./bin/kafka-topics.sh --create --zookeeper ip:2181,ip:2182,ip:2183 --replication-factor 3 --partitions 3 --topic reptest

8 查看主题

查看有哪些主题

./bin/kafka-topics.sh --list --zookeeper localhost:2181    

查看 test 主题

./bin/kafka-topics.sh --describe --zookeeper  localhost:2181 --topic test

9 生产者、消费者建立连接

生产者启动

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费者(较高版本，这里使用的是 kafka2.12-2.0.1)

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

消费者低版本

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

然后生产者就和消费者之间，建立连接了，也可以进行通信了。