大数据基础环境之kafka(3台虚拟机)

Kafka集群:

首先,下载解压压缩包 kafka_2.11-2.0.0.tgz

到 /usr/kafka/

配置/usr/kafka/kafka_2.11-2.0.0/config/server.properties文件:

打开监听端口(打开这一行注释):

 

修改zookeeper.connect:

 

配置 broker 的ID:

 

修改 log 的目录:

 

然后就配置完成了

接着使用远程复制将/usr/下的kafka目录分发到其他节点

之后进入其他节点的server.properties文件修改如:

其他节点的broker.id=2 ....依次递增就好。

 

然后在每个节点上启动kafka命令如下:

/usr/kafka/kafka_2.11-2.0.0/bin/kafka-server-start.sh /usr/kafka/kafka_2.11-2.0.0/config/server.properties &

 

创建topic(命令):

kafka-topics.sh --create --zookeeper spark1:2181,spark2:2181,spark3:2181 --replication-factor 3 --partitions 3 --topic xxx  (rf参数副本数,par参数分区数,xxx是topic的名称)创建topic

查看topic(命令):

/usr/kafka/kafka_2.11-2.0.0/bin/kafka-topics.sh -list --zookeeper spark1:2181,spark2:2181,spark3:2181

 

测试kafka是否可用:

创建生产者(在kafka的根目录下执行):

bin/kafka-console-producer.sh --broker-list spark1:9092,spark2:9092,spark3:9092 --topic test

创建消费者:

bin/kafka-console-consumer.sh --bootstrap-server spark1:9092 --topic test --from-beginning

生产者中输入消息:

消费者实时接收消息:

完成测试

猜你喜欢

转载自blog.csdn.net/ln1593570p/article/details/83590794