即将上线的Kafka 集群(用CM部署的)无法使用“--bootstrap-server”进行消费,怎么破?

           即将上线的Kafka 集群(用CM部署的)无法使用“--bootstrap-server”进行消费,怎么破?

                                                    作者:尹正杰

版权声明:原创作品,谢绝转载!否则将追究法律责任。

 

一.报错:org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.

1>.由于我默认就开启了自动创建topic,因此我们直接启动生产者:kafka-console-producer.sh --broker-list 10.1.3.116:9092  --topic yinzhengjie-kafka (在一台安装jdk8版本的机器上操作)

2>.紧接着我们启动消费者,观察是否能收到数据:kafka-console-consumer.sh --zookeeper 10.1.1.102:2181 --from-beginning --topic yinzhengjie-kafka(在一台jdk1.7上操作的)

 

  解决办法:

    查看Kafka集群是否正常启动,如果没有启动需要将Kafka集群启动起来!经常看我的Kafka集群挂掉了3台,导致的Kafka集群不可用

二.[2018-10-12 21:40:12,864] WARN Fetching topic metadata with correlation id 0 for topics [Set(yinzhengjie-kafka)] from broker [BrokerEndPoint(267,kafka119.aggrx,9092)] failed (kafka.client.ClientUtils$)

1>.由于我默认就开启了自动创建topic,因此我们直接启动生产者:kafka-console-producer.sh --broker-list 10.1.3.116:9092  --topic yinzhengjie-kafka (在一台安装jdk8版本的机器上操作) 

2>.紧接着我们启动消费者,观察是否能收到数据:kafka-console-consumer.sh --zookeeper 10.1.1.102:2181 --from-beginning --topic yinzhengjie-kafka(在一台jdk1.7上操作的) 

  解决办法:

    这是由于无法识别我的Kafka集群的主机名,我的解决办法就是修改了Linux的hosts配置文件,

 

 

 注意,以上两个问题的JDK版本是不一致的,但是问题最终都得到解决,和jdk版本无关!下面是查看java环境

  生产者jdk版本如下:

  消费者jdk版本如下:

三.使用--bootstrap-server参数无法消费Kafka种的数据

1>.启动生产者

2>.启动消费者拿不到数据

  我的这个kafka版本是从:https://www.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html 下载的0.10.2.0版本。

  我下载后采用的是CM部署的,但是无法使用“--bootstrap-server”进行消费。暂时还没有解决办法,打算周末在看看官方文档:http://kafka.apache.org/quickstart

  好啦!时间不早了,我也该该走了,不然赶不上地铁了!!!晚安,兄弟们!

猜你喜欢

转载自www.cnblogs.com/yinzhengjie/p/9780976.html