kafka consumer 日志疯狂输出 marking the coordinator host:9092 for dead group consumer-test

最近在调试spark-streaming消费kafka消息时发现日志疯狂输出

        marking the coordinator host:9092 for dead group consumer-test

kafka server为集群,连接时使用的是hostname:9092方法去连接,程序也不报错,去kafka server当中查询consumer-test组也存在,经过排查发现是由于我的kafka集群某些hostname并未在client机器上配置,而其它机器server的hostname配置了,某一个机器网络是不通的,导致去获取该机器上的consumer-test组时无法获取到,就标记该组在机器上为死亡状态。


解决方案:配置该kafka server节点的hostname到client的/etc/hosts文件下,保证两者网络通信畅通。重新启动spark应用后,程序消费正常,问题解决


例如:连接kafka的ip地址为:192.10.9.20:9092                kafka的节点显示的是cnode1 dead

需要在host文件当中配置:192.10.9.20    cnode1 

猜你喜欢

转载自blog.csdn.net/qq_34246546/article/details/80880948