kafka常见异常汇总

 

1>.kafka.common.KafkaStorageException: I/O exception in append to log '__consumer_offsets-14'

  发生上述问题,原因是发生OOM啦,会导致kafka进程直接崩溃掉!因此我们只能重新启动broker节点了,但是我们为了让broker节点启动成功快一点的话,可以将一个参数的之调大:“num.recovery.threads.per.data.dir=30”,没错就是他,我们将他的值越调大越好。这个线程数主要是负责停止和启动broker的。我是32core的服务器,因此我给他分配了30个,咱们可以尽量的把这个参数调大,便于该broker节点更快的加入到ISR列表当中。

  首先,根据上面的提示恢复服务是第一件要做的事情,接下来,我们得分析分析为什么会出这个事情,我们一起看一下,我给我的kafka集群分配了20G内存,如下图:

  查看了近2个星期的监控图,发现可用内存在持续减少,初步怀疑可能发生了内存泄漏。

  这也只是怀疑,因为出错之前我没有监控JVM的情况,吃一堑,长一智,赶紧用zabbix将kafka的jvm监控起来。

 

2>.

猜你喜欢

转载自www.cnblogs.com/yinzhengjie/p/9965383.html