hadoop中NameNode节点CPU使用量高 解决方案(亲测)

集群中任务执行超慢,查原因

top一下

查看19118进程 

发现这个节点是NameNode节点

然后

ps aux |grep 19118

jstat -gcutil 19118 1000 1000查看jvm GC

GC超高

问题就是namenode负载太高,内存不够用导致CPU飙升

解决方案调整hadoop_namenode_heapsize参数调到16G(按照集群情况定)

HADOOP_SECONDARYNAMENODE_OPTS="-Xmx16384m"(namenode和SecondaryNameNode保持一致)

然后重启NameNode和SecondaryNameNode

观察GC回收状况

恢复正常

猜你喜欢

转载自blog.csdn.net/qq_30498935/article/details/81986242