hadoop的java.opts设置有误导致job setup失败

由于各台机器配置不同,想单独设置每个节点的mapred.child.java.opts参数,开始设置为
<property>
<name>mapred.child.java.opts</name>
<value>-Xms512m -Xmx512m -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:+CMSClassUnloadingEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:PretenureSizeThreshold</value>
</property>


节点重启无误,但发现提交的job每次都setup fail,只有一一排查,最后精简为
<property>
<name>mapred.child.java.opts</name>
<value>-Xms512m -Xmx512m -XX:+UseConcMarkSweepGC</value>
</property>

job才正确运行,估计有些参数不支持所致。

猜你喜欢

转载自blackwing.iteye.com/blog/1700107