hadoop服务器磁盘损坏的处理办法

hadoop设备经常会发生磁盘只读或者损坏的情况,出现这样的问题,datanode和tasktracker会无法启动。解决办法如下:

让datanode正常运行,需要设置系统可以容忍的损坏磁盘数,默认为0:

  <property>
    <name>dfs.datanode.failed.volumes.tolerated</name>
    <value>3</value>
  </property>

让TT(tasktracker)正常运行,这个我没有找到更好的办法, TT会写文件到"mapred.local.dir"中目录,hadoop没有提供相关的解决办法,退一步的处理办法mkdir,然后把损坏的目录盘挂到创建的DIR下。

-- heipark

猜你喜欢

转载自heipark.iteye.com/blog/1335492