DataNode启动失败：
2012-12-14 00:48:19,242 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/hadoop/hadoop-1.0.4/data, expected: rwxr-xr-x, while actual: rwxrwxrwx
2012-12-14 00:48:19,242 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
2012-12-14 00:48:19,242 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2012-12-14 00:48:19,301 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
进行分组统计的时候一直报错，Hadoop的Datanode不存在。
通过分析启动日志后发现fs.data.dir参数设置的目录权限必需为755，要不启动datanode节点启动就会因为权限检测错误而自动关闭。
我之前一直设置成chmod 777 不行，要chmod 755就可以了。。这个要在Linux的文件权限那里设置。
$ chmod 755 -R /usr/hadoop/hadoop-1.0.4/data
OK