老夫初学Hadoop,安装之后从上传数据就开始出幺蛾子
开始安装的时候,什么问题都没有,检查连接端口
http://master:50070
以及
http://master:8088
都好好的啊,那么开始从本地开始往hdfs上面传数据呗
上面这个错误,百度了好久,大概解决办法都比较统一
-
删除数据存储文件夹,一般网上放到的是/tmp/dfs下面
反正我放的是用户名所在文件下面的bigdata文件夹下面,删除里面所有文件(注意,下面命令要在每个datanode上面都执行)rm -Rf ~/bigdatadfs/*
-
格式化Namenode
hadoop namenode -format -
重新启动集群
依旧不报错,然后还是执行copyFromLocal命令,悲了个剧,还是上面截图的错误
hadoop fs -copyFromLocal people.json /user/hadoop/spark/sql
反正纠结了很久,什么jps的进程啦(主要是namenode,ResourceManager,NodeManager,DataNode,SecondaryNameNode)这些都不少啊
然后去看log,也不报错啊。
最终实在没办法,听从群里大神的吩咐,重装了hdfs
然后这次开始是报了下面的错误:
这个解决方法还是跟上面方法一样,三步走,删数据节点,格式化Namenode,重启
然后,神奇的,好了!连上面第一个问题也没了,哈哈哈!
扫描二维码关注公众号,回复:
5242002 查看本文章