Hadoop常见问题
- 任何配置文件的修改尽量先关闭集群
- centos 无网络 重启 network.service 显示以下情况
原因 :
NetworkManager是fedora上的一个网络地址服务，它会自动地检测目前网络上的设置，并自动修改设置文件的内容，如无线网络的检测等。
但当它无法识别时，就会产生无法联机的状况，因此建议将NetworkManager停用并开启network服务.二者都可以配置网络服务.
二者都是配置网络连接的 , 但是 , 不能同时使用, 会发生冲突
解决方法:
关闭 NetworkManager
service NetworkManager stop
重启网络服务
systemctl restart network.service
- 节点开启安全模式无法启动
原因: 错误的关闭虚拟机或其他原因
解决方法:
退出安全模式
hadoop dfsadmin -safemode leave
- 出现无法连接的情况 如下图:
原因: 子节点防火墙未关闭
解决方法 :
关闭 防火墙
systemctl stop firewalld
设置开机不启动
systemctl disable firewalld
- hadoop 虚拟内存过小 问题 : centos 内存为 2G 但是设置的虚拟内存等于 或者小于 2G 将会出现问题
解决方法:
设置配置文件 yarn.site.xml
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
设置的虚拟内存 最好是本机内存的2倍 例如 本机内存是 2G 设置的值因为 4096
- 使用eclipse 远程连接hadoop 集群出现
原因 : 缺少 操作系统缺少 xxxx.dll文件
解决方法 :
链接：https://pan.baidu.com/s/1RsVgWDEtZfn22_gPWIEw4g
提取码：9emm
放置dll:
32位\msvcr120.dll 粘贴到 C:\Windows\System32目录中
64位\msvcr120.dll 粘贴到 C:\Windows\SysWOW64目录中
使用junit依然会报错 , 原因未知 , 直接用java程序运行即可
新的解决方法 : 首先要有 360
尝试运行winutils.exe，查看报错(win + R 输入winutils)
360 会自动提示修复 或者去360软件中心下载微软常用库
完美解决
- 由于错误操作导致NameNode(我的是由于在集群启动时修改配置文件)
解决方法 : 删除以前的编辑日志 (一定要确认时间 , 否则多删除 , 部分文件会丢失)
- eclipse无法连接hdfs
1. etc/hosts/ 域名映射
2.9000 端口开房
3.本机windows防火墙
.... 持续更新
欢迎关注我的微信公众号 : 大数据初学者 获取大数据学习资源