一、修改配置文件
1.修改配置文件hadoop-env.sh
在 /usr/local/java/hadoop-2.7.7/etc/hadoop目录下面修改hadoop-env.sh
执行命令:
cd /usr/local/java/hadoop-2.7.7/etc/hadoop
输入ls查看文件
执行命令:
sudo vi hadoop- env.sh
在hadoop-env.sh中修改
2.修改配置文件core-site.xml
在hadoop目录下执行命令:
sudo vi core-site.xml
3.修改配置文件hdfs-site.xml
在hadoop目录下执行命令:
sudo vi hdfs-site.xml
二、格式化NameNode
执行命令:
hdfs namenode -format 或者 hadoop namenode -format
需要多次输入密码进行验证
启动NameNode和DataNode
执行命令:
start-dfs.sh
检查是否成功启动
三、配置yarn服务
修改配置文件mapred-site.xml
在hadoop目录下执行命令
如果目录中没有mapred-site.xml 执行命令
sudo mv mapres-site.xml.template mapred-site.xml
接着执行命令:
sudo vi mapred-site.xml
输入以下内容:
修改配置文件yarn-site.xml
在hadoop目录下修改文件:
启动yarn服务
start-yarn.sh
在启动过程中需要输入密码进行验证
输入jps查看启动结果
四、SSH免密码登录
- cd ~/.ssh/
- ssh-keygen -t rsa(一直按回车键)
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- chmod 700 ~/.ssh (修改~/.ssh的权限为700)
- chmod 644 ~/.ssh/authorized_keys
- chmod 700 ~/.ssh/id_rsa
- chmod 777 ~/.ssh/id_rsa.pub
- chmod 777 ~/.ssh/known_hosts
- ssh localhost 免密码登录
再次重新启动分布式文件系统服务的时候,就没有输入密码确认了!
在Web界面输入以下网址,可以查看NameNode和Datanode的信息,也可以在线查看HDFS中的文件
http://localhost:50070