Hadoop 伪分布安装 （内附ssh免密登录，收藏起来看哦）
目录
Hadoop 伪分布安装 （内附ssh免密登录，收藏起来看哦）
一： 安装前准备
安装前工作： 确保已经装好虚拟机及linux系统，准备好hadoop安装包和jdk安装包
以下为可能会用到的安装工具及网盘下载链接【自取】：
- hadoop-2.7.7.tar.gz
链接：https://pan.baidu.com/s/18tMvslkfjyulrip9-2IitQ
提取码：aoye
2. jdk-8u211-linux-x64.tar
链接：https://pan.baidu.com/s/1lGoPs6zwmkysw4uW2PhXag
提取码：aoye
3. WinSCP-5.17.5-Setup
链接：https://pan.baidu.com/s/137BmJIktaGzN0p4fylbUhQ
提取码：aoye
二： jdk 安装，java环境配置
1. 上传hadoop-2.7.7.tar.gz安装包和jdk-8u211-linux-x64.tar安装包到linux系统 【可通过winscp工具将windows系统上安装包上传到linux系统】
2. 将安装包放到根目录下/opt目录下【可在上传安装包时选择对应目录！也可后续移动】
3. 配置jdk【在/opt下创建目录jdk，将jdk解压在该文件下】
4. 在/etc/profile目录下配置环境变量和启动程序，输入：vi /etc/profile 【按 i 进入编辑模式，编辑完后先按esc 再输入 :wq 保存并退出】
#JAVA ENV
export JAVA_HOME=/jdk解压目录
export PATH=$JAVA_HOME/bin:$PATH
5. 刷新使得编辑文件生效,输入： source /etc/profile
6. 输入查看java环境是否安装成功： java -version
三： 伪分布hadoop环境安装
hadoop安装模式： 本地安装，伪分布安装，完全分布式安装
安装流程： 解压安装包----配置环境----修改五个配置文件-----格式化namenode----启动hadoop
1. 解压hadoop-2.7.7.tar.gz安装包【在/opt目录下创建hadoop目录，把hadoop-2.7.7.tar.gz解压到该目录下】
解压后目录如下：
2. 配置hadoop环境【在 /etc/profile 目录下配置，输入：vi /etc/profile，按 i 进入编辑模式，编辑完后先按esc 再输入 :wq 保存并退出】
#HADOOP ENV
export HADOOP_HOME=/hadoop解压目录
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
3. 刷新使得文件生效，并查看环境是否配置成功【刷新：source /etc/profile ; 查看是否配置成功：hadoop】
4. 进入hadoop解压目录下的/etc/hadoop目录下 【例如： cd /opt/hadoop/hadoop-2.7.7/etc/hadoop】
5. 修改五个配置之一：hadoop-env.sh 【按 i 进入编辑模式，编辑完后先按esc 再输入 :wq 保存并退出】
6. 修改五个配置文件之一： hdfs-site.xml 【在../etc/hadoop目录下输入：vi hdfs-site.xml】
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>1</value>
</property>
7. 修改五个配置文件之一： core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name># tmp目录需自己创建在对应的目录下
<value>/opt/hadoop/hadoop-2.7.7/tmp</value>
</property>
8. 修改五个配置文件之一： mapred-site.xml 【没有这个配置文件，通过拷贝mapred-site.xml.template产生，输入： cp mapred-site.xml.template mspred-site.xml】
<property>
<name>mapreduce.framwork.name</name>
<value>yarn</value>
</property>
9. 配置五个配置文件之一： yarn-site.xml
<property>
<name>yarn-resourcemanager.hostname</name>
<value>主机名</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
10. 格式化namenode 【回到hadoop解压主目录，进入bin目录下，输入命令进行格式化：hdfs namenode -format】
成功后如下截图：
【如有格式化错误可根据所报日志进行查找，注意修改的配置文件中不能有半点错误！！】
11. 启动hadoop 【进入hadoop安装目录下的 /sbin 目录下，输入命令启动：./start-all.sh】
注意：启动需多次输入密码，比较麻烦，结尾将给出免密登录的配置（可不用多次输入密码启动hadoop），密码输入是不显示的，输入完回车即可！
12. 启动成功后必须得有以下五个进程【namenode，datanode，secondarynamenode，resourcemanager。nodemanager】，输入查看： jps
13. hadoop配置并启动成功，可在浏览器输入端口号访问web页面： 主机名：50070
出现访问不了页面的问题，通过以下解决：
1. 查看防火墙状态并关闭防火墙：
2. 配置windows端ip映射 【进入以下目录：C:\Windows\System32\drivers\etc，修改hosts文件加入linux主机ip和主机名，切记保存并退出】
四： ssh免密登录配置【简化启动】
1. 关闭hadoop【sbin目录下：./stop-all.sh】
2. 进入/root/.ssh目录：cd ~/.ssh
3. 输入 ssh-keygen -t rsa 【三下回车，生成两个文件id_rsa（私匙），id_rsa.pub（共匙）】
4. ssh-copy-id 主机名【将公匙拷贝到要免密登录的机器上】
5. 配置好后如下【启动不用再输入密码】
五： 总结
以上为hadoop伪分布安装以及免密登录，解释得有不清楚的地方多多海涵。