Hadoop 安装及伪分布模式配置

安装

• 下载 jdk x64版本
• tar -xzvf jdk-8u191-linux-x64.tar.gz /usr/soft解压文件到/usr/soft目录下
• 配置环境变量
  1. 打开environment : sudo vi /etc/environment
  2. 配置：JAVA_HOME="/usr/soft/{jdk_unzip_name}"
  3. 配置：PATH="XXX:/usr/soft/{jdk_unzip_name}/bin"
• 验证jdk是否安装成功
  java -version

  java version “1.8.0_191”
  Java™ SE Runtime Environment (build 1.8.0_191-b12)
  Java HotSpot™ 64-Bit Server VM (build 25.191-b12, mixed mode)

• 下载Hadoop
• tar -xzvf hadoop-2.9.2.tar.gz /usr/soft解压文件到/usr/soft目录下
• 配置环境变量, 编辑 /etc/environment

JAVA_HOME="/usr/soft/jdk1.8.0_191"
HADOOP_INSTALL="/usr/soft/hadoop-2.9.2"
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/soft/jdk1.8.0_191/bin:/usr/soft/hadoop-2.9.2/bin:/usr/soft/hadoop-2.9.2/sbin"

• 重新载入environment : source /etc/environment

  这里需要注意，需要重启机器才能使环境变量的配置完全生效，机器重启可用以下命令：
  systemctl reboot -i

安装完成之后，输入 hadoop version，验证安装的正确性

Hadoop 2.9.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704
Compiled by ajisaka on 2018-11-13T12:42Z
Compiled with protoc 2.5.0
From source with checksum 3a9939967262218aa556c684d107985
This command was run using /usr/soft/hadoop-2.9.2/share/hadoop/common/hadoop-common-2.9.2.jar

Hadoop 伪分布模式配置

Hadoop共有三种配置模式，standlone, 伪分布，以及全分布。这里我们介绍一下，伪分布的配置。值得一提的是，Hadoop安装成功之后默认配置standlone模式，不同模式之间可以功能存在。

1. cd $HADOOP_INSTALL/etc/
2. sudo cp -R /hadoop /hadoop_pseduo
3. cd /hadoop_pseduo
4. 分别配置core-size.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml 如下：

<?xml version="1.0"?> 
<!--core-site.xml--> 
<configuration>		
<property>				
<name>fs.defaultFS</name>				
<value>hdfs://localhost/</value>		
</property> 
</configuration>
<?xml version="1.0"?> 
<!--hdfs-site.xml--> 
<configuration>		
<property>				
<name>dfs.replication</name>				
<value>1</value>		
</property> 
</configuration> 
<?xml version="1.0"?> 
<!--mapred-site.xml	-->
<configuration>		
<property>				
<name>mapreduce.framework.name</name>				
<value>yarn</value>		
</property> 
</configuration> 
<?xml version="1.0"?>
<!--yarn-site.xml-->
<configuration>		
<property>				
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>		
</property>		
<property>				
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>		
</property> 
</configuration> 

这里还有重要的一步就是配置ssh, 实现不同节点间的免密链接

• sudo apt-get install ssh
• ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
• cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
• ssh localhost

在第一次使用HDFS文件系统，我们需要对其进行格式化：

hdfs namenode -format
namenode 保存了hadoop的所有文件目录

启动Hadoop

start-dfs.sh --config path-to-config-directory
start-yarn.sh --config path-to-config-directory

查看hdfs文件系统

hadoop fs -ls /
OK 大功告成 ~~