Hadoop Single Node Cluster的安装完整版

Hadoop Single Node Cluster是只以一台机器，建立hadoop环境，您仍然可以使用hadoop命令，只是无法发挥使用多台机器的威力。因为只有一台服务器，所以所有功能都在一台服务器中，安装步骤如下:
1 安装JDK
2 设定 SSH 无密码登入
3 下载安装Hadoop
4 设定Hadoop环境变数
5 Hadoop组态档设定
6 建立与格式化HDFS目录
7 启动Hadoop
8 开启Hadoop Web接口

1.安装JDK

java -version 
sudo apt-get update      更新软件包信息
sudo apt-get install default-jdk  安装JDK
java -version 
update-alternatives --display java

2.设定 SSH 无密码登入

sudo apt-get install ssh
sudo apt-get install rsync
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa    生成ssh密钥
ll /home/hduser/.ssh                        
ll ~/.ssh                                   查看生成的密钥
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys      将产生的key放到许可证文件中

3.下载安装Hadoop

wget http://ftp.twaren.net/Unix/Web/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz 
sudo tar -zxvf hadoop-2.6.4.tar.gz         解压缩
sudo mv hadoop-2.6.4 /usr/local/hadoop     移动到/usr/local/hadoop
ll /usr/local/hadoop                       查看hadoop安装目录

4.设定Hadoop环境变数

修改~/.bashrc

sudo gedit ~/.bashrc

输入下列内容

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 
export HADOOP_HOME=/usr/local/hadoop 
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

让~/.bashrc修改生效

source ~/.bashrc

5.修改Hadoop组态设定档

Step1 修改hadoop-env.sh

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

输入下列内容:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

Step2 修改core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

在<configuration></configuration>之间，输入下列内容:

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

Step3 修改yarn-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

在<configuration></configuration>之间，输入下列内容:

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

Step4 修改mapred-site.xml

sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml 
复制模板文件
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

输入下列内容:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

Step5 修改hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

在<configuration></configuration>之间，输入下列内容:

<property>
<name> dfs.replication</name>
<value>3</value>
</property>
<property>
<name> dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
<name> dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>

6.建立与格式化HDFS 目录

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode 
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode 
sudo chown hduser:hduser -R /usr/local/hadoop 
hadoop namenode -format

7.启动Hadoop
启动start-dfs.sh，再启动 start-yarn.sh

start-dfs.sh start-yarn.sh

或启动全部

start-all.sh

查看目前所执行的行程

jps

8.开启Hadoop ResourceManager Web接口
Hadoop ResourceManager Web接口网址

http://localhost:8088/

9.NameNode HDFS Web接口
开启HDFS Web UI网址

http://localhost:50070/

Hadoop Single Node Cluster的安装完整版

猜你喜欢