Hadoop于VMware下配置----------Ubuntu18.04（单主机Hadoop环境）

一、准备工作

1.虚拟机:vmware10及其注册机 https://pan.baidu.com/s/1B9Rkckcd7GEFv4o-EVdu_Q

2.操作系统：Ubuntu18.04 https://pan.baidu.com/s/1aF04l2NQ41tzmybRxQJXhQ

3.Hadoop2.6.4: https://pan.baidu.com/s/12Ty_35GkYjJNDl4OBI3VKQ

4.集群结构：

ç¬¬5ç« Â HadoopÂ 2.6Â MultiÂ NodeÂ Clusterå®è£æä»¤

二、Hadoop Single Node Cluster的安装

先创建以一台机器能够运行的Hadoop的环境，这样可以测试错误，以后master与data结点的建立可以直接复制，再在其基础上修改，节省了时间。

1.安装JDK

因为Hadoop是以JAVA开发的，所以需要安装java环境

sudo apt-get install default-jdk

查询Java版本，确保是否安装成功 java -version

查询Java安装路径，等下好配置环境变量

update-alternatives --display java

查询结果：

2.设置SSH无密码登陆

安装SSH

sudo apt-get install ssh

安装rsync

sudo apt-get install rsync

产生SSH Key进行后续身份验证

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

查看产生的SSH Key

ssh key会产生在用户的根目录下，即/home/master

将产生的Key放置到许可认证文件中

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3.下载安装Hadoop

解压缩hadoop-2.6.4.tar.gz至hadoop-2.6.4目录

sudo tar -zxvf hadoop-2.6.0.tar.gz

移动 hadoop-2.6.4目录到/usr/local/hadoop

因为liunx下的软件默认安装路径是/usr/local

sudo mv hadoop-2.6.0 /usr/local/hadoop

4.设置Hadoop环境变量

编辑~/.bashrc

sudo gedit ~/.bashrc

在文件末尾添加以下内容

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64          #这里为java的安装文件地址
export HADOOP_HOME=/usr/local/hadoop            #这里为hadoop的安装文件地址
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

保存完后让bashrc生效

source ~/.bashrc

5.修改Hadoop配置设置文件

① 修改hadoop-env.sh

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}改为下列內容:

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

②修改core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

将其改为：fs.default.name hdfs://localhost:9000

③ 修改yarn-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

输入下列內容:

<!-- Site specific YARN configuration properties -->
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

④修改mapred-site.xml

mapred-site.xml用于设置监控Map与Reduce程序的JobTracker任务分配情况以及TaskTracker任务运行情况。

#复制模板文件mapred-site.xml.template至mapred-site.xml
sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml 
编辑mapred-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

输入下列內容:

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
   <name>mapreduce.framework.name</name>
   <value>master:54311</value>
</property>
</configuration>

⑤修改hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

输入下列內容:

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
   <name>dfs.replication</name>
   <value>3</value>               
</property>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
   <name>dfs.datanode.name.dir</name>
   <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>
</configuration>

其分别为设置blocks副本备份数量、设置NameNode数据存储目录、设置DataNode数据存储目录

6.创建并格式化HDFS目录

创建namenode数据存储目录
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode 
创建datanode数据目录
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode 
将Hadoop目录的所有者更改为登陆用户
sudo chown hduser:wxk -R /usr/local/hadoop 
将HDFS进行格式化
hadoop namenode -format

7.启动Hadoop

启动start-dfs.sh，再启动 start-yarn.sh
start-dfs.sh start-yarn.sh
启动全部
start-all.sh
查看目前所执行的行程
jps

三、打开Hadoop Web界面

1.打开Hadoop ResourceManager Web界面：http://localhost:8088/

Hadoop ResourceManager Web界面可用于查看当前Hadoop的状态：Node结点、应用程序、进程运行状态

2.打开HDFS Web UI界面：http://localhost:50070/

HDFS Web UI界面可以检查当前HDFS与DataNode的运行状况

四、关于多台机器建立Hadoop集群请看下一篇

Hadoop于VMware下配置----------Ubuntu18.04（多主机Hadoop集群）

Hadoop于VMware下配置----------Ubuntu18.04（单主机Hadoop环境）

猜你喜欢