Centos 7下VMware三台虚拟机Hadoop集群初体验

一、下载并安装Centos 7

　　传送门：https://www.centos.org/download/

　注：下载DVD ISO镜像

这里详解一下VMware安装中的两个过程

网卡配置

二、SecureCRT远程操控

ping www.baidu.com 发现slave1,2不通，而master可以ping通，查看master配置，发现两个从机少了一些配置。

安装vim：yum install vim-enhanced

分别修改配置：vim /etc/sysconfig/network 增加"nameserver 192.168.200.2"

再ping 发现问题解决

三台机器分别执行：vim /etc/sysconfig/network 像下图这样进行配置

三台机器分别执行：vim /etc/hosts 配置内容相同，增加

192.168.200.130 master
192.168.200.120 slave1
192.168.200.110 slave2

vi /etc/sysconfig/network-scripts/ifcfg-ens33

将dhcp 换位static 静态ip

systemctl restart network.service

之后重启并执行ping验证 ping master/ping slave1/ping slave2

三、下载安装jdk配置环境变量

传送门：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

注：下载的是 jdk-8u191-linux-x64.tar.gz

在home文件加下新建文件夹hadoop，上传本地jdk文件至该目录中yum install lrzsz rz为上传指令

因为我安装的centos7 为minimal版，若为其他版本例如图形界面版则需卸载本地jdk后再解压配置自己下载的jdk,可参考：https://www.cnblogs.com/sxdcgaq8080/p/7492426.html 前两个步骤。

解压 [root@master hadoop]# tar -zxvf jdk-8u191-linux-x64.tar.gz

配置java环境变量：vim /etc/profile
export JAVA_HOME=/home/hadoop/jdk1.8.0_191
export PATH=$PATH:$JAVA_HOME/bin
刷新配置：source /etc/profile
验证 java/javac/java -version

四、免秘钥登录操作——以master主机为例

第一步：ssh-keygen -t dsa

第二步：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

第三步：在~/.ssh目录下执行 scp authorized_keys [email protected]:~/.ssh/和scp authorized_keys [email protected]:~/.ssh/分别将授权文件复制给slave1,slave2

同样的三步骤要分别在slave1,slave2上执行，之后查看三台主机的authorized_keys：

看懂没？

五、下载安装完全分布式hadoop

注：下载二进制binary版本传送门：http://hadoop.apache.org/releases.html

[root@slave2 hadoop]# tar -axvf hadoop-2.8.5.tar.gz

在/home/hadoop/hadoop-2.8.5/etc/hadoop下面要进行七项配置：

配置1：vim hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk1.8.0_191

配置2：vim yarn-env.sh

export JAVA_HOME=/home/hadoop/jdk1.8.0_191

配置3：vim slaves

配置4：vim core-site.xml

1 <property>
2      <name>fs.defaultFS</name>
3      <value>hdfs://master:9000</value>
4 </property>
5 <property>
6      <name>hadoop.tmp.dir</name>
7      <value>/home/hadoop/hadoop-2.8.5/tmp</value>
8 </property>

配置5：vim hdfs-site.xml

1 <property>
2      <name>dfs.replication</name>
3      <value>2</value>
4 </property>
5 <property>
6      <name>dfs.secondary.http.address</name>
7      <value>master:50090</value>
8 </property>

配置6：mapred-site.xml是不存在的所以需要复制一份，怎么做呢？ mv mapred-site.xml.template mapred-site.xml

1 <property>
2      <name>mapreduce.framework.name</name>
3      <value>yarn</value>
4 </property>

配置7：vim yarn-site.xml

1 <property>
2     <name>yarn.resourcemanager.hostname</name>
3     <value>master</value>
4 </property>
5 <property>
6     <name>yarn.nodemanager.aux-services</name>
7     <value>mapreduce_shuffle</value>
8 </property>

六、将配置好的hadoop复制到另外两台机器

1 scp -r /home/hadoop/hadoop-2.8.5 slave1:/home/hadoop/
2 scp -r /home/hadoop/hadoop-2.8.5 slave2:/home/hadoop/

七、配置 bin、sbin路径

1 vim /etc/profile
2 
3 export JAVA_HOME=/home/hadoop/jdk1.8.0_191
4 
5 export HADOOP_HOME=/home/hadoop/hadoop-2.8.5
6 
7 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

八、重启并测试

1 hdfs namenode -format
2 start-dfs.sh

SUCCESS!

目前这篇随笔更像是什么都不懂的外行人按照博客以及自己的实践从头到尾跑下来的成功案例，本人羞愧的说也确实这样。至于其中的众多道理我还不怎么懂，我会在今后不断维护这篇博客，让其更有料，让其完全成为自己肚子里的知识。

参考文章：https://www.cnblogs.com/biehongli/p/7640469.html 感谢该作者~

Centos 7下VMware三台虚拟机Hadoop集群初体验

猜你喜欢