Linux：虚拟机安装Linux、Hadoop的相关操作

一、前言

最近在学习Linux，初步完成了基础命令的学习，开始自己尝试安装Hadoop。大部分都是参考别人的文章，我这边主要是总结碰到的一些坑或者需要注意的命令，供自己后续学习。

需要包括以下步骤：
安装VMware——>安装Linux（我用了centos7）——>安装jdk——>安装Hadoop——>克隆虚拟机——>做虚拟机配置——>启动Hadoop

注意！务必安装好jdk和Hadoop后再克隆Linux，避免重复劳动！！！

二、基础程序安装

主要包括了Vmware、SecureCRT和Xftp 6
三个程序包的下载路径如下（不保证能用，可以自行百度）：
Vmware：
https://www.jb51.net/softs/638376.html
SecureCRT：
https://www.newasp.net/soft/16364.html
Xftp 6：
https://www.7down.com/soft/268899.html

注1：Xftp 6可以用linux中的rz命令来代替

yum install -y lrzsz

注2：rz命令不能在VMware里直接运行（弹不出窗口），需要在SecureCRT里才能正常使用！

三、安装Linux（centos7）

主要参考文章：
VMware安装Centos7超详细过程（图文）

重点关注：
注：在配置网络的时候，博主用了桥接模式，但我后续使用的是NAT模式。一开始我没改，导致后续无论我怎么在linux里修改都一直连不上网，后来如下图所示修改，再按照下面博文修改linux参数即可。
centos7 ping不通 name or service not known
1、虚拟机设置调整为NAT模式

2、Linux下输入下面命令调整

vi /etc/sysconfig/network-scripts/ifcfg-ens33

3、完成修改后记得重启网络

service network restart

四、安装JDK

主要参考文章：
虚拟机中Linux系统安装jdk的详细步骤

主要步骤：

1、解压jdk

mkdir opt
cd opt
rz #在这里根据弹出窗口手工导入
tar -zxvf jdk-8u144-linux-x64.tar.gz

2、配置java环境

vi /etc/profile #配置环境变量

配置文件最后输入：

export JAVA_HOME=/opt/jdk1.8.0_144/
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存后刷新环境变量使新编辑的profile生效：

source /etc/profile

查看是否对了

java -version

五、安装Hadoop

主要参考文章：
史上最简单详细的Hadoop完全分布式集群搭建
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)

主要步骤：

1、上载文件并解压缩

mkdir /opt/hadoop
cd /opt/hadoop
rz #在这里根据弹出窗口手工导入
tar -zxvf hadoop-2.8.3.tar.gz
vi /etc/profile #配置环境变量

2、新建几个目录

mkdir  /root/hadoop
mkdir  /root/hadoop/tmp
mkdir  /root/hadoop/var
mkdir  /root/hadoop/dfs
mkdir  /root/hadoop/dfs/name
mkdir  /root/hadoop/dfs/data

3、修改core-site.xml

cd /opt/hadoop/hadoop-2.8.0/etc/hadoop/
vi core-site.xml

在configuration节点内加入配置:

<configuration>
   <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://hserver1:9000</value>
   </property>
</configuration>

4、修改hadoop-env.sh

修改vi /opt/hadoop/hadoop-2.8.3/etc/hadoop/hadoop-env.sh文件

vi hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}
修改为：
export JAVA_HOME=/opt/jdk1.8.0_144
说明：修改为自己的JDK路径

5、修改hdfs-site.xml

vi /opt/hadoop/hadoop-2.8.3/etc/hadoop/hdfs-site.xml

vi hdfs-site.xml

在<configuration>节点内加入配置:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

6、新建并且修改mapred-site.xml

在该版本中，有一个名为mapred-site.xml.template的文件，复制该文件，然后改名为mapred-site.xml，命令是：

cp mapred-site.xml.template mapred-site.xml

修改这个新建的mapred-site.xml文件，在 configuration节点内加入配置:

 <property>
   <name>mapred.job.tracker</name>
   <value>hserver1:49001</value> #这里要注意，不同的虚机可能会不同
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

7、修改slaves文件

修改slaves文件，将里面的localhost删除，添加如下内容：

hserver2
hserver3

8、修改yarn-site.xml文件

修改/opt/hadoop/hadoop-2.8.3/etc/hadoop/yarn-site.xml文件，
vi /opt/hadoop/hadoop-2.8.3/etc/hadoop/yarn-site.xml

vi yarn-site.xml

在节点内加入配置(注意了，内存根据机器配置越大越好，我这里只配2个G是因为机器不行):

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hserver1</value>
   </property>
   <property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>
   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
   </property>
   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

说明：yarn.nodemanager.vmem-check-enabled这个的意思是忽略虚拟内存的检查，如果你是安装在虚拟机上，这个配置很有用，配上去之后后续操作不容易出问题。如果是实体机上，并且内存够多，可以将这个配置去掉。

9、配置环境变量

vi /etc/profile

配置文件最后输入：

export HADOOP_HOME=/opt/hadoop/hadoop-2.8.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存后使新编辑的profile生效：

source /etc/profile

六、克隆虚拟机并完成相关配置

1、修改hostname

hostname   hserver1

在分机上同样需要修改hostname，分别为hserver2和hserver3

2、修改/etc/hosts文件

vi /etc/hosts

192.168.253.131   hserver1
192.168.253.132   hserver2
192.168.253.133   hserver3

3、给3个机器生成秘钥文件

ssh-keygen  -t   rsa   -P  ''

4、在hserver1上创建authorized_keys文件

cd /root/.ssh/
cp id_rsa.pub authorized_keys

5、将两个子节点的公钥拷贝到主节点上

分别在两个子节点上执行：

scp /root/.ssh/id_rsa.pub root@hserver1:/root/.ssh/id_rsa_hserver2.pub

scp /root/.ssh/id_rsa.pub root@hserver1:/root/.ssh/id_rsa_hserver3.pub

6、在主节点上，将拷贝过来的两个公钥合并到authorized_keys文件中

主节点上执行（一次执行）：

cat id_rsa_hserver2.pub>> authorized_keys
cat id_rsa_hserver3.pub>> authorized_keys

7、将主节点的authorized_keys文件分别替换子节点的authorized_keys文件

主节点上用scp命令将authorized_keys文件拷贝到子节点的相应位置

scp authorized_keys root@hserver2:/root/.ssh/
scp authorized_keys root@hserver3:/root/.ssh/

七、启动Hadoop

1、在hserver1上运行下面代码：

cd   /opt/hadoop/hadoop-2.8.3/bin
./hadoop  namenode  -format

注：如果报错的话，一般是在第五步配置中格式出错导致的（比如多了一些< /configuration>）
2、在hserver1上运行下面代码：

cd    /opt/hadoop/hadoop-2.8.3/sbin
./start-all.sh

3、测试hadoop
1）、首先关闭防火墙

systemctl stop firewalld.service

2）、在windows随便打开一个浏览器，输入下面的hserver1的地址
http://192.168.10.131:50070/