Hadoop环境搭建（一）虚拟机快速创建和环境准备
搭建所使用的环境和软件：
- VMware15
- CentOS 7 64位
- Xshell
- Xftp
- hadoop-2.7.2.tar.gz
- jdk-8u162-linux-x64.tar.gz
创建虚拟机(VM)
-
用典型简单创建：
-
给虚拟机分配处理器,内存资源和网络适配器。
我这里为 1 个虚拟 CPU 和 2G 内存，网络适配器为NAT,可按需求修改.
-
为虚拟机分配存储空间。
我这里分配的20G,根据实际需要设置虚拟硬盘容量。
完成虚拟机创建配置后给VM安装操作系统
- 出现 CentOS Linux 7 安装屏幕，按回车(或等待 1 分钟)继续。
- 按 Esc 键跳过安装源检查，等待安装程序对系统自检(等待时间较长)。
- 选择语言，中文->简体中文。点击“继续”。
5. 选择安装源(默认)，软件选择，安装位置。点击“软件选择”，选择软件。 
6. 在VMware进行安装centos7，安装计算节点：调试工具，性能工具，开发工具,就够了 
7. 点击”安装位置”，选择自动分区，单击左上角”完成”。
9. 开始安装，安装过程中可设置 root和用户和密码
11. 重启后，在“初始设置”页面，点击“未接受许可证”
点击“我同意许可协议”复选框，按左上角“完成”。再在“初始设置”页面点击“完成配置”。
12. 在“欢迎”页面，选择“汉语”。
如果时间不对，设置时区和时间同步
用root登陆打开终端：
在终端依次运行：
- 安装ntpdate工具
yum -y install ntp ntpdate - 设置系统时间与网络时间同步:
ntpdate cn.pool.ntp.org - 将系统时间写入硬件时间
hwclock --systohc - 检查时间是否同步
date
将一台虚拟机ip修改为静态ip,和修改主机名字
以hadoop-00为例
- 查看虚拟网络连接器
- 查看NAT设置，查看网关
根据自己的网段，从这儿规划出4个IP，以后会用。
192.168.218.132 hadoop-00
192.168.218.133 hadoop-01
192.168.218.134 hadoop-02
192.168.218.135 hadoop-03
5. 修改主机名
vim /etc/hostname
6. 修改/etc/hosts
修改内容为规划好的ip以及对应的主机名
vim /etc/hosts
7. 修改静态ip
- 第一步：
vim /etc/sysconfig/network-scripts/ifcfg-ens33
这是我的配置，黄色荧光是我改的部分，如果你的配置没有的部分自己要添加。
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
#BOOTPROTO="dhcp"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="6ddb40f1-d3c7-498b-9b5c-c92af02b8a65"
DEVICE="ens33"
ONBOOT="yes"
BOOTPROTO="static"
IPADDR=192.168.218.132 #静态IP
GATEWAY=192.168.218.2 #默认网关
NETMASK=255.255.255.0 #子网掩码
DNS1=192.168.218.2 #DNS 配置
- 第二步：
修改完后，执行：
systemctl restart network.service
- 第三步:
检查一下
ifconfig
ping下自己
ping 192.168.218.132
ping下百度
ping www.baidu.com
都能ping通说明成功了。
用Xshell连接
Xshell用途:Xshell可以在Windows界面下用来访问远端不同系统下的服务器，从而比较好的达到远程控制终端的目的，通俗来讲就是远程操控。
-
新建会话，主机填所连接的IP
-
接受并保存
-
填写账户名
-
填写密码
5. 连接成功
关闭防火墙
- 查看防火墙状态
firewall-cmd --state - 停止firewall
systemctl stop firewalld.service - 禁止firewall开机启动
systemctl disable firewalld.service
配置自己的用户具有root权限
vim /etc/sudoers
在100行后面添加：有两种设置模式
- 添加
zyy ALL=(ALL) ALL
这种模式：采用sudo命令时，输入密码次数较多 - 添加
zyy ALL=(ALL) NOPASSWD:ALL
这种模式：采用sudo命令时，不需要输入密码
安装JDK
用自己的用户进行后续：
- 在/opt目录下创建module、software文件夹并修改文件夹的所有者
cd /opt/
sudo mkdir module
sudo mkdir software
sudo chown zyy:zyy module/ software/
ll
2. 卸载现有JDK
(1). 查询是否安装Java软件：
rpm -qa|grep java
(2). 全部卸载
rpm -e --nodeps 包名称
sudo rpm -e --nodeps java-1.7.0-openjdk-1.7.0.221-2.6.18.1.el7.x86_64
sudo rpm -e --nodeps java-1.8.0-openjdk-1.8.0.222.b03-1.el7.x86_64
sudo rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch
sudo rpm -e --nodeps javamail-1.4.6-8.el7.noarch
sudo rpm -e --nodeps tzdata-java-2019b-1.el7.noarch
sudo rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.221-2.6.18.1.el7.x86_64
sudo rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.222.b03-1.el7.x86_64
sudo rpm -e --nodeps javassist-3.16.1-10.el7.noarch
sudo rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch
- 用Xftp将JDK导入opt目录下面的software文件夹下
(1). Xfrp新建会话如Xshell
(2). 传过去
看看是否成功
cd /opt/software/
ls
- 解压JDK到/opt/module目录下
tar -zxvf jdk-8u162-linux-x64.tar.gz -C /opt/module/
-
配置JDK环境变量
(1). 打开/etc/profile文件
sudo vi /etc/profile
(2). 末尾添加JDK路径
添加的内容#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_162 export PATH=$PATH:$JAVA_HOME/bin
(3). 让修改后的文件生效
source /etc/profile
-
看看JDK是否安装成功
java -version
安装hadoop
-
解压Hadoop安装包到/opt/module下
cd /opt/software/ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/ ls /opt/module/解压：
查看解压成功没
-
将Hadoop添加到环境变量
(1). 打开/etc/profile文件末尾添加路径
sudo vi /etc/profile
#添加的内容： ##HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
(2). 使文件生效
source /etc/profile
(3). 检查是否成功
hadoop version
收工！第一台虚拟机创建好了！
