CentOS7+Hadoop2.7配置流程（非安装教程）

CentOS7+Hadoop2.7配置流程（非安装教程）

（可选）时间同步

因为我们是虚拟机克隆，故省略这一步

yum install ntp
systemctl start ntpd
systemctl enable ntpd

配置主机名

#直接永久生效
hostnamectl set-hostname master

固定静态IP，和网络映射

默认是DHCP，即动态分配IP。DHCP在群文件中一个word有介绍。我们需要变成静态IP，即调为static。

---

NAT8模式下。

添加`/etc/syconfig/network-scripts/ifcfg-ens33`网卡配置文件


NETMASK：指定子网掩码（默认255.255.255.0）

GETWAY：网关  去VMware菜单栏编辑--》虚拟网络编辑器--》选择 “VMnet8 NAT 模式”--》点击下方“NAT设置”按钮，弹出NAT设置窗口查看网关IP

DNS1：指定上网用的DNS IP地址，114.114.114.114

---

ifconfig命令中ens**，是我们要看的网卡。

ifconfig
第一步：cd /etc/sysconfig/network-scripts

第二步：vim ifcfg-ens33

        1 TYPE="Ethernet"
        2 PROXY_METHOD="none"
        3 BROWSER_ONLY="no"
        4 BOOTPROTO="static"  -------> 默认是DHCP，修改为static
        5 DEFROUTE="yes"
        6 IPV4_FAILURE_FATAL="no"
        7 IPV6INIT="yes"
        8 IPV6_AUTOCONF="yes"
        9 IPV6_DEFROUTE="yes"
       10 IPV6_FAILURE_FATAL="no"
       11 IPV6_ADDR_GEN_MODE="stable-privacy"
       12 NAME="ens33"
       13 UUID="db2a7b20-7b5a-40ad-9879-f7543bbc5ffe"
       14 DEVICE="ens33"
       15 ONBOOT="yes"
       16 IPV6_PRIVACY="no"
       17 ZONE=public
       18 IPADDR=192.168.175.134  ----------> 设置静态ip地址

       19 NETMASK=255.255.255.0 ------> 子网掩码
　　　　
       20 GATEWAY=192.168.175.2 -------> 网关

       21 DNS1=114.114.114.114 -------> 域名解析器

第三步：systemctl restart network -----> 重启网络

可以直接在图形界面下设置

解决没有ens33

systemctl stop NetworkManager                 临时关闭
systemctl disable NetworkManager              永久关闭网络管理命令
systemctl start network.service               开启网络服务

关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld
firewall-cmd --state 
firewall-cmd --reload

---

如果有桌面可以直接

setup

配置Host列表来对应

vi etc/hosts

192.168.79.129 master
192.168.79.130 node1
192.168.79.130 node2


用ping命令来测试

SSH免密登录

这是互相免密

进入node1:

[root@node1 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   #获得自己的密钥。

[root@node1 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  #将自己的密钥添加到自己的私钥里。做到免密钥。

[root@node1 ~]# scp -r ~/.ssh/id_dsa.pub root@node2:/tmp/    #将node1的密钥传到node2服务器的tmp中。

进入node2：

[root@node2 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   #获得自己的密钥。

[root@node2 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  #将自己的密钥添加到自己的私钥里。做到免密钥。

[root@node2 ~]# scp -r ~/.ssh/id_dsa.pub root@node1:/tmp/    #将node2的密钥传到node1服务器的tmp中。

添加密钥：

[root@node1 ~]# cat /tmp/id_dsa.pub >> ~/.ssh/authorized_keys  #将node1的密钥添加到自己的私钥里。

[root@node2 ~]# cat /tmp/id_dsa.pub >> ~/.ssh/authorized_keys  #将node1的密钥添加到自己的私钥里。

测试：

[root@node1 ~]#  ssh node2  #不用输入密码直接进入node2

[root@node2 ~]#  ssh node1  #不用输入密码直接进入node1

必须安装java，并记住路径

#一般放在/usr/local/java下

#环境变量一般放在/etc/profile.d/下
java.sh

export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
export JRE_HOME=/usr/local/java/jre
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

source /etc/profile

直接scp复制3份

scp -r /usr/lacao/java/ root@node1:/usr/local/
scp -r /usr/lacao/java/ root@node2:/usr/local/

scp  java.sh root@node1:/etc/profile.d/java.sh

配置Hadoop环境变量

vim /etc/profile.d/hadoop.sh        #配置环境变量

export HADOOP_HOME=/home/hfut/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

同理scp复制3份

Hadoop相关配置文件

都在hadoop/etc/下进行相关配置

配置好scp复制3份

hadoop-env.sh

core-site.xml

hdfs-site.xml

yarn-site.xml

其实大多数是默认项，不配也罢。即可以不配。真正的集群也是自动化部署。

启动集群

第一次

hdfs namenode -format

启动集群

start-all.sh

关闭集群

stop-all.sh

env.sh

core-site.xml

hdfs-site.xml

yarn-site.xml

其实大多数是默认项，不配也罢。即可以不配。真正的集群也是自动化部署。

启动集群

第一次

hdfs namenode -format

启动集群

start-all.sh

关闭集群

stop-all.sh