伪分布式配置手册

linux环境配置、linux环境下hadoop环境配置、linux静态ip设置

系统环境

VMWare 10.0.1
Mac
CentOS7 64bit
JDK7
hadoop 2.6.5

一、Mac 下面修改VMnet8网关地址

进入文件夹

cd /Library/Preferences/VMware\ Fusion/vmnet8

进入之后，打开nat.conf文件就可以查看到vmnet8的网关地址

# NAT gateway address
ip = 192.168.121.1
netmask = 255.255.255.0

二、固定linux的IP地址

进入文件夹,编辑ifcfg-ens33文件

cd /etc/sysconfig/network-scripts
ls

编辑ifcfg-ens33文件

vi ifcfg-ens33

添加信息

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b12ada89-a560-44ea-94cb-c01b0213dfde
DEVICE=ens33

BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.121.100
NETMASK=255.255.255.0
GATEWAY=192.168.121.1
DNS1=8.8.8.8

配置好了之后，重启网络

systemctl restart network

检查是否能够ping通。Mac终端里面pingCentOS

ping 192.168.121.100

如果能够ping通，就可以在Mac中使用secureCRT了

三、给hadoop添加sudo

1、使用命令visudo

visudo

2、添加

# 在 root 用户之后添加（请根据实际情况赋予权限）
    root    ALL=(ALL)       ALL
    hadoop   ALL=(ALL)       ALL

四、修改主机名以及建立对应关系

修改主机名

sudo hostnamectl set-hostname spark

修改/etc/hosts,建立对应关系

sudo vi /etc/hosts

添加

192.168.121.100 spark

五、关闭防火墙

查看防火墙状态。centos7中的防火墙指令和centos6不一样了

firewall-cmd --state

关闭防火墙

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动

六、安装JDK

可以使用两种方式来上传JDK到CentOS中。
1. filezilla 直接把文件拖拽到CentOS中即可
2. 使用命令行的方式。

在secureCRT中按快捷键 shift+cmd+p 打开sftp。
put 源地址 目的地址

put /Users/Downloads/jdk-7u80-linux-x64.tar.gz /home/hadoop/

以上两种，上传JDK到CentOS中都可以。

3. 配置JAVA_HOME
解压JDK.

 mkdir app
 tar -zxvf jdk-7u80-linux-x64.tar.gz  -C app/

修改/etc/profile

sudo vi /etc/profile

最后一行,添加

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin

七、安装Hadoop

上传hadoop。使用命令行方式来上传,shift+cmd+p

put /Users/Downloads/hadoop-2.6.5.tar.gz

不指定目的目录，会上传到用户的主目录。

2. 解压

tar -zxvf hadoop-2.6.5.tar.gz  -C app/

配置HADOOP_HOME
修改/etc/profile

sudo vi /etc/profile

最后一行，`新加`HADOOP_HOME这一行。修改(其实是添加)`PATH`

export  HADOOP_HOME=/home/hadoop/app/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

八、配置hadoop的几个文件

配置 hadoop-env.sh

sudo vi hadoop-env.sh

找到export JAVA_HOME=$(JAVA_HOME)修改为

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_80

配置core-site.xml。找到

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://spark:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.6.5/data/</value>
</property>
</configuration>

配置hdfs-site.xml

<configuration>
<property>
<name>dfs.repulication</name>#副本
<value>1</value>#伪分布式陪1，全分布式一般为3
</property>
</configuration>

 到这里hdfs是可以启动了，但是为了方便，一次性把其他文件也配置了

4. 配置mapred-site.xml.template
先修改名字

mv mapred-site.xml.template mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

配置yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>spark</value>
</property>
</configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

格式化，第一次配置格式化。

hadoop namenode -format

如果格式化成功，大概在倒数10-20左右会看到一个

17/11/11 03:02:19 INFO common.Storage: Storage directory /home/hadoop/app/hadoop-2.6.5/data/dfs/name has been successfully formatted.

启动hdfs

start-dfs.sh

第一次会提示你输入yes或者no。yes的话以后每次启动hdfs都会要求输入密码。no以后就不用输入密码。启动之后输入jps

jps

看到

4715 SecondaryNameNode
4478 NameNode
4564 DataNode
4838 Jps

启动成功，配置正确。

Hadoop伪分布式配置手册