hadoop伪分布式搭建

因为hadoop伪分布式我已在本地搭建并且运行成功。为了加快学习不足同时分享搭建。直接将不足贴出来,如有不同意见还忘评价共同提升。

Hadoop 伪分布模式 HDFS+YARN

另外补充下: hadoop2.0之后不包含MapReduce;

环境搭建准备: 

1,VMware  安装

如果你使用的事VirtualBox 必须将电脑虚拟化。通过开机的时候进入BIOS 找到Virtualization.

将Virtualization 设置为Enabled;

2.下载 Centos6.6 镜像

官网地址:http://vault.centos.org/6.6/isos/x86_64/CentOS-6.6-x86_64-bin-DVD1.iso

链接:http://pan.baidu.com/s/1bpqOQhL 密码:z02w

3. 新建虚拟电脑

注意:

1,hadoop分布式是采用桥接模式通信。建议不要使用NAT模式。其他准备工作就不需要讲了很简单。在liunx环境中搭建框架的基本都知道。

2, liunx命令注意将hadoop用户命令赋权

sudo 是 liunx 下常用的允许普通用户使用超级用户权限的工具

在虚拟机上,执行命令 sudo vim /etc/hosts

会提示 hadoop不在 sudoers 文件中。此事将被报告。为 hadoop用户配置 sudo 权限切换到 root 用户执行命令 su root

查看/etc/sudoers 文件权限,如果只读权限,修改为可写权限查看文件权限,执行命令 ll /etc/sudoers 修改权限,执行命令 chmod 777 /etc/sudoers

将 hadoop ALL=(ALL)  NOPASSWD:ALL  /etc/sudoers 追加到文件中。

内容含义是:用户名 chinahadoop 网络中主机=(全部用户) 不需要密码:全部范围’执行命令 echo 'hadoop ALL=(ALL)NOPASSWD:ALL' >> /etc/sudoers

恢复/etc/sudoers 的访问权限为 440 执行命令 chmod 440 /etc/sudoers

切换到 hadoop 用户,执行命令 sudo vim /etc/hosts

4.配置hosts文件

计算机系统在处理 DNS 请求以前,会先检查自己的hosts 文件中是否有这个地址映射关系,如果有则调用这个 IP 地址映射,如果没有再向已知的DNS 服务器提出域名解析。

我们在访问 自己网站或者www.baidu.com 时,DNS 服务器把网络域名(www.baidu.com)

解析成对应的服务器 IP 地址后,我们才能访问小象学院的网站。

 自定义的名字没有注册过域名,就可以通过配置 hosts 文件建立 IP 映射,这样以后访问虚拟机上的服务时我们输入名字就行了。

4.1 在windows/liunx hosts文件中配置虚拟机Ip

liunx : sudo vim /etc/hosts  在文件中追加windows ip 并加上windows 自定义名称

例如 192.168.1.89 win8

windows:

win8 的 C:\Windows\System32\drivers\etc 目录下的 hosts 文件。加入内容 192.168.1.119chinahadoop0

注意:自测试相互能调通。

5.SSH 客户端

SSH 客户端有很多,比如:Xshell、putty、SecureCRT 和 WinSCP

Xme4 软件下载链接:http://pan.baidu.com/s/1pKFmC0j 密码:n2j4

putty 软件下载链接:http://pan.baidu.com/s/1c2gDyQO 密码:im6e

SecureCRT 软件下载链接:http://pan.baidu.com/s/1c2G5nVi 密码:dgz5

WinSCP 软件下载链接:http://pan.baidu.com/s/1nvKqDG9 密码:vf48

6. 下载hadoop包 本文采用2.5.2版本

注意下载需要查看自己下载文件位置。使用命令pwd查看当前目录位置。

我的目录 下载目录为/home/chinahadoop/software



7.修改主机名称
命令hostname 查看当前主机名称
通过在network 中修改主机名称: 
查看 修改主机名称 cat /etc/sysconfig/network

7.1 回顾window/liunx hosts文件中相互配置对方的ip和映射名称。

8. 将software下载hadoop包解压到hadoop(自己新建)

命令: tar zxvf hadoop-2.5.2.tar.gz 是解压到当前目录

我是解压到: tar zxvf software/hadoop-2.5.2.tar.gz -C hadoop/ha

注意:加上 -C是 解压到 hadoop/ha 目录

9. 修改hadoop配置文件


9.1 修改 hadoop-env.sh 文件

在hadoop-env.sh文件中配置jdk环境变量


9.2 修改 mapred-site.xml 文件

<configuration> 
<property> 
  <name>mapreduce.framework.name</name> 
  <value>yarn</value> 
</property> 
</configuration>

其中,名称mapreduce.framework.name指的是使用yarn运行mapreduce程序。

启动了HDFS之后,就可以启动yarn了。执行命令start-yarn.sh即可启动MapReduce集群


9.3 修改 core-site.xml 文件

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://chinahadoop1:8020</value>
</property>
</configuration>

9.4 修改 hdfs-site.xml 文件

<property>

<name>dfs.replication</name>

<value>1</value> 

        <descript>hdfs文件副本数,默认为3个副本.注意副本设置为奇数</descript>

</property>

<property>  

<name>dfs.namenode.name.dir</name>

<value>/home/chinahadoop/dfs/name</value> 

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/home/chinahadoop/dfs/data</value>

</property>

注意: 防止每次重启需要格式化namnode 将配置红色部分。同时红色部分也可以配置到core-site.xml文件中。

这是为了防止在非tmp目录下生产文件。

9.5 修改 yarn-site.xml 文件

输入命令vim etc/hadoop/yarn-site.xml

加入下面内容

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value> 

 </property> 

10 格式化namenode

首次: bin/hadoop namenode -format

10.1 启动namenode

 sbin/hadoop-daemon.sh start namenode

同时 jps 查看下

10.2 启动datanode

执行命令 sbin/hadoop-daemon.sh startdatanode

11 访问

http://chinahadoop0:50070



猜你喜欢

转载自blog.csdn.net/xiangyunxue/article/details/79101208
今日推荐