hadoop 0.20.2伪分布式安装详解

adoop 0.20.2伪分布式安装详解

hadoop有三种运行模式:

 

伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式。

完全分布式至少有3个节点,其中一个做master,运行名称节点(namenode)、作业跟踪器(jobtracker)等主要进程,另外两个做datanode,运行tasktracker,最好有两个,否则没有冗余,谈不上集群。

 

  

下载hadoop 0.20.2安装包:

http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz

解压后,放置在合适的位置,如/opt/Hadoop-0.20.2,执行以下命令:

tar -zxvf /opt/haddop-0.20.2

x表示展开文件,-x | --extract | --get 从存档展开文件

z表示用gzip对文档进行压缩或解压,-z | --gzip | --ungzip 用gzip对存档压缩或解压

-v | --verbose 详细显示处理的文件

-f | --file [HOSTNAME:]F 指定存档或设备(缺省为 /dev/rmt0)

如果指定解压目录,则最一个字符应当是“/”,否则就是文件了

进入Hadoop-0.20.2目录

vim conf/Hadoop-env.sh

其中的conf目录是config的缩写,通常是用来放置配置文件的目录,很多开源软件习惯于使用这个目录名称。Hadoop版本不同,配置文件可能也不同,要根据实际情况有所调整。

解压后,进入Hadoop-0.20.2目录,进行配置

 

本文配置这四个文件。

修改hadoop-env.sh文件

进入conf目录,找到图中的三个文件

vim hadoop-env.sh

 

找到JAVA_HOME那一项,或修改,或增加,由你选择,最后使

export JAVA_HOME=你的java目录

这一行生效。

此文件暂时仅配置这一项即可。

修改core-site.xml文件

然后

vim core-site.xml

 

最初的<configuration>项是空的,伪分布式完全按照图中的<property>部分添加即可。

完全分布式要把hdfs:项的主机名部分换成对应的IP或主机名,不管是什么,不会是localhost,此处要注意。

其中的fs.default.name用来指定namenode的IP地址和端口,用于和对应的节点联系。

修改hdfs-site.xml文件

vim hdfs-site.xml

 

与core-site相同,第一次进入时<configuration>项是空的,伪分布式完全按照红圈部分添加即可。完全分布式要修改dfs.replication部分的value,因为hadoop会往多个节点中复制数据用于备份,此处设置的是最大份数,也就是数据节点的数量,也就是小弟的数量,伪分布式只有一个节点,所以是1,写多了也没用。dfs.data.dir是数据节点的数据的存放位置。

 

其它参数不多讲。

修改mapred-site.xml

vim mapred-site.xml

 

作业跟踪器的位置,端口默认,无须修改。作业跟踪器是整个mapreduce系统调度的核心。

伪分布式照搬上图,完全分布式修改主机名。

 

其它参数,暂时不动。

生成SSH密钥对

 

  1. 输入su,切换到root用户
  2. cd /root,进入root目录
  3. 运行ssh-kengen -t rsa

给root用户创建一对密钥,公钥和私钥,不对称(不一样),公钥可公开,别人拿到公钥后,可对文件需要加密的内容进行加密,然后传给服务器,服务器可用私钥解密。公钥加密的,只有私钥才能解密。反之亦然,可以用私钥加密,用公钥可以解密,私钥本身无法解密,但这样做没有意义。

拿到公钥,反推私钥,基本上不可能,以目前的计算能力,需要几百年。

RSA算法,产生密钥过程时间很短,但反推消耗时间非常长。例如,两个上千位的素数相乘,所得到的结果,如果反推,可能性太多,只能逐一尝试,这样就会消耗非常长的时间。

Enter file in which to save the key,这一句是问把生成的公钥和私钥存放在哪个文件,如果输入a,则生成a.pub和a两个文件。如果不输入,直接回车,则生成默认文件名id_rsa.pub和id_rsa。

可以使用任何编辑工具查看它们的内容,比如cat id_rsa.pub,里面是人类无法理解的字符串。

然后执行命令:

cp id_isa.pub authorized_keys

authorized_keys中存在id_rsa.pub公钥,就可以免密码连入

至此,hadoop0.20.2的伪分布式就配完了。

格式化分布式文件系统

hadoop目录下执行bin/hadoop namenode -format

 

此操作的目的在于,在“名称节点”上建立一系列结构,用来存放整个HDFS的元数据,

出现绿圈的提示has been successfully formatted即是配置成功。

下面在hadoop目录下执行以下命令:

bin/start-all.sh

(如果进入bin目录,然后执行start-all.sh,会报“未找到命令”)

 

如果没有看到denied之类的提示,就是启动成功了。

检测守护进程启动情况

在root用户下,使用java的jps,会看到类似以下的提示:

一样的规则,不能进入到java的bin目录下执行jps,而是java目录下执行bin/jps

 

表示伪分布式hadoop0.20.2配置成功。

猜你喜欢

转载自www.cnblogs.com/Sabre/p/10369719.html
今日推荐