hadoop2.0编译安装步骤

在32位或64位的linux的操作系统,安装hadoop2.0d都没问题。

在64位的linux上安装的时候,hadoop为了追求性能,使用linux本地库。libhadoop.so.1.0.0文件要求32位的文件。使用2中方法解决:临时办法:

export HADOOP_COMMON_LIB_NATIVE_DIR=/home/grid/hadoop-2.2.0/lib/native

export HADOOP_OPTS="-D java.library.path=/home/grid/hadoop-2.2.0/lib"

彻底解决问题的办法:重新编译hadoop,让hadoop的本地库编译成64位的。

(1).在hadoop2.2的根目录下,分别创建data,name,tmp目录。data目录存储数据节点的数据文件。name目录存储namenode的元数据。tmp目录代表hadoop临时目录。

(2).涉及到的配置文件有7个:

~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

~/hadoop-2.2.0/etc/hadoop/yarn-env.sh

~/hadoop-2.2.0/etc/hadoop/slaves

~/hadoop-2.2.0/etc/hadoop/core-site.xml

~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

~/hadoop-2.2.0/etc/hadoop/mapred-site.xml

~/hadoop-2.2.0/etc/hadoop/yarn-site.xml

以上个别文件默认不存在的,可以复制相应的tmplate文件获得。

(3).启动集群及检验

格式化namenode :/bin/hdfs namenode -format

启动hdfs:./sbin/start-dfs.sh

此时在h1上面运行的进程有:namenode,secondarynamenode

h2和h3上面运行的进程有:datanode

启动yarn:./sbin/start-yarn.sh

此时在h1上运行的进程有:namenode,secondarynamenode,resourcemanager

h2和h3上面运行的进程有:datanode,nodemanager

暂时这样,以后慢慢补充。

猜你喜欢

转载自nicegege.iteye.com/blog/2256957