hadoop1集群搭建

1.准备好三台装好jdk的虚拟机。

2.三台虚拟机都要修改hosts文件,vi /etc/hosts 


3.修改完之后重启使其生效。reboot

4.创建hadoop用户组,创建Hadoop用户并添加到Hadoop用户组,切换到Hadoop用户。


5.设置SSH无秘钥访问:(需要注意的是authorized_keys的权限必须是600,.ssh/的权限必须是700

 (1)在master机器上hadoop用户根目录下执行命令:ssh-keygen -t rsa 连续回车三次;


(2)进入.ssh目录会看到生成了id_rsa  id_rsa.pub两个文件,创建authorized_keys文件并将id_rsa.pub拷贝到authorized_keys文件里。


(3)在slave1跟slave2机器上进行第一步,并将生成的id_rsa.pub远程拷贝到master机器的authorized_keys文件中。



(4)这时候authorized_keys里就有了三台机器的公钥,此时只需要把authorized_keys文件远程拷贝到slave1跟slave2的/home/hadoop/.ssh目录下,三台机器就可以实现无秘钥访问了。



6.把hadoop包上传到hadoop用户目录下并解压:tar -zxf hadoop-1.2.1.tar.gz

7.进入hadoop的conf目录修改配置文件:core-site.xml  (tmp目录需要shoud)


8.修改配置文件:hdfs-site.xml (dfs.replication数据副本数<=salve机器数,这里有两个slave所以可以设置成2)


9.修改配置文件:mapred-site.xml


10.在配置文件:hadoop-env.sh 配置JAVA_HOME


11.在配置文件master里加入master


12.在配置文件slaves里加入slave机器列表


13.将整个conf配置文件全部拷贝给其他节点机器:


14进入bin目录,.第一次启动hadoop集群需要进行namenode格式化:



15.启动hadoop集群:sh start-all.sh并用jps查看启动情况



16.在浏览器输入192.168.0.88:50070跟192.168.0.88:50030查看集群;




至此hadoop集群搭建完毕!


猜你喜欢

转载自blog.csdn.net/u014516601/article/details/46552891