云服务器搭建hadoop集群

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/shujuelin/article/details/82690475

我的阿里云服务器的公网IP为a11.b11.c11.d11,内网IP为a12.b12.c12.d12;腾讯云的服务器的公网IP为a21.b21.c21.d21,内网IP为a22.b22.c22.d22。

以阿里云的服务器为主,跑一个NameNode和一个DataNode,腾讯云服务器跑一个DataNode(个人腾讯云服务器跑了太多服务了,且配置等方面也不太够)。

下面开始。

首先,安装并配置Java环境,这就不多说了,apt-get或者yum安装一下,然后改一下环境变量即可。我安装的是Java7,因为我用的Hadoop的版本是hadoop2.6.0-cdh5.10.0,听说Java8会有问题,但我没有实际试过;

然后,编辑/etc/hosts文件,将本系统的别名编辑上去,在阿里云服务器上编辑如下:

在腾讯云服务器上编辑如下:

然后,在两台服务器上通过 sudo adduser hadoop 命令添加hadoop用户,记住设置的密码,我设置的是一样的;

然后,设置ssh免密码登录(最开始我懒得设置了,每次启动集群和关闭集群均要输入密码,我设置的密码又很麻烦,输入密码输入到我怀疑人生)。首先输入ssh-keygen -t rsa,一路回车即可,此时在用户的根目录生成了~/.ssh/id_rsa.pub 公钥,将其推送给集群中每台服务器即可。因为我的集群中共有两台机器,命令为:ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop1;ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop2,成功后就可以ssh免密码登录了;

然后,记得关闭防火墙,ubuntu下的关闭防火墙的命令是 ufw disable;

然后就是安装hadoop集群了,修改$HADOOP_HOME/etc/hadoop/目录下的三个文件即可,集群中的所有服务器都要改,并且集群中的所有服务器的Hadoop的路径最好完全一致。这三个文件是:

core-site.xml

hdfs-site.xml

slaves:

最后,在$HADOOP_HOME/sbin路径下,执行./start-dfs.sh即可。

贴一张NameNode网管显示的图:

碰到的四个坑:

(1)启动时显示找不到$JAVA_HOME,这个时候在hadoop-env.sh文件中把$JAVA_HOME用绝对路径重新定义一下即可;

(2)启动时,DataNode无法启动,看日志显示DataNode的Cluster-ID和NameNode的Cluster-ID不匹配,此时找到hadoop文件目录下DataNode的VERSION文件,将它的Cluster-ID修改为和NameNode的Cluster-ID一致即可;

(3)启动时,NameNode无法启动,看日志显示文件系统的路径有问题,执行./hdfs namenode -format,重新启动集群

(4)启动时候,发现webui界面不出现,但是集群里的进程都是全有。最后通过阿里云和腾讯云的安全组规则,释放全部端口。

猜你喜欢

转载自blog.csdn.net/shujuelin/article/details/82690475