软件准备信息,详见Spark2.2.0集群搭建部署之【软件准备篇】
基础配置信息,详见Spark2.2.0集群搭建部署之【基础配置篇】
通过SSH无密访问来达到集群中机器相互访问的目的。首先固定机器的ip地址,避免每次重启机器ip改变的问题。
通过ifconfig命令查看当前ip地址,若该命令无法使用的话,则需要先安装net tools。
yum install net-tools
待安装完毕后,即可查看该ip。
安装ssh服务
yum install openssh-server -y
service sshd start
开启防火墙的22端口
firewall-cmd --zone=public --add-port=22/tcp --permanent
service firewalld restart
因为后续的集群搭建时,需要开启更多的防火墙端口,所以直接关闭防火墙服务进行演示,上述步骤可不操作。
关闭防火墙命令:systemctl stop firewalld.service
开启防火墙:systemctl start firewalld.service
关闭开机自启动:systemctl disable firewalld.service
开启开机启动:systemctl enable firewalld.service
配置master,以及slave1机器的ip以及主机名信息。通过 vi /etc/hosts将两台机器的ip进行固定。
192.168.195.129 master
192.168.195.128 slave1
通过 vi /etc/hostname分别将两台机器的主机名更改为master以及slave1。
保存以上两个指令,使配置生效。
ssh无密证书的操作
在两台台机器中分别执行以下两个命令,以便无密码登录。
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
将 slave1 的公钥 id_dsa.pub 传给 master。(如果非22端口,可添加参数 -P xx)scp ~/.ssh/id_dsa.pub root@master:~/.ssh/id_dsa.pub.slave1
将 slave1的公钥信息追加到 master 的 authorized_keys文件中。cat id_dsa.pub.slave1 >> authorized_keys
将 master 的公钥信息 authorized_keys 复制到 slave1 的 .ssh 目录下。scp authorized_keys root@slave1:~/.ssh/authorized_keys
可以输入ssh slave1, master 已经不需要密码就可以登录到 slave1,
同理,输入ssh master, slave1也无需密码即可访问master机器。