安装步骤:
1、安装虚拟机系统,并进行准备工作(可安装一个然后克隆)
2.修改各个虚拟机的hostname和host
3.创建用户组和用户
4、配置虚拟机网络,使虚拟机系统之间以及和host主机之间可以通过相互ping通。
5.安装jdk和配置环境变量,检查是否配置成功
6、配置ssh,实现节点间的无密码登录 ssh node1/2指令验证时候成功
7、master配置hadoop,并将hadoop文件传输到node节点
8、配置环境变量,并启动hadoop,检查是否安装成功,执行wordcount检查是否成功。
#环境变量配置
export HADOOP_HOME=/opt/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#SSL免登录配置
#安装SSL
yum -y install openssh-server
ps -e | grep ssh
ssh localhost
#生成密钥对
ssh-keygen -t rsa
#在master上,导入authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
#进入master的.ssh目录,执行复制操作
scp authorized_keys hadoop@node1:~/.ssh/
scp authorized_keys hadoop@node2:~/.ssh/
#修改各台主机上authorized_keys文件的权限 所有机器上,均执行命令
chmod 600 .ssh/authorized_keys
ssh node1(node2)