Hadoop完全分布式架构

使用root登录,

添加组groupadd hdgroup

添加用户useradd -g hdgroup hduser

设置密码 passwd hduser

chmod 777 /etc/sudoers

gedit /etc/sudoers

在 root     ALL=(ALL) ALL后加一行

   hduser ALL=(ALL) ALL

chmod 440 /etc/sudoers

 

关闭当次登录防火墙 service iptables stop

关闭重启后防火墙   chkconfig iptables off

 

重启该虚拟机系统 使用hduser登录

安装jdk

sudo rpm -ivh jdk-7u67-linux-x64.rpm

一般在/usr/java/jdk1.7.0_67这个路径下

修改配置文件 sudo gedit /etc/profile

加入找到 后保存

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL

export JAVA_HOME=/usr/java/jdk1.7.0_67

export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH

#hadoop

export HADOOP_HOME=/home/hduser/hadoop    

export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile 生效

测试 java -version

   14  cd ~

   15  tar -zxvf hadoop-2.6.0.tar.gz

   16  mv hadoop-2.6.0 hadoop

   17  sudo gedit /etc/profile

扫描二维码关注公众号,回复: 1807884 查看本文章

   18  source /etc/profile

另外再克隆两台节点node

更改主机名:

sudo gedit /etc/sysconfig/network

分别更改

NETWORKING=yes

HOSTNAME=node1

在root登录模式下,如果不是使用su - root 切换到root模式

关闭当次登录防火墙 service iptables stop

关闭重启后防火墙   chkconfig iptables off

重启三台节点

主机名解析

打开配置文件 sudo gedit /etc/hosts

例如

192.168.37.131 node1

192.168.37.132 node2

192.168.37.133 node3

免密码登录其他电脑    

node1服务器主机中生成公/私钥对     
ssh-keygen -t rsa -P ""

node1服务器主机中的钥匙发给其他slave从机

ssh-copy-id   localhost

   

ssh-copy-id   node1                                                          

ssh-copy-id   node2

ssh-copy-id   node3

 

注意ssh远程登录到那个主机,环境和权限是那个主机的环境并非本机的环境,也并非本机的权限,可以使用exit退出。并关闭当前的命令窗口重新开启一个命令窗口

 

拷贝配置文件

   19  

scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node2:/home/hduser/hadoop/etc/

   20  

scp -r /home/hduser/hadoop/etc/hadoop/ hduser@node3:/home/hduser/hadoop/etc/

   21  cd ~/hadoop     换位置

   28  bin/hdfs namenode -format   格式化一下

   32  cd ~/hadoop

   33  sbin/start-dfs.sh

   34  jps

http://node1:50070/

   35  sbin/start-yarn.sh

   36  jps

   37  bin/hdfs dfsadmin -report

http://node1:8088/cluster/nodes

   43  history

猜你喜欢

转载自blog.csdn.net/qq_40434646/article/details/80781058