hadoop 1.x hdfs 配置完全分布式

   hadoop 1.x hdfs 配置 
 

   a.服务器分布如下： 
 

   1.master NN 
 

   2.node1 NN DN SNN 
 

   3.node2 DN 
 

   4.node3 DN 
 

   b.时间同步（服务器），关闭防火墙 
 

   1.在所有服务器上运行“yum install ntp”命令,安装ntp时间服务器，安装完成 
 

   2.在所有服务器上运行“ntpdate -u s1a.time.edu.cn”命令，实现时间同步 
 

   3.输入 systemctl status firewalld.service ，若如图，防火墙处于running状态，则执行第4和第 5步，否则直接进入第6步 
 

   4.输入 systemctl stop firewalld.service ，关闭防火墙 
 

   5.输入 systemctl disable firewalld.service ，禁用防火墙 
 

   c.jdk环境搭建 
 

   d.设置静态IP地址，添加hosts文件，更改hostname文件（每台服务器操作） 
 

   1.vi /etc/sysconfig/network-scripts/ifcfg-ens33 更改 
 

   BOOTPROTO="static" #设置静态ip 
 

   追加 
 

   ONBOOT="yes" 
 

   IPADDR="192.168.152.111" #ip地址 
 

   GATEWAY="192.168.152.2" #网关（注：不要设置成192.168.152.1，一般是vmware已占用） 
 

   NETMASK="255.255.255.0" #子网掩码 
 

   DNS1="192.168.152.2" #DNS服务器 
 

   2.vi /etc/hosts追加 
 

   192.168.152.110 master 
 

   192.168.152.111 node1 
 

   192.168.152.112 node2 
 

   192.168.152.113 node3 
 

   3. 更改hostname文件，vi /etc/hostname，更改主机名 
 

   4. 重启网络 service network restart 
 

   e.ssh免密码登录 
 

   1.ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 创建一个无密码的公钥，-t是类型的意思，dsa是生成的密钥类型，-P是密码，’’表示无密码，-f后是秘钥生成后保存的位置 
 

   2.cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将公钥id_dsa.pub添加进keys，这样就可以实现无密登陆ssh,在每台机器上执行a、b 
 

   3.ssh localhost 测试一下能否免密码本机 
 

   4.scp root/.ssh/id_dsa.pub root@IP或者主机名:/tmp 把公钥复制到其他机器/tmp上 
 

   5.cat /tmp/id_dsa.pub >> ~/.ssh/authorized_keys在其他机器上执行，免密码登录原理：本机生成/root/.ssh/id_dsa.pub文件,追加到其他需要免密码登录机器上/root/.ssh/authorized_keys 
 

   f.下载hadoop。 
 

   1.下载完成后，解压到/home下，tar -zxvf hadoop安装包名 
 

   2.为hadoop添加到环境变量 
 

   export HADOOP_HOME=/home/hadoop-2.5.1 
 

   export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 
 

   3.修改vi hadoop-env.sh 修改JAVA_HOME=/usr/java/jdk1.8.0_151 
 

   4.修改vi core-site.xml 添加 
 

   <property> 
 

   <name>fs.defaultFS</name> 
 

   <value>hdfs://master:9000</value> 
 

   </property> 
 

   <property> 
 

   <name>hadoop.tmp.dir</name> 
 

   <value>/opt/hadoop/tmp</value> 
 

   </property> 
 

   5.修改vi hdfs-site.xml 添加 
 

   <property> 
 

   <name>dfs.replication</name> 
 

   <value>3</value> 
 

   </property> 
 

   <property> 
 

   <name>dfs.namenode.secondary.http-address</name> 
 

   <value>node1:50090</value> 
 

   </property> 
 

   6.修改vi slaves 
 

   node1 
 

   node2 
 

   node3 
 

   7.添加masters文件，写入 
 

   node1 
 

   8.格式化 hdfs-namenode -format 
 

   9.启动 start-dfs.sh 
 

   注：hadoop 关闭文件权限检查和safemode，注hadoop2.5.2版本，若其他版本属性可能是 
  dfs.permissions你请参考hadoop设置文档 
 

   关闭文件权限检查： 
 

   hdfs-site.xml 
 

   <property> 
 

   <name>dfs.permissions.enabled</name> 
 

   <value>false</value> 
 

   </property> 
 

   关闭安全模式: 
 

   hadoop dfsadmin -safemode leave 
 