Hadoop完全分布式搭建全过程

一、角色分配

　　　　　　NN　　 DN　　 SNN　　

node211:　　 *

node212:　　　　　　*　　　　*

node213:　　　　　　*

node214:　　　　　　*

二、基础设施配置

　　网络：IP、hosts、hostname，根据实际情况修改IP

　　ssh：

　　　　ssh localhost　　-->　　exit　　　　--> cd ~/.ssh

　　　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

　　　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

　　jdk：

　　　　export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile

三、应用搭建

　　文件解压部署：

　　　　tar xf hadoop-2.6.5.tar.gz

　　　　　mkdir -p /opt/manzi
                  mv ~/hadoop/ /opt/manzi/
                  vi /etc/profile
                       export JAVA_HOME=/usr/java/default
                       export HADOOP_HOME=/opt/manzi/hadoop
                       export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin　

四、应用配置

cd $HADOOP_HOME/etc/hadoop
                   vi hadoop-env.sh
                       export JAVA_HOME=/usr/java/default
                   vi core-site.xml
                       　　 
                       　　<property>
                           　　　　<name>fs.defaultFS</name>
                           　　　　<value>hdfs://node211:9000</value>
                       　　 </property>
                       　　<property>
                           　　　　<name>hadoop.tmp.dir</name>
                           　　　　<value>/var/manzi/hadoop/local</value>
                       　　</property>

　　　　vi hdfs-site.xml
                       　　//副本数量为2个
                       　　 <property>
                           　　　　<name>dfs.replication</name>
                           　　　　 <value>2</value>
                       　　 </property>
                       　　<property>
                           　　　　<name>dfs.namenode.secondary.http-address</name>
                           　　　　<value>node212:50090</value>
                       　　</property>

　　　　vi slaves
                               node212
                               node213
                               node214

Hadoop完全分布式搭建全过程

猜你喜欢