大数据入门（3）配置hadoop

1、上传hadoop-2.4.1.tar.gz

2、解压文件到指定目录(目录：admin/app)
mkdir app
tar -zxvf hadoop-2.4.1.tar.gz -C /app

删除share下的doc文件（目录：/home/admin/app/hadoop-2.4.1/share）
rm -rf doc

3、修改配置文件（目录：/home/admin/app/hadoop-2.4.1/etc/hadoop）

   伪分布式需要修改5个配置文件

   第一个：hadoop-env.sh
       vim hadoop-env.sh
       #第27行
       export JAVA_HOME=/usr/java/jdk1.7.0_65

       （注意:此处不修改，启动的时候报错，找不到java_home）

第二个：core-site.xml

<property>
           <name>fs.defaultFS</name>
           <value>hdfs://192.168.1.115:9000</value>
       </property>
       
       <property>
           <name>hadoop.tmp.dir</name>
           <value>/home/admin/app/hadoop-2.4.1/tmpdata</value>
        </property>

   第三个：hdfs-site.xml hdfs-default.xml (3)
       
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>

   第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
       修改文件名字：mapred-site.xml.template 为 mapred-site.xml
       修改命令：mv mapred-site.xml.template mapred-site.xml
       打开命令：vim mapred-site.xml
       
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>

   第五个：yarn-site.xml
       
       <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>192.168.1.115</value>
       </property>
       
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
4、配置环境变量：HADOOP_HOME (root 权限，vim /etc/profile)

   JAVA_HOME=/usr/java/jdk1.7.0_71
   HADOOP_HOME=/home/admin/app/hadoop-2.4.1
   PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
   CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export JAVA_HOME HADOOP_HOME PATH CLASSPATH

   （刷新配置文件：source /etc/profile）
5、格式化namenode（是对namenode进行初始化）

   hdfs namenode -format (hadoop namenode -format)

   提示： /home/admin/app/hadoop-2.4.1/tmpdata/dfs/name has been successfully formatted.则成功

6、启动hadoop （目录：/home/admin/app/hadoop-2.4.1/sbin）
   先启动HDFS
   start-dfs.sh

   再启动YARN
   start-yarn.sh
7、验证是否启动成功
   输入命令：jps
   成功后输出：
       29695 DataNode
       30335 NodeManager
       30451 Jps
       29927 SecondaryNameNode
       29586 NameNode
       30065 ResourceManager

8、浏览器验证
   外部浏览器中输入(window下访问需要关闭防火墙)

       http://192.168.1.115:50070 （HDFS管理界面）
       http://192.168.1.115:8088 （MR管理界面）

   （2）yarn验证
       跑hadoop自带例子程序
       hadoop jar app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /output

9、
   (目录： app/hadoop-2.4.1/etc/hadoop/）
   vi slaves （配置zookeeper的）

大数据入门（3）配置hadoop

猜你喜欢