hadoop全分布式部署

   1、前期准备
       -》克隆
           -》克隆前需要关闭所有正在运行的服务进程
           -》然后关闭系统
           -》克隆需要选择完整克隆
       -》克隆后需要修改配置
           -》主机名、IP、映射
           -》/etc/udev/rules.d/70-persistent-net.rules
                   -》修改MAC地址，因为MAC地址是唯一的
   2、对机器配置与服务进行规划
   -》配置
   hadoop01       hadoop02       hadoop03
   内存：50G       内存：50G       内存：50G

CPU：20核 CPU：20核 CPU：20核

硬盘：100TB 硬盘：100TB 硬盘：100TB

   -》服务
   hadoop01       hadoop02       hadoop03
   namenode       resoucemanaer   secondaryname
   datanode       datanode       datanode       -》存储           -》硬盘
   nodemanager       nodemanager       nodemanager       -》分析计算       -》资源
   historyserver

   3、搭建过程
       -》解压Hadoop
       -》scp=>S代表SSH协议，远程拷贝
       -》1、指定Java的安装路径，配置*-env.sh文件
           export JAVA_HOME=/opt/modules/jdk1.7.0_67
       -》2、配置用户自定义的文件，core、hdfs、yarn、mapred
       -》core-site.xml
       <property>
<name>fs.defaultFS</name>
   <value>hdfs://hadoop-senior01.ibeifeng.com:8020</value>
   </property>

   <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/app/hadoop-2.5.0/data/tmp</value>
   </property>

   <property>
   <name>hadoop.http.staticuser.user</name>
   <value>beifeng</value>
   </property>

   -》hdfs-site.xml
   <property>
   <name>dfs.permissions.enabled</name>
   <value>false</value>
   </property>

   <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>hadoop-senior03.ibeifeng.com:50090</value>
   </property>

   -》slaves，添加所有节点名称
   192.168.189.160 hadoop-senior01.ibeifeng.com
       192.168.189.162 hadoop-senior02.ibeifeng.com
       192.168.189.164 hadoop-senior03.ibeifeng.com

-》yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-senior02.ibeifeng.com</value>
</property>

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>106800</value>
</property>

-》mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-senior01.ibeifeng.com:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-senior01.ibeifeng.com:19888</value>
</property>

4、分发配置文件到各个节点上
   -》拷贝之前建议先将share目录下的doc文件夹删除，减少拷贝的时间
   -》$ scp -r hadoop-2.5.0/ hadoop-senior03.ibeifeng.com:/opt/app/
   -》拷贝之前，其他节点上要同样创建相同的目录
5、格式化namenode
   -》$ bin/hdfs namenode -format

hadoop全分布式部署

猜你喜欢