2.2 Hadoop3.1.0完全分布式集群配置与部署

其他 2018-06-25 05:13:36 阅读次数: 2

2.2 Hadoop3.1.0完全分布式集群配置与部署

开源地址 https://github.com/wangxiaoleiAI/big-data

卜算子·大数据 目录

开源“卜算子·大数据”系列文章、源码，面向大数据（分布式计算）的编程、应用、架构——每周更新！Linux、Java、Hadoop、Spark、Sqoop、hive、pig、hbase、zookeeper、Oozie、flink…etc

本节主要内容：

  • 前提
  • Hadoop3.1.0最新版本完全分布式集群服务器的配置与部署
  • 配置Java环境
  • 配置免登陆
  • 配置hadoop核心文件
  • 格式化集群
  • 开启集群
  • 关闭集群

这里写图片描述

这里写图片描述

2.2.1 Java环境配置、安装

通过wget下载linux版jdk

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u172-b11/a58eab1ec242421181065cdc37240b08/jdk-8u172-linux-x64.tar.gz

Java解压缩、移动到/opt/java/路径下

#解压
tar -zxf
# 移动至/opt/java 下
tar -zxf jdk-8u172-linux-x64.tar.gz
sudo mkdir -p /opt/java
sudo mv jdk1.8.0_172/ /opt/java/

添加java环境变量

sudo vim /etc/profile.d/jdk-1.8.sh

添加如下内容

#!/bin/sh
# Author:wangxiaolei 王小雷
# Github: https://github.com/wangxiaoleiai

export JAVA_HOME=/opt/java/jdk1.8.0_172
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

Java环境变量生效

source /etc/profile

查看Java

java -version

这里写图片描述

Java配置过程结束，按此依次配置其他服务器

2.2.2 免登陆配置

  • 三台服务器操作

安装必要依赖

sudo apt install ssh
sudo apt install pdsh

配置Keygen

# 输入以下命令，一路回车完成
ssh-keygen -t rsa

修改hosts配置文件

sudo vim /etc/hosts

这里写图片描述

  • Master主机服务器操作

master免密登录到worker中

ssh-copy-id -i ~/.ssh/id_rsa.pub master
ssh-copy-id -i ~/.ssh/id_rsa.pub worker1
ssh-copy-id -i ~/.ssh/id_rsa.pub worker2

查看登录情况，此时不需要输入密码，就可以从Master登录到worker

ssh worker1

2.2.3 Hadoop核心文件配置

  • 可以在本地修改好配置文件后，然后将Hadoop复制到集群服务器中。
  • 也可以直接在服务器中修改，完成后然后复制到其他集群中。
  • 核心文件共6个文件需要修改，分别是 hadoop-env.sh,core-site.xml, hdfs-site.xml, yarn-site.xml, mapred-site.xml和workers。

下载hadoop3.1.0压缩包

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gz
tar -zxf hadoop-3.1.0.tar.gz
cd hadoop-3.1.0/etc/hadoop
  • 1.etc/hadoop/hadoop-env.sh

修改hadoop-env.sh文件

vim hadoop-env.sh

添加如下内容

export JAVA_HOME=/opt/java/jdk1.8.0_172/
  • 2.etc/hadoop/core-site.xml
vim core-site.xml
<configuration>

  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://master:9000</value>
  </property>

  <property>
      <name>io.file.buffer.size</name>
      <value>131072</value>
  </property>

</configuration>
  • 3.etc/hadoop/hdfs-site.xml
vim hdfs-site.xml
<configuration>

    <!-- Configurations for NameNode: -->
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/var/lib/hadoop/hdfs/name/</value>
    </property>

    <property>
      <name>dfs.blocksize</name>
      <value>268435456</value>
    </property>

    <property>
      <name>dfs.namenode.handler.count  </name>
      <value>100</value>
    </property>

    <!-- Configurations for DataNode: -->

    <property>
      <name>dfs.datanode.data.dir</name>
      <value>/var/lib/hadoop/hdfs/data/</value>
    </property>

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

</configuration>
  • 4.etc/hadoop/yarn-site.xml
vim yarn-site.xml
<configuration>

  <!-- Site specific YARN configuration properties -->

  <!-- Configurations for ResourceManager and NodeManager: -->

  <!-- Configurations for ResourceManager: -->
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- 配置外网只需要替换外网ip为真实ip，否则默认为 localhost:8088 -->
    <!-- <property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>外网ip:8088</value>
    </property> -->
  <!-- Configurations for NodeManager: -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
  <!-- Configurations for History Server (Needs to be moved elsewhere): -->
</configuration>
  • 5.etc/hadoop/mapred-site.xml
vim mapred-site.xml
<configuration>
  <!-- Configurations for MapReduce Applications: -->
  <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
   <property>
     <name>mapreduce.application.classpath</name>
     <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
   </property>
</configuration>
  • 6.etc/hadoop/workers

修改workers文件

vim workers

删除原本的localhost，新增集群worker

worker1
worker2

2.2.4 将配置好的Hadoop文件发送到每一个集群

在master操作，master发送至worker1,worker2

scp -r hadoop-3.1.0 worker1:/home/hadoop/
scp -r hadoop-3.1.0 worker2:/home/hadoop/

在三台主机中操作

sudo mkdir -p /opt/hadoop
sudo mv hadoop-3.1.0 /opt/hadoop/
# 新建rcmd_default文件
# 设置rcmd_default入口，避免出现 master: rcmd: socket: Permission denied
sudo sh -c "echo "ssh" > /etc/pdsh/rcmd_default"

2.2.5 Hadoop环境变量配置

在 三台 服务器上操作如下
- 设置环境的编码

sudo vim /etc/environment

增加如下内容，解决Tab报错

LANG=en_US.utf-8
LC_ALL=en_US.utf-8
  • 设置Hadoop环境变量
sudo vim /etc/profile.d/hadoop-3.1.0.sh
#!/bin/sh
# Author:wangxiaolei 王小雷
# Github: https://github.com/wangxiaoleiai

export HADOOP_HOME="/opt/hadoop/hadoop-3.1.0"
export PATH="$HADOOP_HOME/bin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
source /etc/profile

2.2.6 Hadoop完全分布式集群格式化

在 三台 主机上操作：在hdfs-site.xml中指定的hdfs文件路径，先创建出来,并把root改为hadoop，使得hadoop有读写权限

sudo mkdir /var/lib/hadoop

sudo chown hadoop:hadoop /var/lib/hadoop/

只在master上操作

cd /opt/hadoop/hadoop-3.1.0/

# 开始格式化
bin/hdfs namenode -format busuanzi

这里写图片描述

2.2.7 Hadoop完全分布式集群开启

开启所有HDFS进程

sbin/start-dfs.sh
# 查看
jps

这里写图片描述

开启所有yarn进程

sbin/start-yarn.sh
# 查看
jps

这里写图片描述

开启

bin/mapred --daemon start historyserver
# 查看
jps

最终集群如下图

这里写图片描述

2.2.8 通过web端查看

此处的web端集群情况查看的ip，为master的服务器ip。

1.ResourceManager http://192.168.56.106:8088/

这里写图片描述

2.NameNode http://192.168.56.106:9870/

这里写图片描述

3.MapReduce JobHistory Server http://192.168.56.106:19888/

这里写图片描述

2.2.9 Hadoop完全分布式集群关闭

在Master上操作

关闭HDFS进程

sbin/stop-dfs.sh

关闭YARN

sbin/stop-yarn.sh

关闭MapReduce JobHistory 服务

bin/mapred --daemon stop historyserver

2.2.10 完全、干净、彻底删除集群【谨慎操作】

# 删除HDFS文件
sudo rm -rf /var/lib/hadoop
# 删除日志文件
sudo rm -rf /opt/hadoop/hadoop-3.1.0/logs/
# 删除hadoop文件
sudo rm -rf /opt/hadoop/hadoop-3.1.0/
# 删除hadoop环境变量
sudo rm -rf /etc/profile.d/hadoop-3.1.0.sh

恭喜，至此，已经拥有了标准的完全分布式大数据集群环境了，你已经走进了大数据。开始探索大数据生态的奇妙之旅。一步一步来，大数据真没那么难。

开源地址：https://github.com/wangxiaoleiAI/big-data

大数据完整知识体系原创，请长按关注微信公众号【从入门到精通】，进群交流、获取一手更新资讯。

这里写图片描述

猜你喜欢

转载自blog.csdn.net/dream_an/article/details/80752467
2.2
今日推荐
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
报告：Django 仍然是 74% 开发者的首选
《2024 年一季度互联网投融资运行情况》研究报告
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
周排行
计算机组成与设计（七）—— 除法器
Integer Approximation(分治+枚举)
大话数据库索引
windows10系统JDK的配置及下载地址
mysql实现秒值转换中原六仔平台搭建
Codeforces Round #556 (Div. 1)
百练1064 网线主管
Codeforces 995F Cowmpany Cowmpensation
子集生成之增量构造法，位向量法，二进制法
ERROR: cmd.exe failed with args /c "/APK\gradle\rungradle.bat...
每日归档
更多
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022