Hadoop搭建伪分布式环境（linux环境）

操作前准备

！！！注意各种计算机以及各个软件的安装位数是32位还是64位的，一定要匹配否则可能会出现不兼容的现象！！！
1.W10 本地终端 Windows Terminal（W10商店下载要最新系统，否则换一个别的终端都可以）
2.VM虚拟机，我用的是15pro （官网出到15.5了）
3.CentOS镜像示例中采用C7
4.虚拟机安装linux教程
5.Hadoop的CDH版本（先下载到本地，然后用终端上传到linux服务器也可以使用wget下载，选下面这个版本）
在这里插入图片描述
6.JDK1.8注意选择linux系统下的

下面开始环境搭建

首先将虚拟机中的linux系统联网，可使用图形化界面进行连接，使用在终端使用ifconfig和ping测试连通性。

在这里插入图片描述

现将Hadoop 和JDK1.8下载到本地
也可在linux服务器中采用wget方式下载，本示例演示从本地拷贝到服务器

1.首先在linux系统中新建几个相应的文件夹用来存放目标文件(新手可以先创建前两个)
在这里插入图片描述
mkdir software(存放所使用的软件安装包)
mkdir app(存放软件的安装目录)
mkdir data(存放所使用的数据)
mkdir lib(存放任务作业，jar包等)
mkdir shell(存放相关脚本)
mkdir maven_resp(存放使用到的maven_resp)

在以后的工作中一定要有良好的作业习惯，建立相应的分类文件夹，可以使文件井然有序，方便查找，提高工作效率。

权限不够解决方法
sudo -i 切换到root权限
sudo+命令可以使用root权限执行当前操作

2.以管理员方式打开本地终端，把Hadoop与JDK拷贝到服务器并且解压。
所需用到的命令如图所示：

scp D:\new\jdk-8u231-linux-x64.tar.gz 用户名@服务器IP:~/software/
在这里插入图片描述 Hadoop拷贝方式同理。

接下来要在服务器解压文件并放到指定目录中去。

tar -zvxf jdk-8u231-linux-x64.tar.gz -c ~/app/

在这里插入图片描述
Hadoop的解压方式同理。

3.然后在服务器配置JDK与Hadoop的环境变量（根目录下进入）。

vi .bash_profile

在这里插入图片描述

然后source一下

source .bash_profile

在这里插入图片描述
测试环境变量配置是否成功，并验证（注意重启后验证不成功多半是顺序有问题，java_home和path的顺序要注意）。

在这里插入图片描述

4.配置ssh免密登录
在这里插入图片描述
一路回车，接下来更改权限，如下所示

在这里插入图片描述
测试免密是否成功

在这里插入图片描述
成功！
留下一个小问题，如果ssh免密登录很慢是什么原因造成的呢？是否有解决的方法呢？

5.修改Hadoop的配置文件
在这里插入图片描述
进入 hadoop-env.sh，做如下配置。

5. HDFS格式化以及启动等相关问题

vi core-site.xml
权限不够记得切换权限上文有提及

在这里插入图片描述

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop000:8020</value>
    </property>

然后进入

vi hdfs-site.xml

在这里插入图片描述

   <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/jerry/app/tmp</value>
    </property>

接下来在app目录新建一个文件夹,并配置相关路径（如果不执行这一步，以后的操作可能出现问题，文件可能因为存储在临时文件夹的位置导致消失）

在这里插入图片描述

注意 hadoop.tmp.dir的配置就是你新建的tmp文件夹下的路径

进入slaves将名称由localhost改为hadoop000

到这里配置基本就结束了！
让我们启动一下吧！
第一次执行一定要格式化文件系统

执行格式化。
在这里插入图片描述
出现这个语句表示格式化成功

启动服务！！！！先到这个目录下

然后启动。