hadoop-hdfs-伪分布式环境搭建-使用

 查看一些配置：

用node01 控制node02：

 

 

 免秘钥控制的方法：

 

 

扫描二维码关注公众号，回复： 6119191 查看本文章

 

 

 安装jdk:

 

在usr目录下建立java安装目录

cd /usr


mkdir java

将jdk-8u152-linux-x64.tar.gz拷贝到java目录下

cp   /mnt/hgfs/linux/jdk-8u152-linux-x64.tar.gz    /usr/java/

解压jdk到当前目录

tar -zxvf jdk-8u152-linux-x64.tar.gz


得到文件夹 jdk1.8.0_152

安装完毕为他建立一个链接以节省目录长度

(我没用这一步)
ln -s /usr/java/jdk1.8.0_152/ /usr/jdk

编辑配置文件，配置环境变量

vim /etc/profile

 

重启机器或执行命令 ：source /etc/profile

 

 安装Hadoop：

配置Hadoop环境变量：

 

 

规划配置：

 

 

 

 

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>



etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

 决定了namenode在哪启动

 

 

设置副本数

 

 

修改 DataNode

决定了DataNode在哪里启动

 

为日志文件规划一个持久化的目录

 

决定了secondnamenode 在哪里启动

 

 

 格式化分布式文件系统

 哈哈哈！！！！！！！！！！！格式化成功！！！！！！！！！！！

 

 

 

 

 namenode 和 datanode 集群ID必须相同

 

 

 

 

 

 

 

 

 

 

 

 

 上传文件：