hadoop 伪分布式安装笔记

准备工作

1 准备一个linux系统的环境

2 安装JAVA环境

开始安装

1 为hadoop创建hadoop用户，以下操作均在hadoop用户下完成
2 下载hadoop
http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
3 创建目录，并解压上传文件
mkdir /usr/local/hadoop
tar zxf hadoop-3.1.3.tar.gz
4 配置环境变量 vi /etc/profile
export PATH=$PATH:/usr/local/hadoop/hadoop-3.1.3/bin:/usr/local/hadoop/hadoop-3.1.3/sbin
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.3
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
生效 source /etc/profile

5 修改/usr/local/hadoop/hadoop-3.1.3/etc/hadoop 下的配置文件
（1）修改core-site.xml文件
vi core-site.xml 添加如下内容，注意实际目录
<configuration>
     <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/hadoop-3.1.3/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
（2）修改hdfs-site.xml文件
vi hdfs-site.xml
<configuration>
     <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/hadoop-3.1.3/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/hadoop-3.1.3/tmp/dfs/data</value>
    </property>
</configuration>
（3）vi hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_231

在浏览器上输入可以弹出分布式文件系统界面
http://192.168.9.7:9870/

附端口说明
HDFS
    DataNode
        50010(hadoop3:9866)   dfs.datanode.address    datanode服务端口，用于数据传输
        50075(hadoop3:9864)   dfs.datanode.http.address   http服务的端口
        50475(hadoop3:9865)   dfs.datanode.https.address  https服务的端口
        50020(hadoop3:9867)   dfs.datanode.ipc.address    ipc服务的端口
    NameNode
        50070(hadoop3:9870)   dfs.namenode.http-address   http服务的端口
        50470(hadoop3:9871)   dfs.namenode.https-address  https服务的端口
        8020(hadoop3:9820)    fs.defaultFS    接收Client连接的RPC端口，用于获取文件系统metadata信息。