安装hadoop2.6.0（伪分布式）

环境如下
linux版本：CentOS 7.5.1804
jdk版本：jdk1.8.0_201
hadoop版本：hadoop-2.6.0-cdh5.10.0

一、JDK

二、设置免密码登录

# ssh-keygen -t rsa -P ""
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

二、安装Hadoop

Hadoop我选用了cdh2.6.0的版本
下载地址直接去官方下载就行
官方地址：https://archive.cloudera.com/cdh5/cdh/5/
或是直接点击此链接进行下载 hadoop-2.6.0-cdh5.10.0.tar.gz

下载后将压缩包上传到服务器的制定路径（如果不清楚如何操作的可查看文章：通过 Xshell 上传文件到服务器 rzsz）

解压

tar -zxvf hadoop-2.6.0-cdh5.10.0.tar.gz

配置环境变量

修改 /etc/profile 文件：

vim /etc/profile

在文件中加入以下内容：

export HADOOP_HOME=~/lib/hadoop-2.6.0-cdh5.10.0
export HADOOP_PREFIX=$HADOOP_HOME                     
export HADOOP_MAPRED_HOME=$HADOOP_HOME                                     
export HADOOP_COMMON_HOME=$HADOOP_HOME                                 
export HADOOP_HDFS_HOME=$HADOOP_HOME                                 
export HADOOP_YARN_HOME=$HADOOP_HOME                                      
export HADOOP_LIB=$HADOOP_HOME/lib                              
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop           
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

修改 PATH，添加hadoop操作路径
例如：

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注：HADOOP_HOME是你的 hadoop 安装的根目录

跟新配置

source /etc/profile

配置hadoop（伪分布式配置）

进入 hadoop-2.6.0-cdh5.10.0/etc/hadoop/ 文件

cd ~/lib/hadoop-2.6.0-cdh5.10.0/etc/hadoop/

1. 修改 `hadoop-env.sh` 文件

vim hadoop-env.sh

添加

export JAVA_HOME=~/lib/jdk1.8.0_201

2. 修改 `core-site.xml` 文件

vim core-site.xml

添加

<configuration>
    <property>                                                        
        <name>hadoop.tmp.dir</name>  <!-- 临时目录 --> 
        <value>file:/root/hadoop/tmp</value> 
    </property>                                                                
    <property>                                                                 
        <name>fs.defaultFS</name>                                              
        <value>hdfs://localhost:9000</value>                                   
    </property>               
</configuration>

3. 修改 `hdfs-site.xml` 文件

vim hdfs-site.xml

添加

<configuration>
    <property>                                              
        <name>dfs.replication</name>                         
        <value>1</value>  <!-- 由于是伪分布式，节点数仅为1-->
    </property>                                     
    <property>                                    
        <name>dfs.namenode.name.dir</name>  <!-- namenode目录-->
        <value>file:/root/hadoop/tmp/dfs/name</value>
    </property>                       
    <property>                          
        <name>dfs.datanode.data.dir</name>  <!-- datanode目录 -->
        <value>file:/root/hadoop/tmp/dfs/data</value>
    </property>                       
</configuration>

格式化Hadoop

格式化 namenode

hadoop namenode -format

启动Hadoop

start-all.sh

状态监测

jps

在这里插入图片描述
显示所有进程启动成功
（注：由于是伪分布式配置，所以 NameNode 和 DataNode 同时存在）

测试

# hadoop fs -ls /              #查看hdfs的/目录
# hadoop fs -mkdir /user       #在hdfs创建目录user
# hadoop fs -put a.out /user   #在hdfs的/user下上传文件a.out
# hadoop fs -get /user/a.out   #下载a.out文件到本地

在这里插入图片描述

没有报错，显示正常，安装完成

–> 关闭hadoop

# stop-all.sh

青冥有晓月