0 前期准备
Linux的Java环境配置:https://blog.csdn.net/Tiezhu_Wang/article/details/113822949
Linux关闭防火墙:https://blog.csdn.net/Tiezhu_Wang/article/details/113861262
firefox安装:https://blog.csdn.net/Tiezhu_Wang/article/details/113385544
1 下载
官网:https://hadoop.apache.org/releases.html
或 百度网盘:链接:https://pan.baidu.com/s/1XHwHfBIu3fFSnqmtuH1p_A (提取码:xysm)
2 安装
将hadoop安装到/usr/local目录下:
sudo tar -zxf ~/Downloads/hadoop-3.2.1.tar.gz -C /usr/local
切换到目录下可以查看到已经解压完成:
修改文件权限(这里前一个“hadoop”是系统的用户名):
cd /usr/local
sudo chown -R hadoop ./hadoop-3.2.1/
3 检查Hadoop是否可用
hadoop解压后即可使用,使用如下命令查看hadoop版本:
/usr/local/hadoop-3.2.1/bin/hadoop version
4 伪分布式配置
4.1 设置hadoop环境变量
vim ~/.bashrc
添加如下环境变量:
export HADOOP_HOME=/usr/local/hadoop-3.2.1
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
更改退出后使配置生效:
source ~/.bashrc
切换到任意目录下,检查环境变量是否配置成功:
cd
hadoop version
版本信息与上文相同,则配置成功
4.2 修改配置文件
hadoop伪分布式需要修改2个配置文件:core-site.xml 和 hdfs-site.xml
core-site.xml:
cd /usr/local/hadoop-3.2.1/etc/hadoop/
gedit ./core-site.xml
加入如下配置,保存后退出:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-3.2.1/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
如图:
hdfs-site.xml:
cd /usr/local/hadoop-3.2.1/etc/hadoop/
gedit ./hdfs-site.xml
加入如下配置,保存后退出:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.2.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-3.2.1/tmp/dfs/data</value>
</property>
</configuration>
如图:
5 检查配置是否成功
配置完成后,执行namenode的格式化:
hdfs namenode -format
看到如下提示则格式化成功:
开启NameNode和DataNode守护进程:
start-dfs.sh
然后使用jps查看是否成功启动:
可以看到三个node进程已启动,还可以通过浏览器访问localhost:9870查看HDFS中的文件:
进入后即可查看初始的HDFS目录:
出现以上信息则配置成功,使用如下命令关闭守护进程:
stop-dfs.sh