Linux创建多个虚拟机来配置Hadoop集群环境（二）

查看hadoop的解压缩目录结构

bin 可执行二进制脚本文件
etc/hadoop目录 hadoop系统配置文件所在目录

• hadoop-env.sh 配置环境
• core-site.xml 配置hdfs集群核心配置
• hdfs-site.xml 用来对hdfs文件系统做配置

sbin 可执行二进制脚本文件
share hadoop的文档和运行核心包

配置hadoop的环境变量 /etc/profile

export HADOOP_HOME=hadoop安装目录
export PATH= $HADOOP_HOME/bin:$HADOOP/sbin

source /etc/profile 重新加载环境配置

配置hadoop-env.sh 配置环境变量即可

vim hadoop安装目录下的etc/hadoop/hadoop-env.sh
vim一般模式输入命令:set nu显示行号，然后nG命令定位到第n行
修改export JAVA_HOME=${JAVA_HOME}
改为export JAVA_HOME=jdk的绝对路径

配置core-site.xml 用来对hdfs集群核心配置

vim hadoop安装目录下的etc/hadoop/core-site.xml
配置configuration标签内容

<configuration>
	<!-- 配置hdfs文件系统默认名称,配置NameNode全局入口 -->
	<property>
		<name>fs.defaulFS</name>
		<value>hdfs://hadoop1(主机名):9000</value>
	</property>
</configuration>

配置hdfs-site.xml 用来对hdfs文件系统做相关配置

<configuration>
	<!-- 配置block副本数  -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

配置slaves配置文件 用来决定那些机器为DataNode节点

当前是standalone模式，默认有localhost
把它改成hadoop1（主机名）

格式化NameNode 格式化成hadoop可以识别hdfs文件系统

仅仅第一次配置需要格式化
命令：
hdfs namenode -format

启动hdfs集群

sbin目录下的start-dfs.sh
启动之后用jps查看当前节点进程
可以上传一个文件到hdfs的根目录下
hdfs dfs -put a.txt /

访问hdfs管理界面

关闭防火墙
一次：systemctl stop firewalld
永久：systemctl diable firewalld

访问hadoop的webui界面：
主机ip:50070

hdfs创建多级目录
hdfs dfs -mkdir -p /datas/res(目录路径）

在自己动手实践的时候报了一个错误，分析了一波，是NameNode的节点入口没配置好，这里面涉及到了一个core-site.xml文件里面的一个属性的配置问题，具体分析就在Hadoop的core-site.xml配置文件里的fs.default.name和fs.defaultFS
总的来说，还是不能盲目跟着视频或者教程做，要清楚到底为什么这样做才能慢慢找出问题原因~