大数据学习之hadoop——10Windows环境搭建+IDEA_maven配置

一、Windows_hadoop环境搭建

1、将hadoop.tar.gz解压
在这里插入图片描述

解压路径为：E:\study\2020BigData\hadoopHome\hadoop

把hadoop-2.6.1bin下的所有文件粘贴至解压目录下的bin下
在这里插入图片描述
将其中的hadoop.dll文件复制到C://Windows/System32下
2、修改配置文件所有关于路径的配置都要使用 “ / ”

core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml 配置的dfs目录需要自己创建好

<configuration>
<property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>localhost:9000</value>
</property>
 <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///E:/study/2020BigData/hadoopHome/hadoop/hadoop-2.7.6/dfs/name</value>
  </property>

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///E:/study/2020BigData/hadoopHome/hadoop/hadoop-2.7.6/dfs/data</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:///E:/study/2020BigData/hadoopHome/hadoop/hadoop-2.7.6/dfs/secondaryName</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<configuration>

  <!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
	<name>yarn.resourcemanager.hostname</name>
	<value>localhost</value>
  </property>
</configuration>

3、添加环境变量 HADOOP_HOME
在这里插入图片描述
向Path中添加

4、验证
打开命令行输入hadoop不报错

格式化：
hadoop.cmd namenode -format

可以使用start-dfs.cmd启动服务。启动后会出现namenode和datanode的对话界面关了就行
正常使用时可以不执行启动命令
启动后可以到配置dfs/name dfs/data dfs/secondaryName下查看
在这里插入图片描述

二、IDEA_Maven配置

1、下载apache-maven-xxx-bin.zip文件
下载地址http://mirror.bit.edu.cn/apache/maven/maven-3/
2、解压该文件至本地目录下
在这里插入图片描述
在E盘创建名为repository_maven的文件夹，在maven3.5.2/bin/settings.xml文件中添加如下属性

repository_maven 是之前下载好的文件夹，里面是后续内容将会用到的
3、添加环境变量
M2_HOME

向path中追加环境变量

4、在cmd中输入 mvn -n出现以下信息表示配置成功
在这里插入图片描述
5、打开IDEA中的Seting选项，搜索maven，配置如下

6、创建maven项目

单机next后可以自己定义三点坐标，以此确定自己的项目名称

选择项目存储位置，单机finish即可