win10 Hadoop3.1.1配置

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012848709/article/details/85222861

楔子

win10安装 Hadoop 尝试失败，尝试编译，由于环境没搞好，也失败了，win10上最好安装一些旧版本的 hadoop 或者CHD版本的

winutils 下载

下载地址https://github.com/steveloughran/winutils

配置文件

1 core-site.xml

<configuration>
	<!-- 指定hadoop临时目录,默认在/tmp/{$user}目录下，不安全，每次开机都会被清空-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/D:/soft/bd/hdata/hadoop</value>
		<!-- 注意此处 window上 路径以"/"开始 -->
	</property>

	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9820</value>
	</property>
</configuration>

2 hdfs-site.xml

<configuration>
	<!--文件副本数量  -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.permissions.enabled</name>
		<value>false</value>
	</property>
</configuration>

3 mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

4 yarn-site.xml

<configuration>
	<!--NodeManager上运行的附属服务，需配置成mapreduce_shuffle，才可运行MapReduce程序-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

遇到的问题

1. 无法创建符号链接 我是使用RAR以管理员解压

2. yarn 启动自动停止
   把share\hadoop\yarn\timelineservice里面的jar复制到了share\hadoop\yarn