Hadoop——MR执行环境

本节目标:

掌握MR的两种执行环境

MR的执行环境主要有两种,本地测试环境和服务器环境

1、本地测试环境

项目src下不能添加hadoop相关的配置文件。

(1)window下配置hadoop的环境变量


(2)拷贝相关工具(winutils.exe,hadoop.dll)到hadoop安装路径下的bin目录下


(3)项目下添加hadoop修改后的源码

(4)因为没有配置文件,所以要手动设置配置信息。


(5)执行测试



2 服务器环境

(1)项目src目录下要添加相关配置文件


(2)将MR程序打jar,发送到服务器上


(3)命令执行任务:hadoop jar jar路径 类的全限定名


通过测试代码测试以上两种执行环境。







猜你喜欢

转载自blog.csdn.net/ym01213/article/details/80045773
今日推荐