本节目标:
掌握MR的两种执行环境
MR的执行环境主要有两种,本地测试环境和服务器环境
1、本地测试环境
项目src下不能添加hadoop相关的配置文件。
(1)window下配置hadoop的环境变量
(2)拷贝相关工具(winutils.exe,hadoop.dll)到hadoop安装路径下的bin目录下
(3)项目下添加hadoop修改后的源码
(4)因为没有配置文件,所以要手动设置配置信息。
(5)执行测试
2 服务器环境
(1)项目src目录下要添加相关配置文件
(2)将MR程序打jar,发送到服务器上
(3)命令执行任务:hadoop jar jar路径 类的全限定名
通过测试代码测试以上两种执行环境。