本节目标:
掌握MR的两种执行环境
MR的执行环境主要有两种,本地测试环境和服务器环境
1、本地测试环境
项目src下不能添加hadoop相关的配置文件。
(1)window下配置hadoop的环境变量


(2)拷贝相关工具(winutils.exe,hadoop.dll)到hadoop安装路径下的bin目录下

(3)项目下添加hadoop修改后的源码


(4)因为没有配置文件,所以要手动设置配置信息。

(5)执行测试

2 服务器环境
(1)项目src目录下要添加相关配置文件

(2)将MR程序打jar,发送到服务器上

(3)命令执行任务:hadoop jar jar路径 类的全限定名

通过测试代码测试以上两种执行环境。
本文详细介绍了Hadoop MapReduce(MR)的两种执行环境——本地测试环境和服务器环境。在本地测试环境中,不包含Hadoop配置文件,需要配置环境变量,拷贝winutils.exe等工具,并手动设置配置信息来执行测试。而在服务器环境下,项目src下需要配置文件,程序被打成jar包上传至服务器,通过hadoop jar命令执行任务。
2452

被折叠的 条评论
为什么被折叠?



