基础MapReduce程序骨架

最新推荐文章于 2026-07-01 07:43:09 发布

翻译最新推荐文章于 2026-07-01 07:43:09 发布 · 2.1k 阅读

收录于

Hadoop学习

本文详细介绍了MapReduce作业的基本配置过程，包括如何设置输入输出路径、指定Mapper与Reducer类等核心步骤。此外还探讨了如何利用Hadoop提供的工具类进行命令行参数的解析与配置。

/***************************************************
 * MapReduce Basic Template
 * Author: jokes000
 * Date: 2011-12-14
 * Version: 1.0.0
 **************************************************/

public class MapReduceTemplate extends Configured implements Tool {
	
	public static class MapClass extends Mapper<Object,Object,Object,Object> {
		
		// Map Method
		public void map(KEYIN key, VALUEIN value, Mapper.Context context) {
			
		}
	}
	
	public static class Reduce extends Reducer<Object,Object,Object,Object> {
		
		// Reduce Method
		public void reduce(KEYIN key, Iterable<VALUEIN> values, Reducer.Context context) {
			
		}
	}
	
	// run Method
	public int run(String[] args) throws Exception {
		// Create and Run the Job
		Job job = new Job();
		job.setJarByClass(MyJob.class);
		
		FileInputFormat.addInputPath(job, new Path(arg0[0]));
		FileOutputFormat.setOutputPath(job, new Path(arg0[1]));
		
		job.setMapperClass(MapClass.class);
		job.setReducerClass(Reduce.class);
		job.setInputFormatClass(MyInputFormat.class);
		job.setOutputFormatClass(TextOutputFormat.class);
		
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		
		System.exit(job.waitForCompletion(true) ? 0 : 1);
		return 0;
	}
	
	public static void main(String[] args) throws Exception {
		// 
	}
}

Mapper、Reducer在Job执行期间被多个节点clone以及执行，而剩下的Job Class值在客户端上执行。

除去Mapper和Reducer之后，我们程序的骨架为：

/***************************************************
 * MapReduce Basic Template
 * Author: jokes000
 * Date: 2011-12-14
 * Version: 1.0.0
 **************************************************/

public class MapReduceTemplate extends Configured implements Tool {
	
	// run Method
	public int run(String[] args) throws Exception {
		// Create and Run the Job
		Job job = new Job();
		job.setJarByClass(MyJob.class);
		
		FileInputFormat.addInputPath(job, new Path(arg0[0]));
		FileOutputFormat.setOutputPath(job, new Path(arg0[1]));
		
		job.setMapperClass(MapClass.class);
		job.setReducerClass(Reduce.class);
		job.setInputFormatClass(MyInputFormat.class);
		job.setOutputFormatClass(TextOutputFormat.class);
		
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		
		System.exit(job.waitForCompletion(true) ? 0 : 1);
		return 0;
	}
	
	public static void main(String[] args) throws Exception {
		// 
	}
}

这个骨架的核心是run()函数，被成为程序的driver，driver实例化、配置一个Job实体，并使其运行。

Job class会和JobTracker通信使其在集群中执行MapReduce Job。

run()函数中的基础步骤为：

1.创建一个新的Job实例；

2.设置实例运行的主类；

3.设置程序输入输出位置；

4.设置Mapper、Reducer类

5.设置Input、OutputFormat，设置OutputKey、Value类

6.执行Job

Job变量有许多变量，当用户从命令行执行一个Hadoop Job时，他可能想传入一些额外的参数来改变Job的配置。

于是Hadoop提供Configured和Tool类来支持这些参数的识别（具体识别的类为GenericOptionsParser）。

例如：