hadoop学习笔记(七)——hadoop权威指南中天气数据运行

最新推荐文章于 2026-05-21 07:42:10 发布

原创

最新推荐文章于 2026-05-21 07:42:10 发布 · 5.7k 阅读

收录于

当前文章被以下社区和专栏收录：

本文档记录了使用Hadoop处理天气数据的详细步骤，包括HDFS的文件准备，编写MaxTemperature应用程序，使用Eclipse进行Java应用运行，以及通过javac编译和打包运行。在Hadoop环境中，数据预处理涉及文件删除、创建目录，而程序运行涵盖了Mapper和Reducer类的编译及执行，最后展示了如何检查输出结果。

1) hdfs文件系统准备工作
a) # hadoop fs –ls /user/root #查看hdfs文件系统
b) # hadoop fs -rm /user/root/output02/part-r-00000
c) 删除文档，删除文件夹
d) # hadoop fs -rm –r /user/root/output02
e) # hadoop fs –mkdir –p input/ncdc
f) 解压缩输入文件，hadoop无法识别.zip或者.rar
g) # hadoop fs -put ../input_tmp/* input/ncdc
h) 同一个任务对应的input文件内容格式必须一致。
2) 编写程序
a) MaxTemperature.java

// cc MaxTemperature Application to find the maximum temperature in the weather dataset
// vv MaxTemperature
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MaxTemperature {

  public static void main(String[] args) throws Exception {
    if (args.length !=