hadoop-运行hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input/ /wc/output/

最新推荐文章于 2026-06-24 11:45:51 发布
原创 最新推荐文章于 2026-06-24 11:45:51 发布 · 3k 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
Hadoop

当前文章被收录于：

Hadoop
17 篇文章 0 人学习
订阅专栏 查看详情
本文记录了使用Hadoop进行单词计数任务的过程，包括任务的执行情况、进度更新及最终完成状态。展示了输入文件、任务配置及输出结果。

查看结果：


在地址栏：输入   主机名：50070

点击_logs 下面的进入统计单词的结果。


[root@redhat5 hadoop-1.2.1]# hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input/ /wc/output/
16/01/20 22:27:56 INFO input.FileInputFormat: Total input paths to process : 7
16/01/20 22:27:56 INFO util.NativeCodeLoader: Loaded the native-hadoop library
16/01/20 22:27:56 WARN snappy.LoadSnappy: Snappy native library not loaded
16/01/20 22:27:59 INFO mapred.JobClient: Running job: job_201601202034_0003
16/01/20 22:28:00 INFO mapred.JobClient:  map 0% reduce 0%
16/01/20 22:29:27 INFO mapred.JobClient:  map 28% reduce 0%
16/01/20 22:30:25 INFO mapred.JobClient:  map 42% reduce 0%
16/01/20 22:30:27 INFO mapred.JobClient:  map 42% reduce 9%
16/01/20 22:30:29 INFO mapred.JobClient:  map 57% reduce 9%
16/01/20 22:30:34 INFO mapred.JobClient:  map 57% reduce 14%
16/01/20 22:30:41 INFO mapred.JobClient:  map 57% reduce 19%
16/01/20 22:31:01 INFO mapred.JobClient:  map 71% reduce 19%
16/01/20 22:31:04 INFO mapred.JobClient:  map 85% reduce 19%
16/01/20 22:31:10 INFO mapred.JobClient:  map 85% reduce 28%
16/01/20 22:31:25 INFO mapred.JobClient:  map 100% reduce 28%
16/01/20 22:31:36 INFO mapred.JobClient:  map 100% reduce 92%
16/01/20 22:31:37 INFO mapred.JobClient:  map 100% reduce 100%
16/01/20 22:31:52 INFO mapred.JobClient: Job complete: job_201601202034_0003
16/01/20 22:31:52 INFO mapred.JobClient: Counters: 29
16/01/20 22:31:52 INFO mapred.JobClient:   Job Counters 
16/01/20 22:31:53 INFO mapred.JobClient:     Launched reduce tasks=1
16/01/20 22:31:53 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=372203
16/01/20 22:31:53 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
16/01/20 22:31:53 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
16/01/20 22:31:53 INFO mapred.JobClient:     Launched map tasks=7
16/01/20 22:31:53 INFO mapred.JobClient:     Data-local map tasks=7
16/01/20 22:31:53 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=127071
16/01/20 22:31:53 INFO mapred.JobClient:   File Output Format Counters 

16/01/20 22:31:53 INFO mapred.JobClient:     Bytes Written=6549
16/01/20 22:31:53 INFO mapred.JobClient:   FileSystemCounters
16/01/20 22:31:53 INFO mapred.JobClient:     FILE_BYTES_READ=10600
16/01/20 22:31:53 INFO mapred.JobClient:     HDFS_BYTES_READ=16263
16/01/20 22:31:53 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=462821
16/01/20 22:31:53 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=6549
16/01/20 22:31:53 INFO mapred.JobClient:   File Input Format Counters 
16/01/20 22:31:53 INFO mapred.JobClient:     Bytes Read=15486
16/01/20 22:31:53 INFO mapred.JobClient:   Map-Reduce Framework
16/01/20 22:31:53 INFO mapred.JobClient:     Map output materialized bytes=10636
16/01/20 22:31:53 INFO mapred.JobClient:     Map input records=389

16/01/20 22:31:53 INFO mapred.JobClient:     Reduce shuffle bytes=10636
16/01/20 22:31:53 INFO mapred.JobClient:     Spilled Records=1196
16/01/20 22:31:53 INFO mapred.JobClient:     Map output bytes=21294
16/01/20 22:31:53 INFO mapred.JobClient:     Total committed heap usage (bytes)=1323302912
16/01/20 22:31:53 INFO mapred.JobClient:     CPU time spent (ms)=38790
16/01/20 22:31:53 INFO mapred.JobClient:     Combine input records=1761
16/01/20 22:31:53 INFO mapred.JobClient:     SPLIT_RAW_BYTES=777
16/01/20 22:31:53 INFO mapred.JobClient:     Reduce input records=598
16/01/20 22:31:53 INFO mapred.JobClient:     Reduce input groups=427
16/01/20 22:31:53 INFO mapred.JobClient:     Combine output records=598
16/01/20 22:31:53 INFO mapred.JobClient:     Physical memory (bytes) snapshot=1390465024
16/01/20 22:31:53 INFO mapred.JobClient:     Reduce output records=427
16/01/20 22:31:53 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=4970704896
16/01/20 22:31:53 INFO mapred.JobClient:     Map output records=1761


在命令行：查看



在命令下查看结果：


[root@redhat5 conf]# hadoop fs -lsr /wc/input/


-rw-r--r--   1 root supergroup       7457 2016-01-20 06:20 /wc/input/capacity-scheduler.xml
-rw-r--r--   1 root supergroup        378 2016-01-20 06:21 /wc/input/core-site.xml
-rw-r--r--   1 root supergroup        327 2016-01-20 06:21 /wc/input/fair-scheduler.xml
-rw-r--r--   1 root supergroup       4644 2016-01-20 06:21 /wc/input/hadoop-policy.xml
-rw-r--r--   1 root supergroup        358 2016-01-20 06:21 /wc/input/hdfs-site.xml
-rw-r--r--   1 root supergroup       2033 2016-01-20 06:21 /wc/input/mapred-queue-acls.xml
-rw-r--r--   1 root supergroup        289 2016-01-20 06:21 /wc/input/mapred-site.xml


[root@redhat5 conf]# hadoop fs -lsr /wc/output/


-rw-r--r--   1 root supergroup          0 2016-01-20 22:31 /wc/output/_SUCCESS
drwxr-xr-x   - root supergroup          0 2016-01-20 22:27 /wc/output/_logs
drwxr-xr-x   - root supergroup          0 2016-01-20 22:27 /wc/output/_logs/history
-rw-r--r--   1 root supergroup      30337 2016-01-20 22:27 /wc/output/_logs/history/job_201601202034_0003_1453300078993_root_word+count
-rw-r--r--   1 root supergroup      48088 2016-01-20 22:27 /wc/output/_logs/history/job_201601202034_0003_conf.xml
-rw-r--r--   1 root supergroup       6549 2016-01-20 22:31 /wc/output/part-r-00000


[root@redhat5 conf]# hadoop fs -text /wc/output/part-r-00000

 


hadoop-mapreduce-examples
07-13
使用eclipse和maven的Hadoop Mapreduce示例：日志文件分析：本文简要概述了如何使用Eclipse和maven应用map reduce来计算每天发生的日志消息类型的数量。 先决条件： • 虚拟机上的Hadoop 设置。 • Java 版本 6 开发和运行时环境。 • Eclipse。 • Maven。 指示： Eclipse 上的 Maven 设置： 打开Eclipse 转到帮助 -> Eclipse Marketplace 按 Maven 搜索 单击“Eclipse 的 Maven 集成”部分的“安装”按钮 按照说明一步一步检查 Maven 安装在 Eclipse 中执行以下操作： 转到窗口 --> 首选项 Maven 列在左侧面板中。 使用eclipse的Maven项目： 进入eclipse新建maven项目如下 选择新建 -> Maven
hadoop-mapreduce-examples-2.6.5.jar
10-23
hadoop-mapreduce-examples-2.6.5.jar 官方案例源码
Hadoop运行示例WordCount
Horsleyli的博客
07-13 2499
一、运行Hadoop自带的hadoop-examples.jar报错 Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 解决办法： 1.进入hdfs su - hdfs 2.查看目录权限 hdfs dfs -ls / 3.修改权限 hadoop fs -chmod 777 /user 执行结果： 首先创建input文件夹 hdfs dfs -mkdir -p /user/hdf
Hadoop执行mapreducere任务：hadoop jar demo-1.0-SNAPSHOT.jar MapReduce.demo02Filter /student/ /out2
zhlsxy的博客
09-01 553
Error: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast 出现上面的错误，是因为 import org.apache.hadoop.mapreduce.lib.input.FileSplit; 这个包导入出错了
(转)hadoop jar xxxx.jar的流程
laiahu的专栏
12-27 3924
来源：http://hi.baidu.com/dtzw/blog/item/64a6f3f2dff0511eb17ec5b0.html 搞清楚 hadoop jar xxxx.jar 执行的流程： jar文件是如何分发的 JobClient(不一定是hadoop集群的节点)利用bin/hadoop脚本运行jar包，以hadoop-0.20.2-examples.jar为例子： hadoo
bin/hadoop jar hadoop-*-examples.jar wordcount 路径错误。
谭运华的专栏
06-12 8443
初学hadoop，准备在linux上单机运行wordcount例子，结果初学错误。 根据例子第一次运行hadoop，运行命令“bin/hadoop jar hadoop-*-examples.jar wordcount”，结果发生了异常，如下：        Exception in thread "main" java.io.IOException: Error opening job
Hadoop集群搭建与扩展实战：从伪分布到生产级十节点
最新发布
weixin_34050005的博客
06-24 342
Hadoop是一个开源的分布式计算框架，核心包含HDFS分布式文件系统和YARN资源调度器。其运行原理依赖Linux底层机制、JVM内存管理、进程间RPC通信及Quorum一致性协议。掌握Hadoop集群搭建与扩展，关键在于理解配置项间的强依赖关系（如yarn.nodemanager.resource.memory-mb与yarn.scheduler.maximum-allocation-mb的数值约束）和分布式系统三大瓶颈（存储扩展、计算调度、网络连接）。这些技术价值直接支撑大数据批处理、日志分析、ETL
Linux 常用命令
zhixingheyi_tian的博客
07-01 2256
set 指令能设置所使用shell的执行方式 -a 　标示已修改的变量，以供输出至环境变量。 -b 　使被中止的后台程序立刻回报执行状态。 -C 　转向所产生的文件无法覆盖已存在的文件。 -d 　Shell预设会用杂凑表记忆使用过的指令，以加速指令的执行。使用-d参数可取消。 -e 　若指令传回值不等于0，则立即退出shell。 -f　 　取消使用通配符。 -h 　自动记录函数的所在位置。 -H ............
运行 bin/hadoop jar hadoop-*-examples.jar wordcount报错
Longerandlonger的专栏
02-17 4723
报错内容： Exception in thread "main" java.io.IOException: Error opening job: hadoop-*-examples.jar ... 原因：hadoop的版本更新了，hadoop-*-examples.jar 这个文件更名为 hadoop-examples-*.jar了，这里的*代表版本。这个jar文件就在hadoo
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar grep input output
yuantuiwan3221的博客
06-04 1402
问题：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar grep input output文件系统不相通 解决方式：1、Linux本地文件系统和hadoop的hdfs文件系统是通过hadoop fs -put/get等联系。 2、可以通过file:/// 和hdfs://localhost:9000/user/ 直接说明地址区分不同的文件系统 hadoop jar share/hadoop/mapreduce/h
linux hadoop 运行jar,Linux下执行Hadoop WordCount.jar
weixin_42439576的博客
04-30 351
Linux执行 Hadoop WordCountUbuntu 终端进入快捷键 ：ctrl + Alt +thadoop启动命令：start-all.sh正常执行效果如下：hadoop@HADOOP:~$ start-all.shWarning: $HADOOP_HOME is deprecated.starting namenode, logging to /home/hadoop/hadoop-...
hadoop-examples-1.2.1.jar
10-14
hadoop-examples-1.2.1.jar
hadoop1.2.1在linux中配置安装独立运行Standalone Operation，伪分布Pseudo-Distributed Operation，集群配置三种配置和测试
野孩子的专栏
10-16 1635
1:安装sun jdk 我此处用的另一篇文章中的命令，但是安装的貌似是OPenJDK，老师要求不能安装这个一定要是sunjdk，否则后面会后问题，我决定后面有问题时我再改。而且此处我安装后并没有专门的配置环境变量后面的步骤中会有。 2：安装ssh（hadoop使用 ssh 来实现 cluster 中各 node 的登录认证，即Namenode是通过SSH来启动和停止各个datanode上的各种守护进程的，所以一定要实现免密码登录，免密码 ssh 设置在后文中有介绍） sudo apt
不止RTF！用XML格式另存为，另一种解锁DeepL翻译Word文档的方法
weixin_30298497的博客
05-31 487
本文详细介绍了如何通过XML格式解除DeepL翻译后的Word文档保护，相比传统的RTF方法，XML能更彻底地移除编辑限制并完整保留格式。文章提供了从基础操作到批量处理的完整指南，包括关键XML标签定位、正则表达式搜索技巧以及自动化脚本示例，帮助用户高效处理受保护文档。
hadoop作业引用第三方jar文件
appstore81的专栏
12-06 1113
编写mapreduce程序，习惯用eclipse，可以利用hadoop插件，引用第三方jar文件，然后直接run on hadoop即可，很方便。当然插件和eclipse的版本要匹配，不然总是local执行。但如果将自己的程序发布成jar文件，然后用hadoop命令行执行，则会遇到依赖类找不到问题：NoClassDefFoundError。     要解决这个问题，就需要了解hadoop命令式如
[hadoop]3.0.0以上版本运行hadoop-mapreduce-examples的pi官方示例（踩坑日记）
新一的技术笔记
01-26 8880
前言： hadoop环境都配置好了。运行官方示例 1. 下载官方示例的jar 2. 运行命令hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 5 5 2.1 遇到问题：任务卡住 Number of Maps = 5 Samples per Map = 5 2021-01-26 16:49:28,195 WARN util.NativeCodeLoader: Unable to load native-hadoop library for you
hadoop之hadoop-mapreduce-examples-2.7.0.jar
热门推荐
yibei8811的专栏
07-06 1万+
前2篇blog中测试hadoop代码的时候都用到了这个jar，那么很有必要去分析一下源码。 分析源码之前很有必要先写一个wordcount，代码如下 package mytest; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;
hadoop jar包_计算机毕业设计中hadoop上运行Java程序
weixin_39670464的博客
11-30 1275
点击上方“蓝字”，关注我们.第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入Hadoop-core-1.1.2.jar。注意这里eclipse里没有安装hadoop的插件，只是引入其匝包，该eclipse可以安装在windows或者linux中，如果是在windows中安装的，且在其虚拟机安装的linux，可以通过共享文件夹来实现传递。2，编写要测试...
第四章：hadoop 启动wordcount实例，包括hadoop自带jar包和eclipsejar包。hdfs常用命令
小爷欣欣
03-07 5284
1，首先介绍启动hadoop自带的wordcount的jar包实例1.1启动hadoophadoop安装目录下：./sbin/start-all.sh查看进程：jps1.2 ，进入到home目录下，创建一个文本，随便写点东西1.3 进入到hadoop安装目录下，模糊查找hadoop 案例jar包我们用hadoop-mapreduce-examples-3.0.0.jar1.4 ./bin/hado...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值