hadoop错误failed to report status for 600 seconds

最新推荐文章于 2018-11-16 14:49:48 发布

原创最新推荐文章于 2018-11-16 14:49:48 发布 · 3.5k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

hadoop

当前文章被收录于：

hadoop

12 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文讨论了Hadoop任务执行中Reduce阶段遇到的超时错误问题，具体为一个TaskAttempt因合并索引操作时间过长而超过默认时间限制。通过调整配置参数，将mapred.task.timeout设置为更长的值，可以避免此类错误。同时，提供了Hadoop配置文件中关于此参数的默认设置，帮助开发者理解并解决相关问题。

hadoop运行reduce阶段总是报错：

Task attempt_201301151634_193666_r_000010_0 failed to report status for 603 seconds

这是由于执行合并索引操作时间较长，所以超过了600秒的时间限制，把这个值改高点就不会报错了。

在程序里可以设置：

job.getConfiguration().setInt("mapred.task.timeout", 6000000);

附上hadoop配置文件里的默认设置：

<property>
  <name>mapred.task.timeout</name>
  <value>600000</value>
  <description>The number of milliseconds before a task will be terminated if it neither reads an input, writes an output, nor updates its status string.
  </description>
</property>