Hadoop Yarn 运行日志查看不了

本文介绍如何解决Hadoop中出现的java.lang.Exception错误,通过配置yarn-site.xml和mapred-site.xml文件,以及启动和停止日志服务,实现对Hadoop任务日志的有效管理和查看。
java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn't belong to this node at all.

在这里插入图片描述

从网上搜索下了,找到答案,自己也作为学习,记录下

1、hadoop的日志服务,它是一个独立的服务,默认情况关闭的,需要单独开启该服务

2、该服务会涉及到2个文件的配置,其中包括:yarn-site.xmlmapred-site.xml

详细配置过程如下:

文件配置

需要将下面的配置,添加到文件yarn-site.xml

<property>
    <name>yarn.log.server.url</name>
    <value>http://master:19888/jobhistory/logs</value>
</property>

需要将下面的配置,添加到文件mapred-site.xml

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
</property>
启动服务
#开启服务
./sbin/mr-jobhistory-daemon.sh start historyserver

#停止服务
./sbin/mr-jobhistory-daemon.sh stop historyserver
通过任务查看日志

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值