hive脚本运行查看错误日志方式

最新推荐文章于 2026-05-17 09:33:19 发布
原创 最新推荐文章于 2026-05-17 09:33:19 发布 · 1.7w 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
hadoop

当前文章被收录于：

hadoop
75 篇文章 0 人学习
订阅专栏 查看详情
分布式框架

当前文章被收录于：

分布式框架
28 篇文章 0 人学习
订阅专栏 查看详情
本文介绍了一种Hive任务失败的排查方法，通过修改URL参数并查看具体错误日志来定位问题所在。针对Hive任务报错，文章详细展示了如何逐步解决HTTP 400错误，并最终找到导致任务失败的根本原因。

当脚本在运行时报错信息如下：

Examining task ID: task_201201061122_0007_m_000002 (and more) from job job_201201061122_0007
Exception in thread "Thread-23" java.lang.RuntimeException: Error while reading from task log url
at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getErrors(TaskLogProcessor.java:130)
at org.apache.hadoop.hive.ql.exec.JobDebugger.showJobFailDebugInfo(JobDebugger.java:211)
at org.apache.hadoop.hive.ql.exec.JobDebugger.run(JobDebugger.java:81)
at java.lang.Thread.run(Thread.java:662)
Caused by: java.io.IOException: Server returned HTTP response code: 400 for URL: http://10.200.187.27:50060/tasklog?taskid=attempt_201201061122_0007_m_000000_2&start=-8193
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1436)
at java.net.URL.openStream(URL.java:1010)
at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getErrors(TaskLogProcessor.java:120)
... 3 more
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
MapReduce Jobs Launched: 


将http://10.200.187.27:50060/tasklog?taskid=attempt_201201061122_0007_m_000000_2&start=-8193这段复制出来，输入到IE浏览器的地址栏内，然后出现这样的信息：

HTTP ERROR 400

Problem accessing /tasklog. Reason:

    Argument attemptid is required

Powered by Jetty://


这时将attemptid替换浏览器地址栏里的参数taskid，然后就出现以下内容：

Task Logs: 'attempt_201201061122_0006_m_000000_1'



stdout logs
 



stderr logs

Traceback (most recent call last):
  File "/bin/is_good_quality.py", line 8, in <module>
    if(temp!="9999" and re.match("[01459]",q)):
NameError: name 'q' is not defined
org.apache.hadoop.hive.ql.metadata.HiveException: Hit error while closing ..
	at org.apache.hadoop.hive.ql.exec.ScriptOperator.close(ScriptOperator.java:452)
	at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566)
	at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566)
	at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566)
	at org.apache.hadoop.hive.ql.exec.ExecMapper.close(ExecMapper.java:193)
	at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
	at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
	at org.apache.hadoop.mapred.Child.main(Child.java:249)
org.apache.hadoop.hive.ql.metadata.HiveException: Hit error while closing ..
	at org.apache.hadoop.hive.ql.exec.ScriptOperator.close(ScriptOperator.java:452)
	at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566)
	at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566)
	at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566)
	at org.apache.hadoop.hive.ql.exec.ExecMapper.close(ExecMapper.java:193)
	at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
	at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
	at org.apache.hadoop.mapred.Child.main(Child.java:249)
org.apache.hadoop.hive.ql.metadata.HiveException: Hit error while closing ..
	at org.apache.hadoop.hive.ql.exec.ScriptOperator.close(ScriptOperator.java:452)
	at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566)
	at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566)
	at org.apache.hadoop.hive.ql.exec.Operator.close(Operator.java:566)
	at org.apache.hadoop.hive.ql.exec.ExecMapper.close(ExecMapper.java:193)
	at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
	at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
	at org.apache.hadoop.mapred.Child.main(Child.java:249)







就可以看到具体的错误信息了，以上是基于hadoop-0.20.205.0的版本。









                

        

    






  



  

    

      标签
      

          #脚本
          #exception
          #2010
          #浏览器
          #jobs
        

          
            
          
          

              #thread
          

        

      

    

  







    



                



	

		

			

				
					
hive on tez 常见报错问题收集

				
			

			

				

					01-26
				

			

		

		

			
				
1）Failing because I am unlikely to write too.
2）Caused by: java.lang.OutOfMemoryError: Java heap space 
 3）Current usage: 1.0 GB of 1 GB physical memory used;2.7 GB of 2.1 GB virtual memory used. Killing container
4）java.lang.RuntimeException: java.lang.RuntimeException: Hive Runtime Error while closing operators: null
5）hive on tez  最终insert的表如果使用到union all 时会导致直接查询结果表数据为空的

			
		

	



                

            
              



	

		

			

				
					
Hive执行查询报错：Caused by: java.lang.RuntimeException: Hive Runtime Error while closing operators

				
			

			

				

					youhaitao_do的博客
				

				

					12-01
					
					3809
					
				

			

		

		

			
				
1、问题描述



2、解决办法：

在查询前加上：


 set hive.vectorized.execution.enabled=false; -- 控制是否启用查询执行的向量模式




			
		

	



              


  
              

                


	

		

			

				
					
hive执行时找不到文件

				
			

			

				

					空中的鱼
				

				

					07-13
					
					1791
					
				

			

		

		

			
				
hive计算时找不到文件
2014-03-03 11:13:34,585 INFO org.apache.hadoop.hive.ql.exec.MapOperator: DESERIALIZE_ERRORS:0
2014-03-03 11:13:34,585 INFO org.apache.hadoop.hive.ql.exec.TableScanOperator: 0 finished. cl

			
		

	





	

		

			

				
					
别再只改yarn-site.xml了！Hive报错‘return code 2‘的保姆级排查手册（附实战日志分析）

					
最新发布

				
			

			

				

					weixin_28718345的博客
				

				

					05-17
					
					169
					
				

			

		

		

			
				
本文详细解析Hive报错'return code 2'的系统化排查方法，从日志分析到精准解决方案，帮助开发者快速定位问题根源。通过实战案例和自动化脚本，提升诊断效率，避免盲目修改yarn-site.xml。涵盖内存配置、版本兼容性等高频问题，并提供预防性运维的最佳实践。

			
		

	



		

			
		



	

		

			

				
					
每日HiveSQL_最新商品价格_12

				
			

			

				

					m0_64893323的博客
				

				

					12-04
					
					594
					
				

			

		

		

			
				
每日hivesql——————分组topN+left join

			
		

	





	

		

			

				
					
Hive执行查询报错：Caused by: java.lang.RuntimeException: Hive Runtime Error while closing operators: org.

				
			

			

				

					weixin_43158878的博客
				

				

					07-01
					
					3936
					
				

			

		

		

			
				
Hive执行查询报错：Caused by: java.lang.RuntimeException: Hive Runtime Error while closing operators: org.apache.hadoop.hive.ql.metadata.HiveException: Column vector class org.apache.hadoop.hive.ql.exec.vecto...

			
		

	





	

		

			

				
					
hive 日誌怎麼查看_如何hadoop 看hive执行日志

				
			

			

				

					weixin_39559559的博客
				

				

					12-22
					
					1094
					
				

			

		

		

			
				
展开全部当脚本在运行时报错信息如下：Examining task ID: task_201201061122_0007_m_000002 (and more) from job job_201201061122_0007Exception in thread "Thread-23" java.lang.RuntimeException: Error while reading from task ...

			
		

	





	

		

			

				
					
Hive运行错误

				
			

			

				

					xzt2012的专栏
				

				

					05-24
					
					1467
					
				

			

		

		

			
				
查询hadoop日子：/bin/bash: /bin/java: No such file or directory。删除一个文件一个目录: derby.log和metastore_db。注意：用hadoop的完整地址，不能使用。

			
		

	





	

		

			

				
					
hive的多种启动方式（直连，jdbc，脚本化）

				
			

			

				

					hao难懂的博客
				

				

					08-16
					
					492
					
				

			

		

		

			
				
第一种：
1.开启hadoop集群
	start-dfs.sh
	
2.开启hive功能
	cd /root/app/hive
	bin/hive

第二种：
1.在node01中开启hiveserver2端
	(老版本中有hiveserver1，新版本将其覆盖)
	cd /root/app/hive/bin
	./hiveserver2
		没有任何提示信息，光标一直在哪一行不动

2.新开一个...

			
		

	





	

		

			

				
					
hive退出命令_Hive的连接和运行模式

				
			

			

				

					weixin_39747399的博客
				

				

					11-30
					
					2324
					
				

			

		

		

			
				
Hive的连接启动hadoop的时候将history也启动，如果出问题，可以方便我们后续定位首先将Hive变成对外开放启动hiveserver2我们查看下如果杀掉需要用kill -9 PID的方式启动beeline查看帮助信息简单使用下，和mysql中显示一样官网我们往下拉!connect jdbc:hive2://localhost:10000我们直接使用root登录，不被允许User: roo...

			
		

	





	

		

			

				
					
hive 日誌怎麼查看_HIVE-如何查看执行日志

				
			

			

				

					weixin_32506617的博客
				

				

					01-13
					
					1019
					
				

			

		

		

			
				
HIVE既然是运行在hadoop上，最后又被翻译为MapReduce程序，通过yarn来执行。所以我们如果想解决HIVE中出现的错误，需要分成几个过程HIVE自身翻译成为MR之前的解析错误Hadoop文件系统的错误YARN调度过程中的错误2,3过程中的错误，请参考hadoop相关的教程，这里只是提醒大家思考的时候需要考虑到这两个方面的原因。搞清楚哪一个过程出问题之后采取进一步分析。1.HIVE默认...

			
		

	





	

		

			

				
					
Hive查看执行日志

				
			

			

				

					weixin_30729609的博客
				

				

					02-17
					
					1438
					
				

			

		

		

			
				
HIVE-如何查看执行日志
HIVE既然是运行在hadoop上，最后又被翻译为MapReduce程序，通过yarn来执行。所以我们如果想解决HIVE中出现的错误，需要分成几个过程

HIVE自身翻译成为MR之前的解析错误
Hadoop文件系统的错误
YARN调度过程中的错误

2,3过程中的错误，请参考hadoop相关的教程，这里只是提醒大家思考的时候需要考虑到这两个方面的...

			
		

	





	

		

			

				
					
hive 日誌怎麼查看_Hive日志调试 | 学步园

				
			

			

				

					weixin_39689687的博客
				

				

					12-22
					
					1039
					
				

			

		

		

			
				
在很多程序中，我们都可以通过输出日志的形式来得到程序运行情况，通过这些输出日志来调试程序，Hive也不例外。在Hive中，使用的是Log4j来输出日志，默认情况下，CLI是不能将日志信息输出到控制台的。在Hive0.13.0之前的版本，默认的日志级别是WARN，在Hive0.13.0开始，默认的日志级别是INFO。默认的日志存放在/tmp/文件夹的hive.log文件中，全路径就是/tmp//hi...

			
		

	





	

		

			

				
					
linux查看hive日志,Hive日志调试

				
			

			

				

					weixin_35798040的博客
				

				

					05-01
					
					1191
					
				

			

		

		

			
				
写在前面的话，学《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关https://www.iteblog.com/archives/tag/hive-technology/这些天看到很多人在使用Hive的过程遇到这样或那样的错误，看着那些少的可怜的错误日志出错，一直找不到原因。后来我给他们介绍了修改日志输出级别之后，错误原因很快得到定位。于是乎我写了这篇博文。希望那些在使用HQL...

			
		

	





	

		

			

				
					
Hive连接方式

				
			

			

				

					xiaoyi52的专栏
				

				

					04-28
					
					2093
					
				

			

		

		

			
				
环境准备
安装 hadoop，参照：https://www.jianshu.com/p/9c8a0f7b98cf
安装hive，参照：https://www.jianshu.com/p/ed4c2852754c

说明：本文测试环境为单机，而非集群环境。

CLI连接
安装好之后，可通过CLI直接连接，并进行相关操作:

HiveServer2/beeline连接
CLI连接时，输入hive实际上...

			
		

	





	

		

			

				
					
shell 执行代码 进入hive_java执行shell脚本问题

				
			

			

				

					weixin_29486701的博客
				

				

					02-11
					
					265
					
				

			

		

		

			
				
java远程执行shell脚本，在shell脚本中写了执行hive查询的语句并导出数据到HDFS目录，但是运行后发现只有一两次成功，其余测试都失败！hive.log中没有错误日志！java中执行语句是：RemoteExecuteShellUtil rec=new RemoteExecuteShellUtil("192.168.100.223","root","root");String cmd="...

			
		

	





	

		

			

				
					
hive ,hbase 整合错误日志记录

				
			

			

				

					shuhuai007的专栏
				

				

					09-20
					
					1440
					
				

			

		

		

			
				
hive> CREATE TABLE test_hbase(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.

			
		

	





	

		

			

				
					
批量查看Hive库的表是是否存在

				
			

			

				

					ZeroZy1的博客
				

				

					07-31
					
					1377
					
				

			

		

		

			
				
不多说先上代码
while read line
    do
      hive -e "use zy_tes; desc ${line};" 2>&1 | grep 'Table not found'
      rtstatus=$?
      if [[ $rtstatus -ne 0 ]]; then
        echo "${line}表已存在!"
        (( tab_num+=1 ))
      else
        echo "${line}表不存在!"

			
		

	





	

		

			

				
					
Hive 三种连接方式（CLI、HiveServer2/beeline（常用）、Web UI）及基本命令使用入门

					
热门推荐

				
			

			

				

					weixin_44387652的博客
				

				

					03-05
					
					1万+
					
				

			

		

		

			
				
Hive 三种连接方式及基本命令使用入门1、Hive 使用方式，即三种连接方式1.1、CLI1.2、HiveServer2/beeline（常用）1.3、Web UI2、Hive 基本使用（入门）
1、Hive 使用方式，即三种连接方式
1.1、CLI
配置 hive 环境变量后，直接输入命令 hive：
[hadoop@hadoop02 ~]$ hive

启动成功的话如上图所示，接下来便可以做 hive 相关操作。
补充：
（1）上面的 hive 命令相当于在启动的时候执行：hive --service

			
		

	





	

		

			

				
					
hive启动方式

				
			

			

				

					Zero_ZhengXY的博客
				

				

					06-19
					
					573
					
				

			

		

		

			
				
注意：要保证进程中的RunJar只有一个，启动前先杀死进程中的RunJar。（1）先在/opt/softs/hive3.1.2中创建log目录。（1）编写shell脚本，保存文件名为 my_hive.sh。(2)上传文件到/opt/shell，运行脚本。二、使用hiveserver2命令。四、使用shell脚本启动。一、使用hive命令。

			
		

	



              




          





        



    





    



      

      

        
      

      





	

		
评论 3

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值