hive -e 和hive -f 重定向数据，清除warn

最新推荐文章于 2026-05-24 22:02:28 发布

原创最新推荐文章于 2026-05-24 22:02:28 发布 · 6.4k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

hive

当前文章被收录于：

hive

3 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文解决了一个在使用Hive on Spark时遇到的问题，即执行SQL语句后日志中出现多余警告信息。通过在配置文件中添加特定环境变量，可以消除这些警告，确保日志的整洁。

问题现象：
hive -f “hsql.sql” > /tmp/hsql.log
hive -e “select * from tmp.table limit 10” > /tmp/hsql.log
备注：hive -f与hive -e 作用是相同的。-f 是指定hsql文件。-e 是指定要执行的sql
HIVE执行重定向之后数据最后多了两行日志。

WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked.
WARN: Please see http://www.slf4j.org/codes.html release for an explanation.

在这里插入图片描述
解决办法：
添加“export HIVE_SKIP_SPARK_ASSEMBLY=true;” 到 /etc/profile

echo “export HIVE_SKIP_SPARK_ASSEMBLY=true;” >> /etc/profile
source /etc/profile

参考如下博客：
https://www.ericlin.me/tag/hiveonspark/

标签

#hive

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

大胜胜胜胜胜胜

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【信息科学与工程学】【数据中心】第三十二篇云数据中心的计算/存储/网络的核心挑战01

weixin_49199313的博客

06-28

状态方程: SOCk+1=SOCk−QnikΔt;: 三相电流变换到αβ坐标系: iα=32(ia−21ib−21ic), iβ=32(23ib−23ic). 计算瞬时有功功率p和无功功率q，经低通滤波器分离直流分量，反变换得基波电流，差值即为谐波指令。: 节点i的信念 bi(xi)=ϕi(xi)∏j∈N(i)mji(xi), 消息 mij(xj)=∑xiϕi(xi)ψij(xi,xj)∏k∈N(i)\jmki(xi).

hive -e/Hive -f 出现WARN问题

L, there!

07-04

3072

hive -e 是执行指定SQL，-f 是执行指定HQL文件。 hive -e /-f 会出现WRN： WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked. WARN: Please see http://www.slf4j.org/codes.html#r...

3 条评论您还未登录，请先登录后发表或查看评论

hive的脚本执行

xinxiangsui2008的专栏

08-07

834

hive -e "SQL" hvie -f file 实例 [root@spark1 ~]# hive -e "show tables" #查看有哪些表 [root@spark1 ~]# hive -e "show tables" >> wujiadong #将查看结果追加到wujiadong文件中 [root@spark1 ~]# hive -f 1.

Hive零基础到实战：架构原理与安装部署完全指南

最新发布

记录学习点滴，分享实战干货，一起奔赴技术之路

05-24

171

Hive概述与核心概念 Hive是基于Hadoop的数据仓库工具，将结构化数据映射为表并提供类SQL查询功能（HQL）。其本质是将HQL转化为MapReduce程序，依赖HDFS存储、MR计算和Yarn调度。相比传统数据库，Hive适合大数据分析但延迟较高，支持UDF扩展但表达能力有限。架构原理 Hive通过Driver组件解析SQL为AST语法树，经编译器、优化器生成MR/Spark物理计划。

hive -f 报错 FAILED:ParseException line 1:5 cannot recognize in ‘set‘ ‘hive‘ ‘.‘ instatement

weixin_41634597的博客

05-06

2866

如何处理hive执行BOM头文件报错的问题

hive -e 包含 warn 日志

每天进步一点点儿

03-26

3377

有时候执行会包含 WARN 开头的日志 WARN:Themethodclassorg.apache.commons.logging.impl.SLF4JLogFactory#release()wasinvoked. WARN:Pleaseseehttp://www.slf4j.org/codes.html#releaseforanexplanation. 解决方案： ...

Hive结果赋值给变量携带WARN信息问题

qq_32020645的博客

08-04

512

在大数据开发中，会有使用命令“hive - e sql”将对应的查询结果赋值给变量的情况，如果使用hive3.x版本执行 “hive -e sql”命令将结果赋值给变量时，由于“hive -e”会有WARN信息输出，会把所有信息都赋值给了变量。以上WARN警告信息单独配置Hive日志并不能去除，可能由于由日志文件，系统日志，或者其他日志记录机制打印输出。在hive客户端目录$HIVE_HOME/conf/中创建log4j.properties,内容如下,配置这个的目的是保证结果中没有hive相关日志输出。

Spark SQL操作hive报错处理

Rachel的博客

04-21

1322

Spark SQL操作hive报错处理总结： 1：启动hive的metastore服务 2：报错后加入依赖包spark-hive_2.12 3：创建SparkSession加入.enableHiveSupport() 背景通过spark SQL访问hive上的表数据。准备工作将hive-site.xml文件，放入IDEA程序的resource目录下主程序 object SparkSql...

hive -e 重定向，带warn日志的处理方式

清平乐的技术专栏

10-14

1711

有时候执行会包含 WARN 开头的日志 WARN: The method class org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked. WARN: Please see http://www.slf4j.org/codes.html#release for an explanation. 方式一： grep -v hive -e "hive sql 语句 " | grep -v "WARN" > 输出文

Hive - 数据导出方式整理

摸鱼同学的博客

06-02

2074

数据导出方式有以下几种 hive 查询重定向到文件通过查询将数据写入文件（insert overwrite directory）通过beeline导出 hive查询重定向：（不能指定分隔符） hive -e "select * from table_name" > /data/test/table_name.txt hive查询会打印异常日志，可以通过shell过滤到异常信息 hive -e "select * from table_name" |grep -v 'WARN' &.

Cannot create a table having a column whose name contains commas in Hive metastore. 解决办法

berkely心路的博客

03-26

2088

spark 报错： Cannot create a table having a column whose name contains commas in Hive metastore. Table: `xxx`.`xxx`; Column: get_geohash(43.834269, 87.605044, 8); 解决办法： sql 中方法后写别名即可，如下： get_geohash(43.834269, 87.605044, 8) as b ...

Cannot get a STRING value from a NUMERIC cell poi异常解决

热门推荐

D的博客

05-21

10万+

ref:http://www.tpyyes.com/a/kuozhan/2017/0902/199.html poi导入excel表格数据时报java.lang.IllegalStateException: Cannot get a STRING value from a NUMERIC cell异常是因为在读取cell单元格字符串时，有number类型的数据，因此需要把它转化为纯String类型...

HBase跨集群复制Snapshot失败原因分析及解决

菜根谭

08-14

2514

起因 HBase快照在跨集群复制时，经常会出现由于/hbase/.tmp/data/xxx FileNotFoundException导致任务失败现还原出错场景，并分析错误原因，给出一些常用的解决方法主要原因在创建快照到跨集群复制过程中，部分StoreFile的位置发生了变动，以至不能正常寻址（使用webhdfs的bug）场景还原源集群：HBase 1.2.0-cdh5....

Hive基础之导出数据

xjjdlut的专栏

03-01

681

我们在hive中分析完数据后有时候需要将结果导出到本地文件以供其他用途。hive中提供了几种方式来导出结果，下面就详细介绍一些这几种导出数据的方法。 1.导出到本地文件目录 hive (default)&gt; insert overwrite local directory '/opt/datas/hive_exp_emp' &gt; select * from de...

org.apache.commons.logging.LogFactory报错解决

Jecky的博客

03-01

813

转载：https://blog.csdn.net/qq_41306364/article/details/102625758

【亲测免费】 Apache Commons Logging 常见问题解决方案

gitblog_00729的博客

11-05

617

Apache Commons Logging 常见问题解决方案项目基础介绍 Apache Commons Logging 是一个轻量级的日志适配器，旨在提供一个统一的日志接口，使得开发者可以在不同的日志系统（如 Log4j、JUL、SLF4J 等）之间进行配置切换。该项目的主要编程语言是 Java。新手使用注意事项及解决方案 1. 日志系统配置问题问题描述：新手在使用 Apache Comm...

运行Maven项目报错org.apache.commons.logging.LogFactory

m0_73414822的博客

12-23

498

org.apache.commons.logging.LogFactory

Hive(9):hive导出数据的多种方式

小蚯蚓的博客

11-07

1327

1、insert方式格式： insert overwrite [local] directory 'path' select sql; 注释：（1）不加local表示HDFS路径（2）将数据保存到本地 insert overwrite local directory '/opt/datas/emp_insert' select * from emp; （3）输出的目...

kylin 构建step4报错 Failed to read big resource /table_snapshot/xxxxx/xxxx.snapshot

github_39319229的博客

09-20

668

问题描述： kylin在cube构建过程中#4 Step Name:Build Dimension Dictionary 这一步报错。报错信息为 org.apache.kylin.engine.mr.exception.HadoopShellException: java.io.IOException: Failed to read big resource /table_snapshot/HANA_NEW_DW.MATERIEL_DIM_DW/90aee5a8-d35b-8102-0dad-486..