HIVE中Grouping sets 时遇见的问题

最新推荐文章于 2023-05-15 14:17:43 发布
原创 最新推荐文章于 2023-05-15 14:17:43 发布 · 3.4k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文深入探讨了在Hive SQL中使用Grouping Sets时遇到的常见错误，具体分析了当聚合函数参数与分组字段重叠时Hive报错的情况，并提供了解决方案。在某些场景下，如使用pyspark时，该问题可能不会出现，但在Hive服务器上则需要特别注意。文章强调了分组字段不应出现在聚合条件中，建议在子查询中预先处理数据。

hive 中使用grouping SETS时遇见对坑

：hive报错

Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columns
 

select  p.city_name,p.rent_type,p.sf_type,p.sign_type

,sum(case when rent_type= '合租' then 1 else 2 end )  as rooms 

from  rooms

group by  p.city_name,p.rent_type,p.sf_type,p.sign_type
grouping SETS(
p.city_name,
(p.city_name,p.rent_type),
(p.city_name,p.sf_type),
(p.city_name,p.sign_type),
(p.city_name,p.rent_type,p.sf_type),
(p.city_name,p.rent_type,p.sign_type),
(p.city_name,p.sf_type,p.sign_type),
(p.city_name,p.rent_type,p.sf_type,p.sign_type)
))b

在调试过程中 有些 平台是支持对比如 pyspark 

但在hive服务器有时候不支持

此时问题应该是 分组字段不应该出现在聚合条件里 ，所以再子数据里先处理roos 就好

Hive开窗函数测试-cube，rollup
04-19
NULL 博文链接：https://wankunde.iteye.com/blog/1879565
EventBus实例Demo
05-10
EventBus实例Demo,请参考博文http://blog.csdn.net/wangkeke1860/article/details/51363102
【Hive报错】Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function..
一往无前
08-08 8674
Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columns 如果聚合函数参数与聚合函数列重叠，则不允许分组集聚合（使用汇总或多维数据集） Grouping sets 里面的字段和sum case when 的字段重复了。params重复。 把这个外面再包一..
Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameter...
weixin_30568591的博客
05-02 2808
hive 报错：Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columns 聚合函数语法需要改正， 例如：sum(case when ....) 里面的条件有多...
Groupings sets实现一次查询多种分组模式
数据库
10-09 2628
这篇文章描述了 SELECT 语句 GROUP BY 子句的增强聚合功能 GROUPING SETS。GROUPING SETS 子句是 SELECT 语句的 GROUP BY 子句的扩展。通过 GROUPING SETS 子句，你可采用多种方式对结果分组，而不必使用多个 SELECT 语句来实现这一目的。这就意味着，能够减少响应时间并提高性能。 在Hive 0.10.0版本中添加了 Grou...
hive1.2.1的cube函数使用问题
sunlang的博客
06-10 1256
FAILED: SemanticException [Error 10210]: Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columns 该错误是指cube中的维度不能参数聚合函数的运算 但是在spark-sql中是可以通过的 ...
Hive Group By 实现
半日闲的博客
09-11 2341
GroupByOperator 代码走读 在ExecReducer中会调用 reducer.startGroup();和reducer.endGroup();，这两个方法会递归调用到GroupByOperator中，用于设置firstRowInGroup = true和keysCurrentGroup.clear(); 进入processOp方法，首先判断如果hashAggr如果没有实现一半以...
Hive之Grouping Sets函数
热门推荐
数据小白的进阶之路
03-17 3万+
最近在看一些关于Hive优化的东西，看到一个很好用的函数：Grouping Sets函数，今天就先总结一下关于这个函数的用法！ 在一个GROUP BY 查询中，根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果进行UNION ALL操作。GROUPING SETS就是一种将多个GROUP BY逻辑UNION写在一个HIVE SQL语句中的便利写法。GROUPING SETS会把在...
hive中grouping sets的使用
Wflowerd的博客
10-27 1万+
GROUPING SETS：根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL GROUPING__ID：表示结果属于哪一个分组集合，属于虚字段 CUBE：根据GROUP BY的维度的所有组合进行聚合。 ROLLUP：为CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合。 关于grouping sets的使用...
Hive学习之二——group by和grouping sets的区别
qq_43146264的博客
09-18 4510
group by和grouping sets的区别
Hive分析窗口函数 GROUPING SETS、GROUPING__ID
菜如张学清的博客
06-26 5456
目录 1.概述 2.数据准备 2.1数据格式 2.2创表语句 3.GROUPING SETS和GROUPING__ID 3.1 GROUPING SETS例1 3.1.1查询语句 3.1.2等价于 3.1.3查询结果 3.1.4 结果说明 3.2GROUPING SETS 例2 3.2.1 查询语句 3.2.2 等价于 3.2.3 查询结果 3.3GROU...
hive--grouping sets相关报错
qq_46893497的博客
02-07 2667
文章目录missing ) at ',' near ')'，同时其报错位置指向grouping sets 括号内部SemanticException 104:1 [Error 10213]: Grouping sets expression is not in GROUP BY key. Error encountered near token ... missing ) at ‘,’ near ‘)’，同时其报错位置指向grouping sets 括号内部 报错sql select tab1.a
【hive】hive grouping sets和GROUPING__ID的用法
Mrerlou的博客
05-15 979
​CUBEROLLUP这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。根据不同的维度组合进行聚合，等价于将不同维度的group by的结果进行union all，简单来说就是将多个不同维度的group by逻辑写在了 一个sql中。创建表开始使用查询结果如下：上面这个sql等同于多个group by ＋ union all注意点：使用union和union all。
hive grouping sets的正确打开方式
henbile的博客
07-20 678
-- 为了偷懒想使用grouping sets，但是正确打开该函数，还是有难度的 -- 1. 不可以有多个表格相同列名的情况；如果多表格列名相同的，需更改；uid、col_a、col_b都需要改成不同的名字 -- 2. 不可以在select之后有表格别名的情况，比如a.col_a_1是不允许的；但是因为列名都不同，没有关系 -- 3. select之后用来aggregate（聚合）的字段，不可以进入计算；所以需要新加入col_b_1_1，而不是直接使用 col_b_1 -- 4. tips：如果不想有聚.
Hive Cube RollUP 分组问题
zhuhailong
09-11 8566
Error while compiling statement: FAILED: SemanticException [Error 10210]: Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columns An additional MR job is intro
多维分析——grouping set
bluedraam_pp的博客
06-12 8798
根据 group_id 判断分组内字段
Hive.GROUPING SETS的“陷阱”
wer0735的博客
07-16 3000
转载：https://blog.csdn.net/mashroomxl/article/details/23022123之前整理了一下Hive 0.10版引进的GROUPING SETS子句特性，并作了简单的句法使用体验和数据验证。但是当时没有注意到稍微复杂一点的情况，然后，在实际使用过程中，妥妥地就中了一枪。       这一枪发生在有JOIN操作的时候，情况是这样的：我要对Hive表data_...
GROUPING SETS（阿里大数据用法）
m0_37845836的博客
05-14 1412
对于经常需要对数据进行多维度的聚合分析的场景，您既需要对a列做聚合，也要对b列做聚合，同时要按照a、b两列同时做聚合，因此需要多次使用UNION ALL。使用GROUPING SETS可以快速解决此类问题。 MaxCompute中的GROUPING SETS是对SELECT语句中GROUP BY子句的扩展，允许您采用多种方式对结果分组，而不必使用多个SELECT语句来实现这一目的。这样能够使MaxCompute的引擎给出更有效的执行计划，从而提高执行性能。 说明本文中大部分示例采用MaxCompute.
Hive中的group set() 多维分析
好好学习天天向上
05-18 2514
文章目录grouping set() 多维分析 grouping set() 多维分析 将不同维度的GROUP BY结果进行UNION ALL操作。 UNION: A ∪ B 会自动去重 UNION ALL： A ∪ B 不会去重，显示所有 SELECT a,b,SUM(c) FROM table GROUP BY a,b GROUPING SETS((a,b),a,b,()) SELECT a,b,SUM(c) FROM table GROUP BY GROUPING SETS((a,b),a,b,
【Hive】grouping sets 中的Grouping__ID过滤不起作用
一往无前
09-06 778
SELECT key, value, GROUPING__ID, count(*) FROM T1 GROUP BY key, value GROUPING SETS ((), (key)) HAVING GROUPING__ID = 1 这个sql语句中Grouping__ID过滤不起作用，没有结果返回。下面是官方的解答： 问题描述：Filter on Grouping__ID does not work properly 类型:Bug 受影响的版本:1.3.0,2.0.0 修复的版本:1.3...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值