Hive不同存储格式下的压缩算法对比

最新推荐文章于 2025-09-15 02:24:29 发布
原创 最新推荐文章于 2025-09-15 02:24:29 发布 · 1.1k 阅读 · 2
本文对比了Hive在不同存储格式(Text、Parquet、ORC)下使用多种压缩算法(Snappy、Gzip、ZLIB)的效果，详细展示了各种格式在压缩前后的存储空间变化。同时，深入探讨了Spark查询Hive ORC格式数据时的常见问题及优化策略，包括压缩格式设置、查询效率对比、事物支持及调优参数。

Hive不同存储格式下的压缩算法对比

压缩算法

Text格式

Parquet格式

ORC格式

不压缩

119.2G

54.1G

20.0G

Snappy压缩

30.2 G

23.6G

13.6G

Gzip压缩

18.8 G

14.1 G

不支持

ZLIB压缩

不支持

不支持

10.1G

 

Spark查询Hive（Orc格式）时遇到的问题

1、Orc的压缩格式设置方法为：orc.compress=SNAPPY,默认为ZLIB（一定要大写；推荐使用ZLIB，和SNAPPY比压缩提升不少，查询差距不大，资源消耗也差距不大）

2、直接全量count时，Hive效率高于Spark（Hive不提交任务到集群，直接通过fil

最低0.47元/天 解锁文章
Hive系列之-5、Hive的数据压缩和数据存储格式
不积跬步无以至千里，不积小流无以成江河
09-18 469
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 大数据系列文章目录 目录hive的数据压缩MR支持的压缩编码压缩配置参数开启Map输出阶段压缩开启Reduce输出阶段压缩hive的数据存储格式列式存储和行式存储主流文件存储格式对比实验存储和压缩结合 hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，可以使用压缩来节省我们的MR处理的网络带宽 MR支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分
spark 任务优化
草样涂荼
07-05 1934
1.过滤掉不符合预期的热点key，例如由于日志信息丢失导致某个字段产生大量空值 2.加入随机因素，打散热点key 3.使用map join解决小表关联大表造成的数据倾斜问题大量的小文件会影响Hadoop集群管理或者Spark在处理数据时的稳定性：spark.sql.parquet.enableVectorizedReader=true– 小文件合并的阈值 set spark.sql.mergeSmallFileSize=268435456; – 小文件合并的task中，每个task读取的数据量 set sp
hive存储压缩格式对比说明
luo981695830的博客
07-04 1335
hive压缩说明
SparkSQL读取ORC表时遇到空文件
weixin_45240507的博客
05-10 2969
先看一段报错日志： ERROR ApplicationMaster: User class threw exception: java.lang.RuntimeException: serious problem java.lang.RuntimeException: serious problem at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo(OrcInputFormat.java:1021) at or
Hive表使用ORC格式和SNAPPY压缩建表语句示例
qq_36382892的博客
03-06 1934
在选择压缩算法时，一般可以考虑以下几个因素： 1. 压缩比：不同的压缩算法具有不同的压缩比，一般来说，压缩比越高，存储空间占用越小，但可能会影响查询性能。 2. 压缩速度：有些压缩算法压缩速度较快，适合对数据进行频繁压缩，而有些压缩算法压缩速度较慢，但压缩比较高。 3. 解压速度：压缩算法解压速度也是一个重要考虑因素，因为查询时需要解压数据。
HIVE中ORC表的压缩比较
布里啾啾迪布利多的博客
10-28 5732
ORC支持三种压缩：ZLIB,SNAPPY,NONE。最后一种就是不压缩，orc默认采用的是ZLIB压缩。 1.创建一个不压缩的ORC存储方式表 create table test_orc_none ( track_time string, url string, ip string ) row format delimited fields terminated by '\t' stored as orc tblproperties("orc.compress"="NONE") ; insert in
Hive（数据仓库）数据压缩、数据存储格式
cpz
09-02 1237
7.hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽 **7.1 **MR支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 DEFAULT 无 DEFAULT .deflate 否 Gzip gzip ...
Hive | hive使用压缩
小哲数据
03-11 2283
hive中的数据使用压缩的好处(执行查询时会自动解压)： 可以节约磁盘的空间，基于文本的压缩率可达40%+; 压缩可以增加吞吐量和性能量(减小载入内存的数据量)，但是在压缩和解压过程中会增加CPU的开销。所以针对IO密集型的jobs(非计算密集型)可以使用压缩的方式提高性能。 主流的压缩算法 查看集群的支持的压缩算法. hive -e "set io.compressi...
Hive（13）：Hive的压缩和存储
yang_shibiao的博客
08-25 778
从上述查看表中数据大小中可以很明显得出结论： ORC > Parquet > textFile在实际的项目开发当中，hive表的数据存储格式一般选择：orc或parquet。压缩方式一般选择snappy，lzo。注：其他Hive相关系列文章链接由此进 ->Hive文章汇总。...
hive的数据压缩格式和存储格式
Autumn_tears的博客
08-20 948
1.Textfile：Hive数据表的默认格式 可以使用Gzip压缩算法，但压缩后的文件不支持split 2.SEQUENCEFILE Sequence File是可分割的文件格式，支持Hadoop的block级压缩。 3.RCFILE 数据按行分块，每块按列存储 4.ORCFILE 数据按行分块，每块按照列存储 1.gzip压缩 不支持split，当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式 2.zlib压缩 支持orcfile格式，性..
Hive 文件存储格式与数据压缩结合
beishanyingluo的博客
04-01 315
1 压缩比和查询速度对比 1）TextFile （1）创建表，存储数据格式为TEXTFILE create table log_text ( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string ) ROW FORMAT DELI...
RC ORC Parquet 格式比较和性能测试
weixin_42913329的博客
11-10 754
为什么要比较这三者 为什么要比较，起因是为了提高Hadoop集群的存储和计算效率，尤其是离线Hive作业的效率，为什么比较的是这三者，是因为三者是目前Hive离线作业中正在大规模使用或可能大规模使用的三种主流的相对成熟的文件格式 对于ORC性能的评测，Hortonworks发过一篇被广泛传播和引用的博客 : ORCFILE IN HDP 2: BETTER COMPRESSION, BETTER PERFORMANCE 这篇文章在ORC改进原理等方面说的比较客观，但是实际的benchmark比较数据，即使
Hive压缩和存储
Trony的博客
02-01 211
第一章 压缩和存储 1.1 Hadoop压缩配置 1.1.1 MapReduce支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 DEFAULT 无 DEFAULT .deflate 否 Gzip gzip DEFAULT
Hive-压缩与存储
clearlxj的博客
08-23 1115
压缩和存储 Hadoop 压缩配置 MR 支持的压缩编码 为了支持多种压缩/解压缩算法,Hadoop 引入了编码/解码器,如下表所示: 压缩性能的比较: http://google.github.io/snappy/ On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or mo
大数据领域Hive的列存储格式使用与优化
最新发布
移动开发前沿的博客
09-15 898
列投影(Column Projection)：仅读取查询所需的列，跳过不需要的列，减少I/O量谓词下推(Predicate Pushdown)：在存储层过滤数据，减少传输到计算层的数据量压缩编码(Compression Encoding)：对列数据进行压缩的算法，减少存储空间和I/O行组(Row Group)：列存储中按行划分的基本存储单元，包含多个完整行条带(Stripe)：Parquet格式中行组的等效概念页(Page)：行组/条带内的最小数据单元，通常按列组织。
Hive（4）Hive中的文件
鲨鱼胃的博客
03-25 764
文件压缩 压缩模式 1.为什么要压缩 在Hive中对中间数据或最终数据做压缩，是提高数据吞吐量和性能的一种手段。对数据做压缩，可以大量减少磁盘的存储空间，比如基于文本的数据文件，可以将文件压缩40%或更多。同时压缩后的文件在磁盘间传输和I/O也会大大减少；当然压缩和解压缩也会带来额外的CPU开销，但是却可以节省更多的I/O和使用更少的内存开销。 2.压缩模式评价 压缩比 压缩比越高，压缩后文件越...
pg数据表同步到hive表数据压缩总结
zcc_0015的专栏
09-22 981
pg同步hive
hive 文件压缩
u011500419的专栏
03-27 500
为什么要压缩   在Hive中对中间数据或最终数据做压缩，是提高数据吞吐量和性能的一种手段。对数据做压缩，可以大量减少磁盘的存储空间，比如基于文本的数据文件，可以将文件压缩40%或更多。同时压缩后的文件在磁盘间传输和I/O也会大大减少；当然压缩和解压缩也会带来额外的CPU开销，但是却可以节省更多的I/O和使用更少的内存开销。 压缩模式说明 1. 压缩模式评价 可使用以下三种标准对压缩方式进...
hive学习之压缩与存储
weixin_44178366的博客
10-08 192
hive学习之压缩与存储 hadoop压缩配置 生产环境一般用的比较多的是： LZO与Snappy MR支持的压缩编码 压缩格式 算法 文件扩展名 是否可切分 DEFLATE DEFLATE .deflate 否 Gzip DEFLATE .gz 否 bzip2 bzip2 .bz2 是 LZO LZO .lzo 是 Snappy Snappy .snappy 否 为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示： 压缩格式 对应的编码
大数据开发之Hive优化篇7-Hive的压缩
只是甲的博客
06-16 8129
备注: Hive 版本 2.1.1 文章目录一.Hive压缩概述1.1 常见压缩算法比较1.2 开启压缩二.压缩测试2.1 测试Orc文件压缩格式2.2 textfile文件格式测试参考: 一.Hive压缩概述 一般在hadoop集群上运行一个MapReduce会有以下步骤： input-> Map-> shuffle -> reduce -> output 如果我们采用了数据压缩，在map阶段产生的数据大小就会减少，会减少磁盘的IO，同时还能够减少网络的IO。 1.1 常见压缩算法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值