列式存储格式该如何选择？

最新推荐文章于 2025-08-29 09:35:58 发布
原创 最新推荐文章于 2025-08-29 09:35:58 发布 · 2.1w 阅读 · 14 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#大数据

写在前面

本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系

解答

大数据框架中常用的列式存储格式有Parquet和ORC。

ORC通常作为数据表的数据格式应用在Hive和Presto等计算引擎中，它们对ORC读写进行了优化;

而Parquet提供了非常易用的读写API，用户可在应用程序(比如Spark或Mapreduce等分布式程序)中直接读写 Parquet格式的文件。

一般情况下，如果不是为了支持ACID特性和使用Hive等框架，列式存储格式建议首选Parquet。毕竟Parquet被称为大数据时代存储格式的事实标准。

在这里插入图片描述

补充

Parquet和ORC对比

对比要素ParquetORC
现状Apache顶级项目，自描述的列式存储格式
主导公司Twitter/ClouderaHortonworks
开发语言Java(Impala提供了C++实现)Java/C++
列编码支持多种编码，包括RLE、 delta、字典编码等与 Parquet类似
嵌套式结构通过与嵌套式数据模型Protobuf、Thrift、Avro等适配，完美支持嵌套式结构使用Hive复杂数据结构，比如通过list、 struct、map等实现嵌套嵌套层数较多时过于烦琐。
ACID不支持支持粗粒度ACID
索引支持Row Group/Chunk/Page级别索引支持File/Stripe/Row级别索引
支持的计算引擎Hive、Presto、Impala和Spark等Hive、 Presto和 Spark等
查询性能据Netflix公布的测试结果，ORC稍高
压缩能力一般情况下，ORC能达到更高的压缩比，同等规模数据占用的磁盘空间更小

Parquet

详情请见我的另一篇博客——Parquet是什么

ORC

详情请见我的另一篇博客——ORCFile是什么？

Parquet、ORC 的区别
LiuYangCSND的博客
06-22 2537
Parquet和ORC是两种常用的列式存储格式，用于在大数据环境中高效地存储和查询数据。
ORC与PARQUET的区别
weixin_44087159的博客
04-28 7983
ORC与Parquet均为列式存储结构，那么他们有什么不同呢？ Apache Parquet 源自google Dremel 系统,Parquet 相当一Dremel中的数据存储引擎,而Apache顶级开源醒目 Drill正式Dremel的开源实现. Apache Parquet 最初的设计动机是存储嵌套式数据,比如Protocolbuffer thrift json 等 将这类数据存储成列式格式以方便对其...
ORC和Parquet同为列存储，他们有什么先天的区别
主要写大数据集群一线运维和学习工作经验
03-31 1880
优先ORC：若使用Hive且需要事务支持，或数据重复率高、追求极致压缩。优先Parquet：若处理嵌套数据、跨平台（如Spark、数据湖），或需灵活压缩算法。两者的差异源于设计目标的根本不同：ORC偏向Hive生态的深度优化，Parquet则追求通用性与复杂数据兼容性。
列存储ORC及与Parquet比较
liwenbluesky的专栏
03-20 1926
一、ORC Apache ORC（Optimized Row Columnar，优化行列）是Apache Hadoop生态系统的一种免费、开源、面向列的数据存储格式。类似于Hadoop生态系统中可用的其他列存储文件格式，例如RCFile和Parquet。它与Hadoop环境中的大多数数据处理框架兼容。2013年2月，Hortonworks与Facebook合作宣布了“优化行列”（ORC）文件格式。一个月后，Cloudera和Twitter开发了Apache Parquet格式。 ...
Spark——Parquet格式 vs ORC格式
aof
03-21 2763
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC#:~:text=The%20Optimized%20Row%20Columnar%20(ORC,%2C%20writing%2C%20and%20processing%20data. https://orc.apache.org/docs/
Parquet与ORC：高性能列式存储格式
热门推荐
Hello World
07-09 6万+
背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析
列式存储
acethan的博客
04-23 1503
OLAP中数据存储的问题 OLAP 需要队列进行选择，行式存储按行存数据，使用索引加快对数据的查找（索引包括聚集索引（表记录的排列顺序与索引的排列顺序一致）和非聚簇索引（非聚集索引指定了表中记录的逻辑顺序，但记录的物理顺序和索引的顺序不一致））。这种方式对按列的存储和检索不是很高效，查询某一列数据需要将所有行的数据扫描一次，而且对统计分析也不友好。 列式存储原理 若使用列式存储可以只用扫描出需要的列，行、列存储的对比。 文件格式 parquet 文件格式： 如下图所示：parquet file = hea
【diffusers 进阶（十五）】dataset 工具，Parquet和Arrow 数据文件格式，load dataset 方法
weixin_44212848的博客
04-03 2211
Parquet文件采用列式存储格式，与CSV等行式文件不同。由于效率更高且查询响应更快，大型数据集通常存储为Parquet格式。Arrow文件采用内存列式存储格式，与CSV等行式格式和未压缩的Parquet格式不同。
【数仓】数据存储格式的选择：Parquet与ORC
lsr40的博客
08-17 7293
大家好，我终于又出现了！ 这次要讲讲数据存储格式的选择！ 平时呢，我也会加一些有的没有的交流群，主要还是日常潜水看看里面有没有大佬！ 然后就遇到了一个问题：hadoop上存储的数据，要进行查询，用什么格式存储更好？ 我下意识的反应是ORC，因为ORC的压缩比更高（文件能压缩的更小），但是转念一想，ORC和Parquet都是列式存储的格式，两者之间有什么区别呢？或者说在最开始选择数据存储格式的时候，我们需要关注哪些点呢？ 这另我陷入了沉思，开始在网上收集相关信息！ 一、orc和parquet的区别
ORC与Parquet列式存储的区别
Java/Python大数据随笔
06-27 1185
谓词下推使用这些索引来确定需要为特定查询读取文件中的哪些条带，而行索引可以将搜索范围缩小到特定的10000行集合ORC支持Hive中的完整数据类型，包括复杂类型：Struct、List、Map和Union。列式存储（Columnar Storage）是一种优化的数据存储方式，与传统的行式存储（Row Storage）相比，列式存储在数据压缩、查询性能、I/O效率等方面具有明显的优势。Apache Parquet是一种开源的列式数据文件格式，旨在实现高效的数据存储和检索。
parquet格式_大数据存储parquet和orc文件格式详解
weixin_39613561的博客
12-06 664
越来越多的企业开始使用Hadoop集群来构建数据湖，以存储原始的结构化、半结构化以及非结构化数据，供数据分析专家以及数据科学家来使用。在Hadoop上存储数据时，您有很多种选择。数据可以以JSON、XML或CSV文件等人类可读格式被提取到Hadoop集群的数据湖中，但这并不意味着以这种原始结构来存储是的最佳方法。实际上，使用这些原始格式将数据存储于Hadoop中，由于这些文件格式不能以并行方式存储...
文件存储格式：ORC 与 Parquet的较量
悦上心灵的博客
06-16 4296
文件存储格式：ORC 与 Parquet的较量
ORC与Parque列式存储有什么区别？
zjjcchina的博客
07-13 618
例如，Parquet文件中的每个数据页都带有各种元数据，这些元数据包括数据页中的最大值、最小值和null值的数量等，可以用于对数据进行过滤和查询优化。与传统的行式存储不同，Parquet采用按列存储的方式，将同一列的数据存放在一起，这使得Parquet非常适合读取部分数据，而不需要读取全部数据集的场景。在Parquet的实现中，数据被组织成多个行组（Row Group）和多个数据页（Data Page），每个行组包含多个数据页，每个数据页保存的是同一个列中的固定数目的值。可以在列块中交错有多个页面类型。
列存格式详解：Parquet / ORC / CarbonData 技术原理、对比与应用选型
禅与计算机程序设计艺术
04-15 673
格式核心优势主要劣势最佳应用场景Parquet嵌套数据支持、生态系统广泛、跨平台兼容性点查询性能较弱、不支持更新删除批处理分析、复杂嵌套数据、跨平台数据交换ORC高压缩率、内置索引、Hive优化嵌套数据支持较弱、生态系统相对局限Hive查询、存储敏感场景、ETL管道CarbonData多维索引、更新删除支持、OLAP优化配置复杂、资源消耗较高OLAP多维分析、实时数据仓库、混合查询负载。
Spark数据压缩：ORC、Parquet、Avro格式对比
禅与计算机程序设计艺术
05-04 1272
随着大数据技术的普及，PB级数据存储与计算成为常态。Spark作为主流的分布式计算引擎，其存储层的优化对整体性能至关重要。列式存储为何能提升Spark计算效率？三种格式的压缩算法如何影响存储成本与查询性能？模式演变（Schema Evolution）场景下哪种格式更灵活？如何根据业务需求选择最优存储格式？核心概念：解析三种格式的存储架构与设计理念算法原理：对比压缩编码策略与列式存储优化技术数学模型：量化压缩率、存储成本与查询性能的关系。
Parquet与ORC存储格式对比分析
最新发布
ITHomeZSL的博客
08-29 1067
格式优势劣势最佳场景Parquet生态兼容性极广，社区活跃，是业界标准；在 Spark/Presto 上性能优异。不支持 ACID 事务；对 Hive 复杂类型的支持稍弱。绝大多数现代数据湖和分析平台，特别是使用 Spark、Presto/Trino 的技术栈。ORC压缩率更高；原生支持Hive ACID 事务；对 Hive 复杂类型支持极好。生态兼容性略窄于 Parquet；与 Hive 之外的工具集成有时需要额外配置。以 Hive 为中心的数据仓库，需要事务支持或极致压缩的场景。最终建议。
数据库行存储及列存储详解
weixin_30678821的博客
08-02 916
本文参见：https://blog.csdn.net/Xingxinxinxin/article/details/80939277 未完待修改....................... 一.数据处理类型 联机事务处理 OLTP(on-line transaction processing) 联机分析处理 OLAP(On-Line Analytical Processi...
ORC 和 Parquet比较入门
鸭梨的博客
02-03 5570
ORC 和 Parquet 都是 Hadoop 生态系统中流行的开源列文件存储格式，在效率和速度方面非常相似，最重要的是，它们旨在加快大数据分析工作负载。使用 ORC 文件与处理 Parquet 文件一样简单，因为它们提供了高效的读写功能，比基于行的对应文件更高效。两者都有其优缺点，很难找出哪一个比另一个更好。让我们更好地看看它们。我们先从 ORC 开始，然后转到 Parquet。 ORC ORC (Optimized Row Columnar)，是专为 Hadoop 工作负载设计的免费开源列存储格式。正如
ORC和Parquet的一些简单对比
zhangs_123的博客
04-02 4369
目录一、简介1.1 ORC二、测试环境说明2.1.集群环境2.2 测试数据2.2.1 TPC-H使用1）tpch下载2）解压3)配置4）生成执行命令，生成dbgen2.2.2 建表、sql和数据准备1）建表语句见附件，分别建Textfile、ORC、Parquet表2）导入数据3）查询语句见附件三、Impala查询ORC和Parquet对比四、ORC和Parquet的压缩效率对比五、ORC和Parquet的简单查询效率对比六、总结 一、简介 目前我们Hive数仓建表存储格式主要是Parquet+默认压缩，因
hive文件存储格式orc和parquet详解
a123op2346的博客
09-02 4832
hive orc parquet
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值