Apache Iceberg C++ 0.3.0 版本的发布

原创 于 2026-06-24 17:38:46 发布 · 135 阅读 · 3 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#c++ #开发语言

作者：云器技术专家吴刚

导读

Apache Iceberg 社区很高兴地宣布 Apache Iceberg C++ 0.3.0 版本的发布，此版本包含了来自 23 位不同贡献者的超过 140 个合并的拉取请求。值得一提的是，云器科技作为该项目的主要推动者，本次依然发挥了核心引擎的作用，贡献了其中 43% 的代码。同时，在这次 release 中，更是出现了多名来自 Snowflake、Databricks、Meta 和 Alibaba 的贡献者。这标志着 Iceberg C++ 项目正受到越来越多全球顶尖数据企业的关注与投入，社区生态愈发繁荣。

关于 Apache Iceberg C++

Apache Iceberg C++ 是一个实现了 Apache Iceberg 规范的 C++ 库。其核心目标是为 C++ 应用程序和系统提供一套完整、高效的接口，以便直接读取、写入和管理 Iceberg 表，而无需依赖 Java 虚拟机（JVM）或其他跨语言调用（如 JNI）。该项目旨在为 C++ 数据生态系统中的各类工具，包括查询引擎、数据处理框架以及客户端应用，提供与 Iceberg 进行原生交互的能力。

本次发布亮点

以下发布说明仅展示了此版本的部分亮点，详细信息请参阅完整的变更日志。

https://github.com/apache/iceberg-cpp/releases/tag/v0.3.0

扫描规划与数据访问 (Scan Planning and Data Access)

  • 增量扫描 API：支持增量追加扫描 (incremental append scans) 和增量变更日志扫描 (incremental changelog scans)，用于规划快照间的表数据变更。
  • 读时合并 (Merge-on-read) 数据访问：支持 MOR 文件扫描任务读取器、删除过滤，以及针对 v2 位置和等值删除文件的 DeleteLoader。
  • 扫描优化：支持表扫描规划中的列裁剪 (Column selection) 和 ManifestGroup 文件过滤。
  • 删除文件优化：引入基于 Roaring bitmap 的位置位图、位置删除索引，以及针对位置删除的范围合并 (range coalescing)。

表操作与维护 (Table Operations and Maintenance)

  • 引入了 'MergingSnapshotUpdate'，为表的覆盖 (overwrite)、删除 (delete)、更新 (update) 及各种日常维护操作奠定了坚实的基础。
  • 支持 'SnapshotManager' 以及带有重试机制的事务提交。
  • 快照过期清理策略：支持可达文件清理 (reachable file cleanup) 和增量文件清理。
  • 支持分区统计信息更新以及模式更新映射 (schema update mapping)。

Catalog 与生态集成 (Catalogs and Integrations)

  • REST Catalog 增强：加入了初步的 OAuth2 支持及令牌自动刷新、基础认证 (Basic Authentication)、快照加载模式、命名空间分隔符，以及服务端扫描规划端点。
  • S3 存储集成：基于 Arrow 文件系统构建了原生的 S3 FileIO 集成。
  • FileIO 接口增强：新增了 'InputFile' 和 'OutputFile' 接口，并增加了批量删除 (bulk delete) 支持。
  • SQL Catalog 支持：新增了对 SQLite、PostgreSQL 和 MySQL 作为底层存储的支持。

指标与可观测性 (Metrics and Observability)

  • 引入了指标报告器 (Metrics reporter) 支持，包含指标报告的 JSON 序列化和加载机制。
  • 增加了对 Avro 写入器指标和 Parquet 写入器指标的收集支持。

元数据与文件格式支持 (Metadata and File Format Support)

  • Puffin 格式支持：实现了基础数据结构、格式常量、JSON 序列化，以及完整的文件读写器支持。
  • Iceberg v3 支持：增加了对 'unknown' 类型和纳秒级时间戳 (nanosecond timestamp) 类型的支持。
  • 表达式序列化：支持算子与表达式的 JSON 序列化，以及反序列化后的类型化字面量绑定。

0.4.0 路线图

社区正在积极开发下一个版本 0.4.0，重点将放在完善 Iceberg v3 规范的支持以及进一步扩展表维护 API 上。

请参阅：https://github.com/apache/iceberg-cpp/issues/637

目前，云器Lakehouse 的内测功能 Managed Iceberg Table 正是基于开源的 iceberg-cpp 构建，这不仅充分验证了该原生 C++ 库在生产环境下的高性能与强稳定性，也彰显了云器将前沿开源技术与企业级产品深度融合的决心。

我们欢迎来自所有感兴趣者的问题和贡献。问题可以在 GitHub 上提交，问题也可以发送到 GitHub 或 Iceberg 开发者邮件列表。

GitHub：https://github.com/apache/iceberg-cpp/issues

Iceberg 开发者邮件列表：https://iceberg.apache.org/community/

云器科技官网 - 改变数据的使用方式
更多内容，欢迎关注「云器科技」官网！
云器科技-多云及一体化数据平台提供

博客
一个动作，两个产物：用 DataAgent 把“提指标需求”变成企业语义层的治理源头
06-24 142
【摘要】DataAgent通过将指标需求文档与SemanticView智能绑定，解决企业指标管理中的核心痛点：口径不一致、维护成本高、变更难追溯等。传统指标平台存在录入不全、消费端重算、血缘滞后等问题，而DataAgent在需求提出阶段即生成标准化文档和对应的SemanticView，实现"改一处全局生效"。实践案例显示，从指标定义、口径变更到血缘反查，DataAgent通过五步流程确保语义层统一，使分析师、开发者和业务人员无需手动对齐，大幅降低治理成本。其核心价值在于将治理前移至源头，
博客
告别全量扫描：一个技能包让 AI 掌握增量计算
06-16 306
摘要：本文探讨了批处理ETL中全量重算的低效问题，并提出了增量计算解决方案。文章指出，传统批处理在处理TB级数据时存在巨大资源浪费，而流计算则面临重构门槛高的问题。增量计算通过Snapshot和Delta两个核心模型（利用__weight标识增删改），能在保持SQL语义的同时显著提升效率。文中以电商实时看板和商品最低价监控为例，展示了可撤回聚合与不可撤回聚合的不同处理策略，并分析了AI实现增量计算时常见的细节陷阱。最后介绍了开源的IncrementalSkills技能包，帮助开发者和AI正确实现增量计算逻辑
博客
Text2SQL已经不新鲜，让AI真正会搭数仓才是关键
06-16 222
云器科技推出cz-cli命令行工具，让AI深度参与数据工程全流程。该工具不仅支持Cursor等外部AI工具操作Lakehouse，还内置数据开发Agent，通过自然语言指令即可完成数仓搭建、ETL任务配置等复杂工作。cz-cli将增量计算、调度依赖等工程规范封装为AI可理解的专业能力，使AI从代码补全升级为懂数仓的工程搭档。它能标准化执行细节、减少返工，同时通过结构化输出和操作边界保障安全性，帮助团队高效完成从数据开发到运维的全生命周期管理。
博客
云器科技正式发布 Data Engineering Agent：以 Agentic AIOps 重新定义数据开发方式
06-16 188
云器科技发布DataEngineeringAgent，以AI Agent重构数据工作流。该产品通过自然语言交互覆盖数据开发全周期，实现三大突破：1）效率提升-将数据获取时间从数天压缩至30秒；2）降低门槛-非技术人员可直接创建分析流程；3）智能运维-自动诊断故障并提供修复方案。核心场景包括智能数据探查、需求到模型的自动化生成、任务故障快速定位等。产品深度集成平台能力，面向企业全员提供数据智能协作体系，现已集成至云器Studio平台开放使用。
博客
让 AI 真正懂数仓：cz-cli 如何把注意力还给数据工
06-15 336
云器科技推出专为数据工程师设计的AI工具cz-cli，通过37个精准skill将数据开发从繁琐配置中解放。该工具采用子agent架构，聚焦数仓场景，支持自动血缘分析、增量计算改造等复杂任务，并内置多层验证机制确保准确性。实测显示，cz-cli不仅能提升工程师效率，还能赋能业务人员自主取数，实现从"接需求"到"建能力"的转变。团队建议核心表补充语义标注以优化识别精度，并强调生产环境需通过只读权限和临时链路等工程手段控制AI风险。（149字）
博客
云器技术问答 Vol.2：揭秘通用增量计算
06-15 322
云器技术问答Vol.2聚焦通用增量计算(GIC)技术，这是一种统一批处理、流处理和交互分析的新型计算模式。GIC通过仅计算变化数据(Δ)并与历史结果合并，实现高效更新，具有标准SQL、高性能、开放格式和灵活调节(SPOT标准)特点。相比Flink，GIC资源消耗降低3-10倍，支持声明式SQL开发，无需处理流计算特有概念。用户只需将传统全量作业改为动态表定义，即可实现增量计算，简化架构并提升效率。GIC还能智能处理数据回撤和延迟，支持时间周期和依赖触发两种调度策略，但需注意不确定性函数的使用限制。
博客
美团 BI 在指标平台和分析引擎上的探索和实践
06-12 315
美团新一代BI架构以指标平台为核心，通过自动语义和增强计算两大能力解决传统BI平台的数据口径混乱、查询性能差等问题。自动语义实现"定义即研发"，将业务语言转化为结构化逻辑表达，支持复杂指标扩展；增强计算通过智能查询服务和智能物化技术，平衡运营监控与灵活分析的性能需求。平台已支持美团百余业务线，日查询量百万级，成功率超99.9%。未来将持续优化自动语义和增强计算能力，并探索智能化数据分析应用。
博客
智能网联汽车数据平台白皮书解读:从“有量无价“到数据价值挖掘
06-12 303
研发部门有研发数据，制造环节有制造数据，销售系统有销售数据，售后服务有售后数据，但这些数据彼此孤立，缺少统一的语义和血缘关系。规模极大(单车日产1-2TB,总量EB级,还在以10-100倍速度增长)、形态极多(传感器、视频、雷达、CAN总线等多模态数据)、时效极严格(毫秒级端到端响应需求)，再加上价值密度低(海量数据中仅少量有效,需要AI提纯)，这四个特性交织在一起，构成了前所未有的技术挑战。更糟糕的是，由于存储和计算资源捉襟见肘，企业陷入"存不起、不敢算"的困境，数据虽然产生了，但却无法充分利用。
博客
破解千亿数据处理痛点：快手基于增量计算解决时效、成本、运维三大难
06-12 165
1.查询复杂度：查询的计算时间很大程度取决于执行了多少种复杂的计算，算子的组合复杂度（Join，agg，window等）是一个重要的衡量指标，例如在计算Outer Join的时候，增量数据需要与大量的历史数据进行连接，并且在右表更新时，需要回撤之前补NULL的部分计算结果，会导致链路产生大量的更新操作。快手是国内领先的短视频平台，每天产生海量数据，日均处理数据量达千亿级，快手数据平台部大数据计算引擎团队采用离线计算技术支撑起了每天各种业务数据的计算，涉及数据量EB级别，计算资源达数百万核。
博客
螳螂科技：从组装到统一，如何用云器 Lakehouse 完美替代“MC+DW+ADB”三件套？
06-12 406
螳螂科技借助腾讯云迁移契机，采用云器Lakehouse替代阿里云MaxCompute+DataWorks+ADB三件套架构，实现CRM报表系统全面升级。新架构通过一体化湖仓设计，将数据延迟从天级降至10秒级，P99查询响应控制在1秒内，成本降低30%，运维负担减少30%。关键突破在于：1）去除ADB冗余层，报表系统直接通过MySQL协议访问湖仓；2）支持数万源表实时写入；3）全链路内网保障数据安全。该实践为多云迁移和复杂数据架构简化提供了成功范例。
博客
云器科技即将亮相 Iceberg Summit 2026！
06-09 234
云器科技将亮相IcebergSummit2026（4月8日），其Lakehouse专家吴刚将发表《Apache Iceberg-cpp架构与路线图》主题演讲，分享原生高性能技术实践。Apache Iceberg作为数据湖领域主流开放表格式，支持ACID事务等企业级特性，是构建Open Lakehouse的关键技术。本次峰会汇聚全球数据工程师，探讨Iceberg生态最新进展。云器科技致力于推动数据平台创新，诚邀业界交流。报名链接：icebergsummit.org #数据湖 #开源技术
博客
云器Lakehouse 2026年5月版本发布：拥抱 AI Agent，重塑数据智能开发新范式
06-08 226
云器Lakehouse发布三大版本升级，实现AI能力体系化落地。核心更新包括：DataAgent支持自然语言驱动全链路数据开发；企业级模型管理实现AI能力精细化治理；MCPServer打通第三方AI生态。开发体验优化包含IDE智能补全、ForEach循环任务等；新增代码审批保障生产安全；数据同步覆盖更多数据库类型；运维监控能力全面增强，支持主动治理。这些升级标志着Lakehouse向AI-Native数据平台演进，未来将持续深化Agent能力、多环境审批等功能。详情可访问云器科技官网。
博客
车联网数据平台架构演进:从救火队员到效能提升的实战之路
06-08 624
本文基于云器科技刘俊的实战分享，剖析车联网数据平台在数据量大、高并发、低价值密度、高时效及流量波动下的典型困境：组件繁杂运维难、存算一体资源浪费、Lambda架构冗余不一致。通过长安汽车（架构收敛，时效提升至分钟级）、长城汽车（单车查询百毫秒级，成本大幅下降）、安凯汽车（SaaS化，TCO降低45%）三个案例，展示了“去繁就简”的演进路径：统一引擎、增量计算、存算分离、冷热分层等。文章强调，优秀架构的核心是精简高效，支撑业务增长。
博客
Apache Iceberg-cpp：原生性能架构与演进路线
06-08 533
【摘要】iceberg-cpp 是 Apache Iceberg 社区首个原生 C++ SDK，由云器科技发起，旨在填补 Iceberg 在 C++ 生态中的空白。项目采用 C++23 标准，坚持标准兼容、可插件化、开箱即用的设计理念。其三层架构（核心库、bundle 库、REST 客户端）基于 Arrow C Data Interface 实现零拷贝数据交换，目前已支持 V2 删除文件、扫描规划等能力，致力于成为高性能 C++ Lakehouse 引擎的统一底座。
博客
Apollo如何用云器Lakehouse实现3.5倍性能提升与架构极简之道
06-08 393
摘要：跨境电商广告优化企业杭州客攀（Apollo）通过采用云器Lakehouse数据平台成功解决了技术架构复杂、性能瓶颈等核心痛点。原有基于阿里云EMR+Flink+ADB的三套系统被简化为两套，SQL方言从三种减少到两种。迁移后，核心查询性能提升3.5倍，ETL任务耗时降低90%，规则引擎实现零故障运行。云器Lakehouse的增量计算、动态表等高级功能显著提升了开发效率，1人团队即可支撑500家客户需求。展示了云器在简化技术栈、提升性能、降低运维成本方面的优势，为初创企业提供了一条高效可靠的技术升级路径
博客
Token消耗量翻10倍才算企业转型及格线？三位产业一线大佬教你用出性价比
06-05 334
摘要：随着大模型应用普及，企业面临Token成本激增问题。尽管每百万Token成本下降75%，但消耗量增长10倍，Anthropic等公司收入激增233%。三位专家指出，低效使用（如路径冗余、长上下文堆积、模型超配）是主要浪费源，建议通过分层路由、优化上下文、精准场景匹配提升性价比。技术层面，低精度计算、MoE架构、硬件加速可降本。目前企业更应关注AI带来的业务价值，而非单纯控制成本，建议为员工配置合理Token预算（如每人每月500-1000美元），通过数据治理和反馈机制持续优化投入产出比。
博客
湖上原地加速：存量数据平台最低风险的降本增效与AI演进之路
06-05 302
摘要：云器科技提出"湖上原地加速"方案，解决企业数据平台面临的降本增效与AI探索双重挑战。该方案通过"数据不动、元数据不动、任务不搬、SQL不改"的嵌入式架构，在保留现有Hadoop生态的同时实现计算成本降低50%以上、查询性能提升3-10倍。典型客户案例显示，火花思维整体性能提升3-10倍并降本60%，高途教育实现查询效率5倍提升，美团BI平台查询延迟降低46%。方案支持平滑演进至支持多模数据处理的新一代Lakehouse架构，为AI应用提供高质量数据基础。
博客
开放湖仓的下半场：Iceberg Summit 2026 深度实录与演进洞察
06-05 303
Julien 的观点是，这些底层协议和格式已经奠定了开放湖仓的基础，未来的工作将是利用这些坚实的基础，通过协议的微调和存储的“硬核”优化，来持续释放新硬件和新场景的全部性能潜力。这些实战经验警示我们，协议的开放性带来了生态的繁荣，但也对像 iceberg-cpp 这样的原生实现提出了更高的挑战：必须以最严谨的态度，确保每一个细节都与 Spec 严格对齐，以避免重蹈覆辙，成为社区互操作性测试中的新痛点。站在 2026 年这个节点，弥漫在会场中的最强烈的感受，是大家对 AI 带来的“未知机会”所表现出的兴奋。
博客
为什么增量计算成为小红书、快手、美团的共同选择？
06-05 389
摘要：面对大厂海量数据与AI需求的双重压力，数据处理引擎能力面临新挑战。云器Lakehouse通过通用增量计算（GIC）技术，在小红书、快手、美团三大厂核心场景实现突破：小红书千亿级日志实验数仓数据新鲜度从天级压缩至5分钟；快手EB级数据任务资源消耗降至全量计算的1/20；美团百万级查询场景性能提升2倍。其Single-Engine架构统一批流交互查询，兼容现有生态，显著降低改造成本。这些实践验证了云器技术在严苛生产环境下的可行性，为Data+AI融合提供了新思路。
博客
零成本迁移，原地加速，成本降低60%：火花思维Lakehouse升级实践
06-05 347
火花思维为应对开源Spark引擎性能瓶颈、高成本及运维挑战，引入云器Lakehouse，采用分阶段升级策略。第一阶段实现“零迁移、换引擎”，通过外表模式在不搬数据、不改平台的前提下，将高消耗任务100%迁移至新引擎。实际收益显著：任务性能提升3-10倍，数据时效从T+1提升至小时级，计算成本降低60%以上，迁移工作量趋近于零。该实践验证了“自研调度+托管算力”模式的有效性，为后续向Kappa架构演进及Data+AI应用探索奠定了坚实基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值