StarRocks Lakehouse 快速入门——Apache Iceberg

导读：

StarRocks Lakehouse 快速入门旨在帮助大家快速了解湖仓相关技术，内容涵盖关键特性介绍、独特的优势、使用场景和如何与 StarRocks 快速构建一套解决方案。最后大家也可以通过用户真实的使用场景来了解 StarRocks Lakehouse 的最佳实践！

Apache Iceberg 介绍

Apache Iceberg 是一种为大规模、复杂数据集设计的开源表格式，这些数据集跨越了 PB 级别的数据。最初作为 Netflix 管理海量表的解决方案，于 2018 年在 Apache 孵化器下开源，并在 2020 年毕业。

Apache Iceberg 作为一种复杂的开放表格式，位于计算引擎（如 Flink 和 Spark）和存储格式（如 ORC、Parquet 和 Avro）之间。它作为一个中间件层，抽象了底层数据存储格式的复杂性，并向计算框架上层提供了统一的表格语义。这种设计允许在不同的计算环境中灵活进行数据操作和模式管理，而不受任何特定存储引擎的约束，从而实现在 HDFS、S3、OSS 等环境中的扩展。

Apache Iceberg 架构和关键特性

架构设计

由三个主要层次构成：

• 数据层 ：包含实际数据文件，如 Parquet 和 ORC。

• 元数据层 ：多级结构，存储表结构和数据文件索引。

• Catalog 层 ：存储元数据文件位置的指针，提供多种实现如 HadoopCatalog 和 HiveCatalog。

元数据管理进一步分为三个关键组件：

1. 元数据文件（Metadata File）：存储当前版本的元数据，包括所有快照信息。

2. 快照（Snapshot）：代表特定操作的快照，每次提交都会生成一个新快照，其中包含多个清单，详细说明生成的数据文件的地址。

3. 清单（Manifest）：列出与快照关联的数据文件，提供数据组织的全面视图，并促进高效的数据检索和修改。

Iceberg 的核心目标是通过快照跟踪表随时间的所有变化，这些快照代表了任意时刻表数据文件的完整集合。每次更新操作都会生成一个新快照，确保数据一致性，并促进历史数据分析和增量读取。

关键特性

• 隐藏分区 ：允许基于时间戳的自动数据分区，用户无需了解分区细节。

• Schema 演化 ：灵活变更表结构，不影响数据文件，变更历史可追踪。

• 分区演化 ：修改分区策略不影响旧数据，新数据遵循新策略。

• MVCC ：多版本控制，写入操作不影响读取，通过 Manifest 文件管理。

• 数据一致性 ：乐观锁机制处理并发写入，保证操作原子性。

• 行级更新 ：V1 支持 COW，V2 支持 MOR，包括位置删除和等值删除，实现数据的逻辑更新。

Apache Iceberg 的优势

全面的计算引擎支持

Iceberg 的优越内核抽象确保它不依赖于任何特定的计算引擎，广泛支持 Spark、Flink 和 Hive 等流行的处理框架。这种灵活性使用户能够将 Iceberg 无缝集成到现有的数据基础设施中，利用本地 Java API 直接访问 Iceberg 表，而不受计算引擎选择的限制。

灵活的文件组织

Iceberg 引入了创新的数据组织策略，支持基于流的增量和批量全表计算模型。这种多功能性确保批处理任务和流处理任务可以在同一存储模型（如 HDFS 或 OZONE——Hadoop 社区