·湖·

“数据仓库”之父Bill Lnmon最新力作，设计数据湖以避免垃圾存储最近剁手选购了一篇新书，大都是之前未接触过得，有些纯技术，有些也纯是扫盲的概念书，为了不浪费，通过每天写笔记的形式读完：

数据仓库就刚好相反了，数据仓库基于SQL体系往往具备很强的结构化数据计算能力，但原始数据需要经过一系列清洗转换、深度组织满足数据库约束才能入仓，这个过程会伴随大量原始信息丢失甚至数据粒度变粗无法获得更低粒度的数据价值，而且数据仓库是高度面向主题的，为一个或某几个主题服务，主题外的数据并非数据仓库关注的目标，这会导致数据利用范围相对狭小，无法像数据湖一样探索全量、未知的数据价值，更无法像数据湖一样存储海量原始数据，相对数据湖来说数据仓库“没错，数据湖就是这样一个数据垃圾场，不管什么样的数据一股脑存进去再说。

本文将按时间顺序及大数据的演进之路盘点各阶段数据存储架构的逻辑及技术特点，探讨“湖仓一体”架构的优势

本文介绍了什么是湖仓一体，以及湖仓一体的优点和要解决的问题。

3大特点、6个标准、入湖流程01 数据湖的3个特点1. 逻辑统一2. 类型多样3. 原始记录02 数据入湖的6个标准1. 明确数据Owner2. 发布数据标准3. 认证数据源4. 定义数据密级5. 数据质量评估6. 元数据注册03 数据入湖方式1. 批量集成（Bulk/Batch Data Movement）2. 数据复制同步（Data Replication/Data Synchronization）3. 消息集成（Message-Oriented Movement of Data）4. 流集成（Stre

此外，Doris 的物化视图采用高性能存储格式，通过列存、压缩和智能索引技术，提供高效的数据访问能力，能够作为数据缓存的替代方案，提升查询效率。同时，Iceberg、Hudi、Delta Lake 等开放表格式发挥关键作用，它们不仅支持数据的近实时更新、高效的快照管理，还兼容 SQL 标准，使得数据既可以像传统数据库表一样进行事务性操作，又能充分利用数据湖的分布式存储与弹性计算优势，实现数据在数据湖与数据仓库场景间的无缝切换，为实时数据处理与历史数据分析提供统一的数据基础。

华为数据湖：3大特点、6个标准、入湖流程 作者：华为公司数据管理部 01. 华为数据湖的3个特点 华为数据湖（如图5-2所示）是逻辑上对内外部的结构化、非结构化的原始数据的逻辑汇聚。数据入湖要遵从6项入湖标准，基于6项标准保证入湖的质量，同时面向不同的消费场景提供两种入湖方式，满足数据消费的要求。 ▲图5-2 数据湖总体视图 经过近两年的数据湖建设，目前已经完成1.2万个逻辑数据实体、28万个业务属性的入湖，同时数据入湖在华为公司也形成了标准的流程规范，每个数据资产都要入湖成为数据工作的重要标准。 华为数

摘要：本文整理自阿里云产品经理李昊哲老师在 Flink Forward Asia 2024 流批一体（一）专场中的分享，主要分为以下三个方面：1. 实时湖仓发展趋势洞察2. 基于Flink搭建流批一体实时湖仓3. MaterializedTable升级流批一体湖仓体验在流批一体的专场，我们主要探讨如何在阿里云上实现流批一体的最优解决方案。具体来说，将向大家介绍 Uniflow 的实时化流批...

湖仓一体（Lakehouse）是一种新的大数据存储架构，结合了数据仓库和数据湖的最佳功能。湖仓一体为你的所有数据（结构化、半结构化和非结构化）提供单一的存储库，同时可以实现机器学习、商业智能（BI）和实时计算等功能。

在该方案中，由于数据是先落仓的，因此数据的实时性会更高，在秒级到2分钟以内，同时 DWD 层的查询响应会更快。在微信内部，湖上建仓的架构经历了从 Presto+Hive 到 StarRocks + Iceberg 的演变过程，通过使用 StarRocks 替代 Presto，数据的时效性从小时/天级提高到了分钟级，同时查询效率从分钟级提高到了秒级/分钟级，其中80%的大查询用 StarRocks解决，秒级返回，剩下的超大查询通过 Spark 来解决。在该方案中，我们采用冷存下沉的手段，实现仓湖数据的统一。

Fluss构建流式湖仓一体

【湖仓一体化】存or算之争？spl我都要 什么是湖仓一体？它和数据仓库、数据湖的关系是什么？为什么要用一体来形容呢

数据湖仓一体是一种将数据湖和数据仓库融合在一起的数据架构。数据湖仓一体支持机器学习、商业智能和预测分析，使组织能够利用低成本、灵活的存储服务来存储所有类型的数据（结构化、非结构化和半结构化数据），同时提供数据结构和数据管理功能。数据湖仓一体是一种现代数据架构，它结合了数据湖（原始形式的大型原始数据存储库）和数据仓库（经过整理的结构化数据集）的主要优势来创建单一平台。具体来说，数据湖仓一体让组织可以使用低成本存储空间来存储大量原始数据，同时提供结构和数据管理功能。

作者：腾讯大数据 高级工程师 陈九天小编导读： 腾讯天穹是协同腾讯内各 BG 大数据能力而生的 Oteam，作为腾讯大数据领域的代名词，旨在拉通大数据各个技术组件，打造一个具有统一技术栈的公司级大数据平台体系。从底层数据接入、数据存储、资源管理、计算引擎、作业调度，到上层数据治理及数据应用等多个环节，支持腾讯内部近 EB 级数据的存储和计算，为业务提供海量、高效、稳定的大数据平台支撑和决策支持。

本文介绍河北坝上草原、内蒙古多伦湖2天2夜自驾自由行（坝上草原1日、多伦湖1日）的每日详细行程、游览心得、避坑经历等~

湖仓一体概述

在当今数据驱动的时代，企业对数据的实施性能力提出了前所未有的高要求。为了应对这一挑战，构建高效、灵活且可扩展的成为数字化转型的关键。本文将深入探讨袋鼠云数栈如何通过三大核心实践——ChunJun 融合 Flink CDC、MySQL 一键入湖至 Paimon 的实践，以及湖仓一体治理 Paimon 的实践，重塑实时湖仓的架构与管理，为企业打造的新引擎。