数据仓库三层架构设计

最新推荐文章于 2026-06-12 13:29:15 发布

原创

最新推荐文章于 2026-06-12 13:29:15 发布 · 8.2k 阅读

本文介绍了数据仓库的分层设计，包括数据运营层（ODS）、数据仓库层（DW，包含DWD、DWM、DWS子层）和数据应用层（APP）。数据分层旨在清晰数据结构，减少重复开发，统一数据口径，并简化复杂问题。ODS层存储原始数据，DW层进行数据清洗、聚合和构建中间层，APP层则提供面向业务的应用数据。通过这样的分层，可以提高数据管理和使用的效率。

简介

作为一名数据的规划者，我们肯定希望自己的数据能够有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知到。直观来讲就是如下的左图这般层次清晰、依赖关系直观。

但是，大多数情况下，我们完成的数据体系却是依赖复杂、层级混乱的。如下的右图，在不知不觉的情况下，我们可能会做出一套表依赖结构混乱，甚至出现循环依赖的数据体系。
在这里插入图片描述
因此，我们需要一套行之有效的数据组织和管理方法来让我们的数据体系更有序，这就是谈到的数据分层。数据分层并不能解决所有的数据问题，但是，数据分层却可以给我们带来如下的好处：

清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解
减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算
统一数据口径：通过数据分层，提供统一的数据出口，统一对外输出的数据口径
复杂问题简单化：将一个复杂的任务分解成多个步骤来完成，每一层解决特定的问题

一种通用的数据分层设计

为了满足前面提到数据分层带来的好处，我们将数据模型分为三层：数据运营层（ ODS ）、数据仓库层（DW）和数据应用层（APP）。如下图所示。简单来讲，我们可以理解为：ODS层存放的是接入的原始数据，DW层是存放我们要重点设计的数据仓库中间层数据，APP是面向业务定制的应用数据。下面详细介绍这三层的设计。

在这里插入图片描述
以下是将数据仓库分为三层做的逐层说明