背景
今天有位同事问了一个很原始的问题，数仓为什么要分层？每一层作用是什么？N个为什么，还真把人问懵了，虽然说出了点理由，却显得说服力不足。今天重新把这些理论，捋一捋。
分层的作用
优秀可靠的数仓体系，需要清晰的数据分层结构。即要保证数据层的稳定又要屏蔽对下游的影响，并且要避免链路过长。结合这些原则及以往的工作经验，我们将分层进行统一定义为四层：
- 清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
- 数据血缘追踪：能够快速准确地定位到问题，并清楚问题的危害范围。
- 减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
- 把复杂问题简单化：将复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。当数据出现问题之后，不用修复所有的数据，只需要从有问题的步骤开始修复。
- 屏蔽原始数据的异常：不必改一次业务就需要重新接入数据。
数仓经典分层
ODS称之为贴源层，一般用快照保留来自源系统的历史数据，方便追查历史和归档历史。
DW称之为明细层，仅仅依赖ODS数据进行清洗、规范命名、轻度横向或纵向整合、脱敏等，为下游数据分析提供强有力的支撑，保障下游数据一致性和完整性。
DM是数据集市，针对通用性的维度或指标，直接面向业务分析主题，构建Kimball多维模型。或者构建以事实业务为主线的主题大宽表，按照业务进行聚焦，降低对业务理解的难度，并能解耦复杂的业务。比如以订单ID为主线，把相关业务属性按业务规则归集到一起，为下游提供快速查询、保障数据一致性和准确性。
效果
数仓分层具备稳定、快速迭代的特点，为企业提供精准数据分析决策。无论是传统行业，还是互联网行业，数仓架构分层都大同小异。互联网和创同行业的数仓唯一的区别是，为应对业务快速迭代而建立的模型有区别。
问题
那DW层应该采取什么方法论建模呢？
那天有个人问我，为什么明细层要用三范式3NF或Data Vault建模？为什么DW层不用多维建模？为什么DM层要采用kimball建模？
-_-||
本站文章版权归原作者及原出处所有 。内容为作者个人观点， 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台，并不用于任何商业目的，如果有任何问题，请及时联系我们，我们将根据著作权人的要求，立即更正或者删除有关内容。本站拥有对此声明的最终解释权。