大数据之数据堆栈的分层：ODS/DWD/DWS/ADS

分层简介

数据堆栈按自下而上的顺序分为：

1. ETL层（Extract-Transform-Load）：数据清洗层，存原始数据；
2. ODS层（Operational Data Store）：操作数据源层；
3. CDM层（Common Dimensional Model）：公共维度模型层，
4.           主要包括DWD层（Data Warehouse Detail 数据明细层） 和 DWS层（Data Warehouse Summary 数据汇总层）两部分；
5. ADS层（Application Data Service）：数据应用层。

复制代码

职责简介

(1). ODS层（Operational Data Store）：贴源层，也称为操作数据源层，是数据堆栈中的一个核心组成部分，该层主要用于保存原始数据，完成数据积存，通常反映了企业业务系统中的最新操作，同时也是进行数据堆栈的底子，ODS层的数据被保存在磁盘中，直接体现了数据堆栈的一个特性——非易失性。
(2). CDM层（Common Dimensional Model）：公共维度模子层，是数据堆栈中最核心和最关键的一层，该层主要用于提供标准化、共享的维度模子，为数据分析提供便利。CDM层通常包罗数据明细层（DWD）和数据汇总层（DWS）两个部分。
(2.1). DWD层（Data Warehouse Detail）：数据明细层，吸收数据堆栈ODS层的原始数据，并进行洗濯、标准化、维度退化、异常数据剔除等操作，进行统一处置处罚，用于存储详细的完备的数据，为数据分析提供支持。DWD层一般按照业务主题建模，包含多个维度表和事实表，维度表可以用来描述业务数据的特征，而事实表则包含了关键数据指标（如销量、价格等）。
(2.2). DWS层（Data Warehouse Summary）：数据汇总层，也称宽表层，通过聚合和汇总，将DWD层中的数据按照主题进行汇总，形成宽表，进而提拔数据分析性能。DWS层通常包含多个宽表，每个宽表都是由多个事实表和维度表颠末聚合和分组运算生成的，DWS层中的宽表可以满足特定主题和不同维度的分析需求，减少了对其他表的操作，提拔数据分析性能。
(3). ADS层（Application Data Service）：数据应用层，其主要功能是保存效果数据，为外部系统提供查询接口，基于数据堆栈的数据为企业提供增值应用，并将数据堆栈的数据应用于企业决策、报表、分析、控制等领域。数据堆栈ADS层通常采用OLAP（Online Analytical Processing）技术，用于快速访问和查询数据。数据堆栈ADS层一般包罗多个宽表，这些宽表一般可以通过BI工具或自界说应用程序查询和访问，以满足企业的各种数据需求，为了提高访问和查询速率，ADS层通常使用数据索引、缓存和预聚合等技术。
数据流转

借助帆软的图，来描述数据分层的数据流向。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。