ToB企服应用市场:ToB评测及商务社交产业平台

标题: 【常读常悟】《大数据之路-阿里巴巴大数据实践》一书读书摘要 [打印本页]

作者: 篮之新喜 时间: 2024-10-27 22:07
标题: 【常读常悟】《大数据之路-阿里巴巴大数据实践》一书读书摘要
1、配景

该书是阿里巴巴数据技能及产品部开山之作，该部门在阿里团体中定位为数据中台角色。多年来，该部门已经构建了从底层的数据收罗、数据处理，到挖掘算法、数据应用服务以及数据产品的全链路、标准化的大数据体系。

2、目录布局

全书分为4个篇幅，共计16个章节。从数据技能讲到数据模型，从数据管理讲到数据应用，阅读起来，循规蹈矩。
数据技能篇（第2-7章节）共计6个章节
数据模型篇（第8-11章节）共计4个章节
数据管理篇（第12-15章节）共计4个章节
数据应用篇（第16章节）共计1个章节

数据是一个平台企业最直接的沉淀，也是最基本的生产资料。

复制代码

3、数据加工链路

分层理念：操作数据层、明细数据层、汇总数据层、应用数据层。

操作数据层 (Operational Data Store, ODS)
这是数据的原始状态，直接来源于业务系统，如销售记录、客户信息等。这一层的数据通常是及时或近及时更新的，重要用于快速查询和简单的数据分析。
明细数据层 (Data Warehouse Detail, DWD)
这一层的数据已颠末了肯定程度的清洗和转换，保存了全部细节，适合于详细的分析和报告。它作为数据仓库的底子，提供了对历史数据的深入洞察。
汇总数据层 (Data Warehouse Summary, DWS)
在这个层次，数据已经被进一步聚合，形成了各种维度的汇总视图。这一层的数据量相对较小，便于快速查询和分析，常用于业务监控和趋势分析。
应用数据层 (Application Data Service, ADS)
描述：这是数据处理的最上层，数据颠末建模和封装，形成易于消费的服务或产品，可以直接被应用程序或用户界面利用。这一层的数据通常是为了特定的应用场景而定制的。

通过数据仓库不同层次之间的加工过程实现从数据资产向信息资产的转化，而且对整个过程举行有效的元数据管理及数据质量处理。

4、章节摘要

4.1 第2章日记收罗

4.1.1 日记收罗方案

Web端 Aplus.js
APP端 UserTrack

4.1.2 收罗指标

页面浏览量 PV
访客数 UV

4.2 第3章数据同步

4.2.1 数据的特点

数据来源的多样性
数据量大

4.2.2 数据同步的三种方式

直连同步：适合操作型业务系统，批量执行拉低系统性能
数据文件同步：利用FTP传输文件，对文件举行校验
数据库日记剖析：实现了及时和准及时同步本领，耽误可以大概控制在毫秒级别

4.2.3 数据同步的最佳实践

批量同步：DataX
及时同步：
MySQL数据库中的数据及时同步接纳剖析binlog日记文件的方式，通过TimeTunnel平台举行消息的分发。

4.3 第4章离线数据开辟

4.3.1 工具

同一计算平台MaxCompute
同类的竞品尚有Hadoop、Spark
4.4 第5章及时技能

4.4.1 概念

离线：在今天（T）处理N天前（T-N，N≥1）的数据，耽误时间粒度为天
准及时：在当前小时（H）处理N天前（H-N，N＞0,如0.5小时、1小时）的数据，耽误时间粒度为小时
及时：在当前时刻处理当前数据，耽误时间粒度为秒

4.4.2 流式数据处理

时效性高
常驻任务
性能要求高
应用局限性

4.5 第6章数据服务

SmartDQ
Lego

4.6 第7章数据挖掘

4.6.1 基于MaxCompute MPI的机器学习算法

分类具体算法分类算法LogisticRegression、KNN、GBDT、DTC5.0、RandomForest、linearSVM、nonlinearSVM、NativeBayes、Bayes、Fisher鉴别、马氏距离鉴别、标签流传分裂等回归算法LogisticRegression、GBDT、LASSO、RidgeRegression、Factorization Machines、XGBoost等聚类算法K-Means、Canopy、PSC谱聚类、标签流传聚类、EM聚类等保举算法etrec协同过滤（阿里商品协同过滤算法）、SVD协同过滤、ALS协同过滤等深度学习Word2Vec、Doc2Vec、CNN、DBN、DeepMatchModel等其他PageRank、LDA、lLSA、关联规则、NMF、CRF、SVD、RankSVM、PCA、kcore、sssp、Modularity计算等 4.6.2 数据挖掘流程

数据挖掘流程包括贸易理解、数据准备、特性工程、模型训练、模型测试、模型摆设、线上应用及效果反馈这8个环节。
4.6.3 挖掘数据中台体系

4.6.3.1 数据中台

4.6.3.1.1 演进路线

数据中台演进的4个阶段。