IT评测·应用市场-qidao123.com技术社区

标题: 读数据工程之道：设计和构建健壮的数据体系34读后总结与感想兼导读 [打印本页]

作者: 宁睿 时间: 2024-11-11 07:10
标题: 读数据工程之道：设计和构建健壮的数据体系34读后总结与感想兼导读

1. 基本信息

数据工程之道：设计和构建健壮的数据体系

[美]乔·里斯(Joe Reis),[美]马特·豪斯利(Matt Housley)著
机械工业出版社,2024年2月出版

1.1. 读薄率

书籍总字数473千字，笔记总字数109584字。
读薄率109584÷473000≈23.17%
1.2. 读厚方向

Data Mesh权威指南
数据的界限：隐私与个人数据保护
数据保护：工作负载的可恢复性
数据质量管理：数据可靠性与数据质量问题办理之道
Julia数据科学应用
MLOps权威指南
数据自助服务实践指南：数据开放与洞察提效
商战数据挖掘：你需要相识的数据科学与分析头脑
Spark快速大数据分析（第2版）

1.3. 笔记--章节对应关系

笔记章节字数发布日期
2024年读数据工程之道：设计和构建健壮的数据体系01数据工程概述第1章　数据工程概述417010月7日读数据工程之道：设计和构建健壮的数据体系02数据工程师第1章　数据工程概述509610月8日读数据工程之道：设计和构建健壮的数据体系03数据工程生命周期（上）第2章　数据工程生命周期242310月9日读数据工程之道：设计和构建健壮的数据体系04数据工程生命周期（下）第2章　数据工程生命周期396210月10日读数据工程之道：设计和构建健壮的数据体系05底层设计（上）第2章　数据工程生命周期386710月11日读数据工程之道：设计和构建健壮的数据体系06底层设计（下）第2章　数据工程生命周期292110月12日读数据工程之道：设计和构建健壮的数据体系07数据架构的原则第3章　设计好的数据架构491510月13日读数据工程之道：设计和构建健壮的数据体系08重要架构概念第3章　设计好的数据架构241010月14日读数据工程之道：设计和构建健壮的数据体系09示例和类型第3章　设计好的数据架构259710月15日读数据工程之道：设计和构建健壮的数据体系10技术选择第4章　根据数据生命周期选择技术304110月16日读数据工程之道：设计和构建健壮的数据体系11云经济学第4章　根据数据生命周期选择技术347010月17日读数据工程之道：设计和构建健壮的数据体系12开源软件第4章　根据数据生命周期选择技术305610月18日读数据工程之道：设计和构建健壮的数据体系13无服务器第4章　根据数据生命周期选择技术251810月19日读数据工程之道：设计和构建健壮的数据体系14源体系第5章　源体系中的数据天生303110月20日读数据工程之道：设计和构建健壮的数据体系15源体系实际细节（上）第5章　源体系中的数据天生269710月21日读数据工程之道：设计和构建健壮的数据体系16源体系实际细节（下）第5章　源体系中的数据天生310910月22日读数据工程之道：设计和构建健壮的数据体系17存储的原材料第6章　存储376210月23日读数据工程之道：设计和构建健壮的数据体系18数据存储体系(上）第6章　存储280610月24日读数据工程之道：设计和构建健壮的数据体系19数据存储体系 (下）第6章　存储267410月25日读数据工程之道：设计和构建健壮的数据体系20数据工程存储抽象第6章　存储398810月26日读数据工程之道：设计和构建健壮的数据体系21数据获取第7章　获取266510月27日读数据工程之道：设计和构建健壮的数据体系22获取阶段思量因素第7章　获取277710月28日读数据工程之道：设计和构建健壮的数据体系23批量获取的思量因素第7章　获取226810月29日读数据工程之道：设计和构建健壮的数据体系24获取数据的方式第7章　获取344610月30日读数据工程之道：设计和构建健壮的数据体系25查询第8章　查询、建模和转换376711月2日读数据工程之道：设计和构建健壮的数据体系26数据建模第8章　查询、建模和转换344811月3日读数据工程之道：设计和构建健壮的数据体系27转换第8章　查询、建模和转换484211月4日读数据工程之道：设计和构建健壮的数据体系28数据服务常见关注点第9章　为分析、机器学习和反向ETL提供数据服务271211月5日读数据工程之道：设计和构建健壮的数据体系29分析第9章　为分析、机器学习和反向ETL提供数据服务411011月6日读数据工程之道：设计和构建健壮的数据体系30机器学习第9章　为分析、机器学习和反向ETL提供数据服务384811月7日读数据工程之道：设计和构建健壮的数据体系31安全和隐私第10章　安全和隐私390011月8日读数据工程之道：设计和构建健壮的数据体系32序列化和云网络附录A 序列化和压缩技术的细节
附录B 云网络234411月9日读数据工程之道：设计和构建健壮的数据体系33将来第11章　数据工程的将来294411月10日$总计109584$2. 亮点

2.1 详述什么叫数据工程

数据工程不同于软件工程
有自己的特色、特点

2.2 流和批处理的比较

批处理源远流长
但是流技术的发展，渐渐有代替之势
还有微批处理

2.3 数据分层和冷热

根据数据冷热不同举行数据分层
不同温度的数据处于不同的层次
说到底，就是详细数据详细分析

2.4 数据工程师和其他脚色的关系和区别

描述了数据工程师的重要工程
同时也指出了不同脚色和数据工程师之间的关系和区别
- 尤其是数据科学家和软件工程师

3. 感想

3.1 这个笔记好长啊

如果没有记错的话，这个更新时长和字数，应该是除了学中项、高项之外的最多的笔记了

3.2 随着数据的不断增长，数据工程出现了

事物的发展都是有一个过程的
数据不到一定的级别，一定的量级，数据工程不会出现
数据工程有自己的规律和规则，需要根据自身的情况实施

3.3 既要适应实际需求，又要有一定的前瞻性

在举行数据工程时，既要根据该工程的实际情况选择合适的工具和架构以及体系构建
同时，也要有一定的前瞻性，用于适应将来的变化
但是，也不同太超前了，太超前了也往往意味着失败，过犹不及

3.4 好书，保举阅读

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)