图书《数据资产管理核心技能与应用》分享

《数据资产管理核心技能与应用》是由清华大学出版社出版的一本图书，该图书重要特点如下：
1、依托于大数据技能，独家解密数据血缘的底层技能实现
2、详解数据资产管理的知识体系和核心技能
3、应用元数据管理和数据建模技能，充分发挥出数据资产的更大潜力和价值。
4、全书从元数据、数据血缘、数据质量、数据服务、数据监控、数据建模、数据架构等多个维度来剖析大数据资产管理的核心技能与应用。
5、全书配套了PPT课件以及作者微信答疑服务
核心章节介绍如下：全书依托于大数据技能，独家解密数据血缘的底层技能实现
通常来说，数据血缘的泉源可以包括数据源自身、数据处理惩罚的任务、数据任务的编排系统等。

• 数据源自身：比如像Hive，由于其自己就是支持通过HQL做数据处理惩罚的，所以其自己就可以通过数据处理惩罚的过程来分析从而获取血缘。
  
• 数据处理惩罚的任务：这点很容易理解，因为不管是及时任务还是离线任务，都会涉及到数据逻辑的处理惩罚，从数据任务的底层实现技能上来说，不管是Hadoop的Map-Reduce 任务还是Spark任务还是Flink任务，本质也都是在做数据的转换处理惩罚，有数据的转换，就可能会有数据血缘的变革。
  
• 数据任务的编排系统：这点也很容易理解，如下图3-1-1所示，在任务编排时，可能会将很多不同的任务节点按照依赖次序串联起来。前一个任务节点的数据输出会是下一个任务节点的数据输入，所以肯定也会产生数据的转换，就肯定也会存在血缘。
  

• 重点介绍了数据血缘的底层技能实现，包括：
  

• 如何从Hive中获取数据血缘
  
• 从Spark 执行计划中获取数据血缘
  
• 从Spark  SQL语句中获取数据血缘
  
• 从Flink中获取数据血缘
  
• 从数据任务的编排系统中获取数
  

 

 

 

 

 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。