阿里云-数据堆栈-全链路大数据开辟治理平台-DataWorks的数字世界
一、前言上文我讲到 阿里云-数据堆栈-数据分析开辟神器-ODPS ，本日我带领大家一起走进神器的成长环境及它的数据世界。
二、 DataWorks是什么
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据堆栈、数据湖、湖仓一体等解决方案提供同一的全链路大数据开辟治理平台。
它是数据工场，集成提供对ODPS数据举行加工处理，主要提供了：数据集成、数据开辟、数据管理、数据治理、数据分享等功能。
三、产物架构
通过智能数据建模、全域数据集成、高效数据生产、自动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不停上涨的“数据悬河”，开释企业的数据生产力。
https://img-blog.csdnimg.cn/img_convert/dc82a75b75d3fdd8683201e3f24d94da.png
3.1 、智能数据建模
智能数据建模 是 依托阿里巴巴十多年来数仓建模方法论的最佳实践凝聚形成 ，内里包含数仓规划、数据尺度、维度建模及数据指标四大模块，可以帮助企业在搭建数据中台、数据集市建立过程中提拔建模及逆向建模的能力，并通过数据建模快速构建企业数据资产。
https://img-blog.csdnimg.cn/67e7779605414f28a6b190aa20642977.png
DataWorks智能建模 引入后带来的好处：
1、海量数据的尺度化管理;
2、业务数据互联互通，冲破信息壁垒;
可以冲破 公司内部各业务、各部分之间信息孤岛，快速地了解公司各类数据环境，动态及时的数据为 企业决策层 做业务决策提供数据参考。
3、数据同一尺度化整合，同一机动对接;
4、 在最大程度上用好企业各类数据，使企业数据代价最大化，为企业提供更高效的数据服务。
3.2 全域数据集成
DataWorks数据集成提供稳固高效、弹性伸缩的数据同步平台，实现数据自由离线或实时流动，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳固的数据移动及同步能力。
1、丰富的异构数据源
支持关系型数据库、文件存储、大数据存储、消息队列等50种数据源
不限定链路，读写插件都支持
2、离线、实时同步全场景覆盖
全增量一体化实时同步，全量增量数据自动合并
支持分库分表离线实时同步
3、齐备的网络解决方案
提供所有网络场景下的同步解决方案
支持跨产物、跨账号、跨云、数据同步
https://img-blog.csdnimg.cn/82f59e347ba741e39e80f329a3ff55af.png
3.3、 高效数据开辟
DataWorks数据开辟（DataStudio）与运维中央面向各引擎（MaxCompute/Hologres/EMR/CDP等）提供可视化开辟的主界面，赋予用户智能代码开辟、多引擎混编工作流、规范化使命发布的强大能力，让用户轻松构建离线数仓、实时数仓与即席分析体系，包管数据生产的高效与稳固。
1、DataStudio支持MaxCompute、EMR、CDH、Hologres、AnalyticDB、Clickhouse等多种计算引擎，支持在同一的平台上举行各类引擎使命的开辟、测试、发布和运维等操作。
2、DataStudio支持智能编辑器、可视化依靠编排，调理能力经过阿里集团内调理使命、复杂业务依靠的反复验证。
3、DataStudio提供隔离的开辟和生产环境，联合版本管理、代码评审、冒烟测试、发布管控、操作审计等配套功能，帮助企业规范地完成数据开辟。
4、运维中央支持数据时效性保障、使命诊断、影响分析、自动运维、移动运维等功能。https://img-blog.csdnimg.cn/ce35f04f164a409cb0c17ce0028dfa4d.png
3.4 、 自动数据治理
DataWorks数据治理包含数据治理中央、数据质量、数据地图等多个产物，覆盖事前、事中、事后的数据生命周期，通过数据治理健康分、质量规则、数据大血缘等能力，将书面的数据治理规范落地成平台化的产物能力，让数据治理不再一个 “阶段性项目”，而是一个“可连续的运营项目”。
https://img-blog.csdnimg.cn/2e8389a5b5364e4ab5ada74e340ca13d.png
3.5 、快速分析服务
DataWorks数据分析与服务旨在为企业提供全面的数据分析与服务共享能力。
数据分析基于“人人都是数据分析师”的产物目标，旨在为更多非专业数据开辟职员，如数据分析、产物、运营等工作职员提供更加简便高效的取数、用数工具，提拔大家日常取数分析服从。
1、简单快速的数据分析
支持MaxCompute、Hologres、EMR等多种数据源自助SQL查询，支持电子表格直接举行快速预览，数据的上传与下载。
2、零代码快速构建API数据服务
支持通过可视化的领导模式天生API，也支持通过SQL脚本模式编写复杂查询逻辑天生API
3、高效的服务编排
提供拖拽式的工作流编排能力，以串、并行和分支等结构编排多个API及函数服务为工作流，创建复杂API
https://img-blog.csdnimg.cn/15b65888c8a84c5480cbf9b3b18b853e.png
四、DataWorks开辟模式及其它功能区阐明
DataWorks 目前提供简单模式和尺度模式二种。
二种 工作空间模式中 简单模式可以升级尺度模式，但尺度模式无法升级简单模式，详细原因 阅读完下面内容大家自会明白。
简单模式
简单模式不区分开辟与生产环境，开辟的代码可以直接进入运维中央上线调理自动运行。
https://img-blog.csdnimg.cn/6d8e9bb6493745aabfc5e1817daacd53.png
尺度模式
尺度模式工作空间，可隔离开辟环境与生产环境，
接纳二套计算引擎（项目、实例或数据库）隔离分开,开辟的代码使命须要先提交至开辟环境，再实行发布操作，将使命发布至生产环境，才可以自动调理运行使命。
https://img-blog.csdnimg.cn/713ce7fe7a6e4ee98f7ef0701b7f2c32.png
新建调理资源
一样平常举行简单的数据分析只须要默认的调理资源就满足业务需求（目前的模式就是按量付费）
须要举行特殊操作或引用第三方组件、步伐时 数据集成、数据操作时会用到自界说资源。
https://img-blog.csdnimg.cn/06da29ca28ba42e1b9da79324c39c5d9.png
新增数据源
DataWorks空间：选择项目 -> 选择数据集成 -> 同步资源管理 -> 数据源
https://img-blog.csdnimg.cn/2cf1c332fbd449acb23d53cec29b0518.png
批量数据上云入库
DataWorks空间：-> 选择数据集成 -> 同步资源管理 -> 数据源 -> 整库数据迁移
也可针对指定表举行同步：
https://img-blog.csdnimg.cn/img_convert/6de28193df60293918904318727a8744.png
可视化的开辟界面
https://img-blog.csdnimg.cn/img_convert/db4415cb13fb9320bcafdcc596c9b00c.png
支持通过拖拉拽的方式构建使命流程，在同一的界面举行数据开辟和调理设置。
该界面为数据分析日常开辟最紧张界面。
运维中央
运维中央支持数据时效性保障、使命诊断、影响分析、自动运维、移动运维等功能。
https://img-blog.csdnimg.cn/img_convert/68523f4e5048f3d75085d8f8ce51678c.png
数据地图
DataWorks空间：单击左上角的图标，选择全部产物 > 数据地图。
默认进入数据地图首页，我们可以在该页面输入关键字搜刮须要的表，并可以查看近期欣赏和近期读取的表，以及基于您的访问纪录推荐的热门欣赏和热门读取。
https://img-blog.csdnimg.cn/f9395fa507c14fcf99eb9262dbb4e834.png
我们可以根据项目找到本身须要的表，单击全部数据。
在左侧项目下拉框中选择相应的项目，即可查看该项目下的表和EMR表。也可以对相应的表举行收藏、申请权限、查看血缘和查看SQL等操作。
如果查看工作空间的整体环境，请单击数据总览。
如果须要修改拥有的表等，请单击我的数据。
https://img-blog.csdnimg.cn/b297cf1c968d43149e35fbde85e7c2e7.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]