目录
一、数据中台的产生与发展
1.1 脱胎于大数据的发展
1.2 概念诞生于中国
二、数据中台的定义
2.1 概述
2.2 定义一
2.2 定义二
2.3 定义三
2.4 定义四
2.5 定义五
2.6 我对数据中台的解读
三、对数据中台的认知
3.1 概述
3.2 数据中台需要提升战略高度,并规模化投入
3.3 数据中台需要新的数据代价观和方法论来指引建立
3.4 数据中台建立会衍生出新人才要求,需要人才储备
3.5 企业需要清楚数据中台的定位
四、数据中台需要理清的概念
4.1 数据中台与业务中台
4.1.1 数据中台与业务中台的区别
4.1.2 数据中台与业务中台的接洽
4.1.3 .建立的必要性
4.2 数据中台与数据堆栈
4.3 数据中台与BI
4.4 数据中台与数据湖
4.5 数据中台与数据编织
4.6 数据中台与现有信息架构
五、数据中台的意义
5.1 概述
5.2 顺应数字化期间的需求
5.3 促进跨行业和跨领域的协同
5.4 提高企业的竞争力和代价
一、数据中台的产生与发展
1.1 脱胎于大数据的发展
在评论数据中台之前,不妨先看一下大数据的发展汗青:
有迹可循的大数据思想萌芽,可追溯至1974年,其时有学者在论文中首次提出了“大数据集”的概念,但一直到1991年,Bill Inmon出书了《建立数据堆栈》一书,才真正算是在大数据领域有了被广泛继承的“数据堆栈”定义。随后,在20世纪初,数据处置惩罚量达到TB级的情况下,数据处置惩罚、展现应用于业务带来的提升,学界的广泛认同和商界的快速产品化,证明了数据堆栈的汗青意义与代价。
从大数据发展的编年史,大概能看出一些端倪,为什么数据中台会在短短数年内从默默无闻到炙手可热。从2011年开始,大数据的发展仿佛进入了高速公路,无论是国际着名组织,还是国家层面,都将大数据上升到战略级地位。伴随地位的提升,大数据领域的研究在广度和深度上都不停得到拓展,从早期以硬件、网络为主的单一领域分类,扩展到平台化及场景化的数据堆栈、元数据管理、主数据管理、数据质量、**数据安全**、数据科学等多元的领域分类。与此同时,数据堆栈的概念正在被外延——衍生出“大数据平台”、“贸易智能”以及“**数据湖**”的“逻辑数据堆栈”概念,数据处置惩罚量从TB级跃升至PB级,开源的Hadoop生态正式开始贸易化,数据中台在这个时期脱颖而出,也似乎并不突兀。
1.2 概念诞生于中国
“数据中台”是一个在中国诞生并实践落地的概念,已经被中国信息通信研究院、IDC、Forrester等多家权威技术评估机构承认和推许。这表明数据中台已经进入逐渐成熟的阶段,也证明了数据中台在赋能企业业务发展方面具有长期的活力。
回顾数据中台的产生与发展,就不得不提它发端的企业——阿里巴巴。2014年阿里巴巴从芬兰Supercell公司接触到中台概念,2015年开始在团体内部积极践行。基于应用数据中台的实践履历,以及对以新零售、新金融等互联网技术和思维为核心的数据赋能业务的创新实验,阿里巴巴开创了“大中台、小前台”的组织机制和业务机制。
2018年,百度、京东、腾讯等头部互联网企业在组织架构调整中增设中台部门或对应职能的组织,中台概念开始逐渐深入互联网企业,然后被全行业继承。
2019年,连锁零售行业通过数据中台买通了各个渠道的广告数据以及CRM、ERP等后台数据,实现了对用户画像、精准营销、个性化服务、门店管理等方面的数据支撑。地产行业通过数据中台整合多业务板块的资源,实现了资源的更大效能共享。金融行业利用数据中台实现了数据治理、数据资产管理、数据服务等能力。
2020年,政务数据中台开始在各省、市、区各级政府得到利用,实现了政府数据的同一管理、共享和开放,为政府决议、公共服务、社会治理提供数据支撑平台。政务数据中台的建立有利于提升政府治理能力和水平,增强政府公信力和透明度,促进社会创新和发展。
除此之外,近几年数据中台在制造、医疗、教育、传媒等领域也得到广泛应用,现在绝大部门大中型企业(包括一些政府部门、机构等组织,后面同一称作企业)把数据中台作为数字化转型支撑的必选。
二、数据中台的定义
2.1 概述
数据中台概念自诞生以来持续保持行业热度,但是现在为止对于数据中台并没有同一、标准的定义。
2.2 定义一
以为数据中台是云平台的一部门,同时包括业务中台和技术中台。
2.2 定义二
以为数据中台是数据+技术+产品+组织的组合,是企业开展新型运营的一个中枢体系。
2.3 定义三
以为数据中台可以明白为企业的最核心的数据大脑,是一种理念、一种思维,是一种面向未来的架构。
2.4 定义四
以为数据中台是高质量、高效赋能数据前台的一系列数据体系和数据服务的组合
2.5 定义五
以为数据中台是“计算平台+算法模子+智能硬件”,不仅有云端,还需要智能装备帮企业在终端收集线下数
2.6 我对数据中台的解读
从服务方到客户方,对数据中台的明白并不雷同,如同1000个观众心中有1000个哈姆雷特一样。从多方对数据中台的明白也可以看出,数据中台不是简朴的技术或者产品,而是一套体系、一套机制。
数据中台是一套可持续“让数据用起来”的机制,是一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论的支撑,构建的一套持续不停地把数据变成资产并服务于业务的机制。数据来自业务,并反哺业务,不停循环迭代,实现数据可见、可懂、可用、可运营。
通过数据中台把数据变为一种服务能力,既能提升管理、决议水平,又能直接支撑业务。数据中台不单指技术,也不单指产品,而是一套完整的让数据用起来的机制。既然是“机制”,就需要从企业战略、组织、人才等方面来全方位地规划和配合,而不能仅仅停留在工具和产品层面。
当然了,每家企业的业务与数据状态各不雷同,业务对数据服务的诉求不同,数据中台的建立将出现出不同的特点,没有任何两家企业的数据中台是完全雷同的。数据中台的实施不仅需要一整套技术产品,更需要针对不同业务、数据、应用场景的体系化的实施方法和履历,过程中涉及企业的战略、组织、技术、人才等全面的保障和配合。
三、对数据中台的认知
3.1 概述
数据中台能否从自发的单点状态、媒体热点,变成数字经济的基础、普惠性的数据服务机制,取决于业界能否广泛继承以下几个认知并为之共同积极。
3.2 数据中台需要提升战略高度,并规模化投入
数据中台的目的是提供普惠数据服务,在“互联网+”行动筹划和“智能+”的推动下,数字产业化和产业数字化成为数字经济的两大基础。数字产业化(互联网)从C端市场起步进而走向B端市场(互联网+),产业数字化天然在B端市场(+互联网)。
数据中台只有在B端市场被企业提升到下一代基础设施的高度,才能帮助企业从根本上办理数字化转型过程中遇到的瓶颈和痛点,比方数据孤岛林立(本质上是底层计算和存储架构的复杂性与异构造成的)、数据资产化程度低、数据服务提供效率与业务诉求严峻不匹配等。
相比于信息化部门把数据中台中的某些功能和特性作为新技术来局部验证与引入,数据中台更需要企业从战略高度举行顶层设计,确定规模化投入政策,设置更公道的组织架构,以确保数据中台作为数据应用的基础设施并落地建立,负担起企业数据资产全生命周期的管理责任。
3.3 数据中台需要新的数据代价观和方法论来指引建立
数据中台所包含的数据技术创新可以在成熟的平台型企业内部孕育,技术的创新和融合应用于许多贴近业务的创新应用场景。但数据中台不仅仅是技术平台,倘若停留于此,就完全忽略了IT到DT的本质变化是围绕数据资产,企业面临的紧张矛盾是无法办理业务端的机动性和经营管理的稳固性之间的冲突,单纯地增大技术投入和人才投入都无法保障企业经营效能的持续提升。只有秉持数据代价观和方法论,才大概体系性地办理企业经营发展围绕数据的诸多题目。谁能率先办理面向数字经济特征的全新数据代价观和方法论的题目,并在其指引下打造出平台级能力,谁就能真正帮助企业把数据用起来。
3.4 数据中台建立会衍生出新人才要求,需要人才储备
人才永远是瓶颈,而且人才的详细定义在动态变化,需要为人才预备成长的土壤。信息化进程中从简朴的搭建网站、单功能体系开发,到复杂体系开发、建立、运营,再到新技术引入等,都曾经是人才详细定义的紧张关注点。
在社会范围内,信息化人才天然倾向于两类企业:成熟稳固的平台型企业或有成为成熟平台潜力的企业。企业只有围绕数据中台明白了人才的定位和职业通道,才大概吸引或培养出拥有业务、数据、分析等综合素养的新型信息化人才。企业需要尽快启动数据中台人才储备筹划。
3.5 企业需要清楚数据中台的定位
伴随着云计算、大数据、人工智能等技术的迅速发展,以及这些技术与传统行业的快速融合,全社会数字化、智能化转型的步调逐渐加快。放眼环球,数字经济占比逐步提升,数字经济增长成为经济增长的紧张力量。产业数字化、数字产业化对数据应用都有直接的需求,数据应用成为每个行业增长的新动能。
数字化转型成功的企业,其内部和外部的交互均以数据为基础。业务的变化快速反馈在数据上,企业能够迅速感知并做出反应,而其决议与考核基于客观数据。同时,数据是活的,是流动的,越用越多,越用越有代价。随着数据与业务场景的不停交融,业务场景将逐步实现通过数据自动运转和自动优化,进而推动企业进入数字化和智能化的阶段。
传统IT建立方式下,企业的各种信息体系大多是独立采购或者独立建立的,无法做到信息的互联互通,导致企业内部形成多个数据孤岛。互联网、移动互联网的发展带来许多新的业务模式,许多企业实验通过服务号、小程序、O2O平台、直播平台等新模式触达客户,服务客户,而新模式是通过新的平台支撑的,产生的数据与传统模式下的数据无法互通,这进一步加剧了数据孤岛题目。分散在各个孤岛上的数据无法很好地支撑企业的经营决议,也无法很好地应对前端业务的快速变化。
因此需要一套机制,通过这套机制融合新老模式,整合分散在各个孤岛上的数据,快速形成数据服务能力,为企业经营决议、精细化运营提供支撑。这套机制就是数据中台。以是企业要清楚明白数据中台的战略地位,搞清楚新模式与传统模式的区别和接洽。
四、数据中台需要理清的概念
4.1 数据中台与业务中台
4.1.1 数据中台与业务中台的区别
业务中台更方向于业务流程管控,将业务流程中共性的服务抽象出来,形成通用的服务能力。比如,电商平台有C2C、B2C、C2B、B2B四种模式,此中订单、生意业务、商品管理、购物车等组件都是有共性的。将这些组件沉淀下来,形成电商行业的业务中台,再基于这些业务中台组件的服务能力,可以快速搭建前台应用,譬如C2C模式的淘宝、B2C模式的天猫、B2B模式的1688、C2B模式的聚划算,用户通过这些前台业务触点利用业务服务。业务中台不直接面向终端用户,但可以极大地提升构建面向终端用户的前台的速度和效率。
业务中台抽象业务流程的共性形成通用业务服务能力,而数据中台则抽象数据能力的共性形成通用数据服务能力。比如,原始业务数据通过资产化、服务化,形成客户微观画像服务,这个服务既可用于电商平台的商品推荐,也可用于地产购房意愿,还可用于金融领域的名誉评级。同一个服务,在应用层面展现的内容大概不一致,但是底层的数据体系是一致的。数据中台也将极大提升数据开发的效率,低沉开发资源,同时可以让整个数据场景更为智能化。
4.1.2 数据中台与业务中台的接洽
如果同时拥有业务中台和数据中台,则数据中台与业务中台是相辅相成的。业务中台中沉淀的业务数据进入数据中台举行体系化的加工,再以服务化的方式支撑业务中台上的应用,而这些应用产生的新数据又流转到数据中台,形成循环不息的数据闭环,如图所示:
业务中台与数据中台相互促进,为企业业务的发展、管理者更好的决议提供支持。此中,业务中台的存在是为了围绕公司业务流程运作举行服务,将获取的多维度数据传递给数据中台,由数据中台发掘新的代价反馈给业务中台,以优化业务运营。
有人大概会有疑惑:数据中台和业务中台的建立是否有先后顺序?我是这么以为的:这两者的建立没有先后之分,紧张依据企业的现实情况举行规划。
从数据层面看,业务中台只是数据中台的数据源之一,除此之外,企业还有许多其他的数据来源,如App、小程序、IoT等多源数据,可以将这些数据的代价直接赋能于现有业务或某个创新业务。
从服务层面看,数据中台的数据服务也不一定颠末业务中台作用于业务,它还大概直接被上层应用体系举行调用和封装,如电商领域的“千人千面”体系。
而从业务中台的角度来看,如果没有数据中台,也可以做一些简朴的数据处置惩罚,如简朴的分析和统计等,但是涉及较复杂的分析、数据的发掘等则难以实现。而通过数据中台对业务中台的赋能,则可以使业务中台拥有全维度、智能化的数据应用能力。譬如业务的推荐、圈人、风控、预警等能力。有了这些能力,业务体系将从信息化业务体系升级成智能化的业务体系。
4.1.3 .建立的必要性
建立中台是为了资源的共享利用,建立数据中台是为了数据资源更充实的共享利用,建立业务中台是为了业务资源更充实的共享利用。以是不管建立哪种中台,都要思量是否有需要共享的资源,如果没有可共享的资源或者资源的共享度不高,建立中台就很难达到预期的结果。
企业要建立业务中台,要思量是不是多业务单元经营模式,而且这些业务单元是否有比力高的相似度,如许才有业务资源共享的大概。如果是单一的简朴业务模式,则谈不上共享业务资源;如果多个业务间差别比力大,也无法共享业务资源。不需要共享或者无法共享,建立业务中台就没故意义。
拿中台的提出者阿里巴巴举例子,阿里巴巴电商系有淘宝、天猫、聚划算、闲鱼、饿了么、飞猪等业务,这些业务各有特色,但是相似度很高,都需要管理卖家、买家、商品、订单、物流等,通过建立业务中台提供同一共享的卖家、买家、商品、订单、物流等服务,各业务单元利用业务中台提供的公共服务再联合自己业务单元的个性需求做一些定制,可以快速支撑业务所需,顺应市场的快速变化。
比如阿里巴巴可以利用这些共享的业务服务能力,快速组装出淘宝特卖如许的新的业务应用。但是绝大部门企业并不像阿里巴巴如许有多个相似度很高的业务单元,它们要么业务单一,要么多个业务板块之间差别巨大,如许就很难找到可共享的业务单元,很难发挥中台的代价。
颠末多年信息化的发展,许多企业积累了足够多的数据,利用好这些数据,让数据在多个业务环节共享,对于这些企业来说都是必要的。以是笔者以为,数据中台是每家有信息化基础的企业都要思量建立的,而业务中台的建立则要根据企业的业务情况慎重决议。
4.2 数据中台与数据堆栈
数据堆栈的紧张应用场景是支持管理决议和业务分析,而数据中台则是将数据服务化之后提供给业务体系,目的是将数据能力渗透到各个业务环节,包含但不限于决议分析类场景。数据中台持续不停地将数据资产化、代价化并应用到业务,而且关注数据代价的运营。
数据中台建立包含数据体系建立,也就是说数据中台包含数据堆栈的完整内容。数据中台将企业数据堆栈建立的投入举行代价最大化,以加快数据赋能业务的速度,为业务提供更快速、更多样的数据服务。数据中台也可以将已建好的数据堆栈当成数据源,对接已有数据建立结果,制止重复建立。当然也可以基于数据中台提供的能力,通过汇聚、加工、治理各类数据源,构建全新的离线或及时数据堆栈。
另外,数据中台一般采用全新的数据技术架构,可以更方便地举行数据代价的发掘。随着企业的数据量越来越大,智能化场景越来越多,传统架构的存储计算能力无法满足这类数据业务的需求。而机器学习、深度学习等技术不停发展,从看似无用的数据中发掘出新代价的能力越来越强,新的技术架构为这些场景的建立提供了很好的能力支撑。
4.3 数据中台与BI
BI(Business Intelligence,贸易智能)是将企业现有的数据举行有用整合,面向业务经营提供快速、正确的决议依据。BI通常依赖处置惩罚好的结构化数据,以报表或者大屏等可视化方式提供给决议者。BI一般在数据堆栈的技术层,面向不同的业务分析决议提供支持以及可视展现。当企业业务相对简朴,涉及的体系相对较少时,可以在建立数据堆栈或者数据中台之前,利用BI做业务的决议支持。但当企业的业务复杂度提升,体系繁多,BI难以对接多种复杂体系、复杂的异构数据时,就要思量用数据中台或者数据堆栈配合BI体系。有了数据中台,BI可以作为数据中台应用的一种出口,数据中台的数据体系中的应用数据层可以对接BI体系,面向不同的业务需要提供决议支持和展示。如许BI可以作为数据中台体系的一部门,用于决议分析可视的应用。
4.4 数据中台与数据湖
数据湖(Data Lake)是一个以原始格式存储数据的存储库或体系。它按原样存储数据,而无须事先对数据举行结构化处置惩罚。数据湖可以存储结构化数据(如关系型数据库中的表)、半结构化数据(如CSV、日志、XML、JSON)、非结构化数据(如电子邮件、文档、PDF)和二进制数据(如图形、音频、视频)等。
数据湖最初的目的是存储多种格式的数据。由于数据的代价难以在短期内发掘,但是数据所包含的信息又大概在未来的某一时候极其紧张,以是为了把当前阶段难以发掘的数据生存下来,以便在未来随时利用,人们提出了数据湖的概念。也就是说,利用相对廉价的存储方式,把企业尽大概多的数据存入数据湖,再在适当的时间点根据需要从数据湖中提取出需要处置惩罚的数据举行加工。
但是随着数据湖概念和技术的发展,数据湖已经不只是个数据存储池,而逐步融入了数据集成、数据处置惩罚、数据管理、数据发掘、数据分析等一系列技术架构,与数据中台的定义越来越接近。
总体上看,国外更多人提数据湖,而国内提数据中台的比力多。笔者以为,数据湖可以与数据中台联合,数据中台是个更大范围的体系,数据中台的目的是管控好整个企业或者组织的数据,让数据尽大概服务于业务,提供代价。而数据湖可以作为数据中台的全量数据汇集存储的情况,数据湖的数据终极还是要通过治理和发掘服务于业务,收罗、存储、管理、发掘、利用这些功能组件可以与数据中台融为一体。数据湖就是企业的全量数据资源池,通过数据中台这套体系来管理,通过数据中台的数据服务能力让数据更充实地利用起来。
4.5 数据中台与数据编织
数据编织(Data Fabric)是近来数据技术领域一个比力火热的词,业界对于数据编织有多种明白,并没有同一、标准的定义。综合业界的多个定义来看,数据编织是一种设计理念,通过一套数据架构思想,同一管理并链接全部数据源,利用知识图谱和AI能力面向不同的数据利用场景提供正确、方便的数据访问,从而更高效、更大限度地发挥数据代价。
数据编织旨在办理大数据期间海量数据以及多云的复杂架构导致的数据孤岛加剧、数据集成资源高、数据利用难的题目。有了数据编织这套设计理念,企业可以在不迁移数据的情况下,方便地相识自有的数据资源,并根据业务需要快速访问所需数据。数据编织融入了知识图谱和AI能力,能够将合适的数据在合适的时间传送给合适的利用者。基于以上分析,数据编织应包含以下几方面的能力。
- 异构数据源毗连能力:能够毗连多个体系多种异构数据源的数据,包括各种业务体系、数据堆栈、数据湖、文档体系等。
- 智能数据编目能力:对毗连的数据源举行自动识别并获取元数据,获取元数据的同时识别数据的消费行为,对数据和数据消费行为自动编目,形成企业数据知识网。
- 数据毗连能力:能够在不同的数据之间建立毗连,简化数据访问模式。
- 语义明白能力:明白数据的业务含义,面向不同的利用者有针对性地举行语义表达。
- 智能建模能力:面向不同的利用场景,具备自动的智能建模能力,帮助用户获取场景化的数据服务能力。
可以看出,数据编织是一种数据技术的设计思想,强调智能化的能力。而数据中台是一套让数据用起来的机制,不仅包含数据技术,还包含企业战略、组织文化、运营机制等多个方面,目的是通过一整套机制的配合让数据在企业业务中被持续用起来。数据中台和数据编织不是非此即彼的关系,两者可以相互配合。数据中台可以鉴戒数据编织的设计理念,数据编织可以鉴戒数据中台的运转机制。
4.6 数据中台与现有信息架构
如何叫醒沉睡的数据资产,把数据真正用起来,以支持自身业务的智能化升级,是摆在全部传统企业面前的数字化转型困难。因此,对于是否有必要建立数据中台这件事情,似乎并无太多质疑之声,但真要建立数据中台,尤其是落实到详细建立的实操阶段,企业又开始担心,它们最担心的莫过于建立数据中台是不是要将企业的现有信息架构推倒重来。
在整个信息化的过程中,随着企业的业务发展和战略调整,为了更好地顺应和支撑业务发展,企业的信息化体系常有推倒重修的情况。伴随着一批又一批数据职员的成长和离开、行业专家和业务职员的提升或转型以及技术的演进等,数据堆栈也有推倒重来的案例。有了这些经历,新的技术方案的提出会不会推倒原有的体系,是不是又要顺应新体系,成为各人的顾虑。
数据中台作为办理企业级数据应用困难的新方案,不是一套软件体系,也不是一个标准化产品。站在企业的角度,数据中台更多地指向企业的业务场景,即帮助企业沉淀能力,提升业务效率,终极完成数字化转型。因此,数据中台与企业的现有信息架构不存在竞争关系,不会导致企业现有体系、功能和应用的重复建立。
数据中台在定位上与业务IT体系并不冲突。企业原有的IT体系仍然会根据业务和IT技术的迭代不停升级,仍然会为企业的生产运营或者经营管理提供支撑。数据中台的定位则是在数据领域帮助企业不停沉淀数据能力。两者之间是相互依托、相互赋能、相互促进的关系。数据中台需要IT体系不停提供数据,而IT体系未来更加需要横向、综合的数据特征来支撑。只有形成了数据中台和IT体系精良的配合关系,才能更好地构建企业团体的IT支撑能力。
五、数据中台的意义
5.1 概述
在数字化期间,数据既是企业的核心资产,也是企业的核心竞争力。如何有用地管理和利用数据,是企业面临的庞大挑战和机遇。数据中台是一个能够整合企业表里各种数据,提供同一的数据服务和能力的平台,是企业实现数字化转型和创新发展的战略支撑。
5.2 顺应数字化期间的需求
随着互联网、物联网、云计算等技术的发展,数据的规模越来越大,类型越来越多样,来源越来越复杂,企业需要有一个能够快速相应和顺应这些变化的平台,而数据中台就是如许一个平台。数据中台可以帮助企业实现数据的收罗、存储、处置惩罚、分析、展示、应用等全流程的管理与优化,提升数据的质量、安全性和效率。
5.3 促进跨行业和跨领域的协同
数据中台可以实现数据的横向和纵向整合,买通企业内部和外部的数据壁垒,实现数据的共享和流动,从而促进不偕行业和领域之间的协同与创新。数据中台可以帮助企业构建一个开放、共赢、协作的生态体系,实现资源的优化设置和代价的最大化。
5.4 提高企业的竞争力和代价
数据中台可以利用人工智能、大数据分析、机器学习等技术,对数据举行深度发掘和洞察,提供智能化的数据服务和应用,支持企业的决议、优化、创新等,从而提高企业的竞争力和代价。数据中台可以帮助企业发现新的贸易模式、产品、服务、市场等机会,实现持续的增长和变革。
好了,本次内容就分享到这,欢迎各人关注《数据中台》专栏,后续会继承输出相关内容文章。如果有帮助到各人,欢迎各人点赞+关注+收藏,有疑问也欢迎各人评论留言!
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |