【案例】星环科技×某能源企业：数据中台实践

​ 案例企业 ​ 某能源企业成立于2008年，是成品油销售领域的龙头企业（以下简称“A企业”），由中外合资设立。A企业立足于陕西省及周边地区，重点开展加油站运营管理及相关业务。目前在陕西、山西、河南、内蒙古自治区运营油站超过600座，会员超过600万，每天为超过22万名顾客提供高品质的燃油服务。 作为中外合资的混合所有制改革样板，A企业通过市场化改革适应了国际、国内市场竞争，并积极应用数字化、智能化新技术，建设几十个信息系统，取得了一系列重要成果，积累了大量实践经验。 业务挑战 ​在数据使用过程中，A企业发现多个问题。 以油站运营为例：站长日常需要关注油站注册用户数、活跃用户数、会员加油频率、单笔消费金额、会员消费粘性等数据指标，但没有一个统一平台进行用户数据的展现。此外，日常数据分析成本高、效率低，业务人员通过业务系统导数+Excel的半手工方式进行分析，需要自动化工具将业务人员从低效的工作中解脱出来。 造成数据使用问题多的原因可总结为以下几点： ​ 第一，业务环节缺少体系化串联。业务各个环节没有深入的数据分析支撑，客户洞察难度大，无法判断哪些是高价值客户、哪些客户有流失倾向，数据价值难呈现，需要通过建设业务体系，例如闭环营销体系、会员管理体系、异业合作体系等，将各个环节的业务串联起来，形成合力。 第二，数据不统一、缺乏标准。系统间数据不一致，数据交叉，数据流向复杂。例如，早期油站系统建设时，受到数据传输能力的限制，只能上传汇总数据，明细数据则存储在云上。汇总数据依赖于人工操作，导致汇总数据和明细数据之间存在差异。因此，需要制定数据标准，设计整体的数据架构，形成统一数据模型。 第三，缺少数据服务体系。数据服务的提供效率与业务诉求不匹配，需要形成数据服务生成体系，避免重复开发。 第四，未形成数据资产化。数据未资产化管理，数据使用问题多，需要形成数据资产目录。 第五，存在数据孤岛。主数据散落在多个系统中，存储计算结构复杂，需要整合企业内部和外部的数据，统一存储避免差异，并从业务视角重新组织。 解决方案   为解决业务技术痛点，A企业与星环科技达成合作，旨在打造平台、管理、应用并重的数据中台。 数据中台建设并非一蹴而就，需要一个长期的过程，在星环科技的建议下，A企业采用小步快跑模式，在加强基础能力建设的同时，推动重点业务数据价值探索，按需建设。  A企业数据中台建设规划分为三个阶段： 第一阶段：重点探索。完成数据平台搭建，进行数据资产管理运营，融合各系统数据，并以最迫切、价值最高的业务应用为出发点，在数据中台探索如何实现，并形成数据敏捷开发机制。 第二阶段：内部赋能。将第一阶段探索的成果推广到企业内部的其他业务部门和管理部门，促进数据与业务的进一步融合，初步形成大数据应用生态。 第三阶段：生态合作。通过持续运营数据中心服务能力，形成生态化数字平台方案产品，建立健全业务需求识别机制，实现应用生态百花齐放，让数据产生价值。 根据三步走的建设规划，数据中台的目标是搭建三大平台，推动数业融合，将原有“数据孤岛”、“烟囱式”的数据存储和开发工作，纳入到规范化、标准化、资产化的轨道上，做到统一入口、统一出口、集中管理、高效服务。三大平台包括： • 数据整合平台：通过对数据进行集中采集、存储、计算、加工，形成统一标准和加工口径，通过数据整合确保数据一致性。 • 业务应用平台：沉淀共性数据能力，构建数据产品服务，提供数据、分析服务的共享开放和机制能力，赋能业务。 • 数据探索平台：针对特定场景挖掘研究、AI专题分析，深入洞察业务，最大化实现数据价值。 ​ 搭建三大平台需要迈过“六层台阶”：数据平台建设、数据采集、数据管理、数据展现、业务支撑和数据探索。其中数据整合平台搭建后可以迈过前三层台阶，业务应用平台搭建后可以迈过第四、五层台阶，数据探索平台搭建后则可以迈过最后一层台阶。 从架构上看，数据中台整体架构分为数据中心、业务中心、统一接口、业务展现四个逻辑模块： 数据中心将各个数据源的数据接入后，通过ETF对数据进行清洗、整合、加工，并以工作流的方式进行管理。在数据平台之上构建数据集市，支持数据查询、数据探索、人工智能等方式的数据使用，并提供平台管理和数据管理能力。 业务中心对各个业务部门的业务场景进行抽象提炼，例如市场部、运营部、大客户部都需要进行客户分析，市场部、非油部、运营部都需要精细化运营分析等，基于业务场景拆解分析方法，包括BI维度分析、自助式分析、人工智能分析等。 经过数据中心和业务中心的处理，将有价值的信息通过统一接口对外输出，并以可视化方式进行业务。   从数据流转生命周期的角度看，数据中台体系架构可分为数据供给、数据加工&数据治理、数据服务和数据消费四个环节。   其中，数据加工&治理作为核心环节，数据中台采用离线和实时计算存储平台，采集内部外全域数据，按照明细程度进行分层，按照业务主题进行分类，从横向和纵向出发将原本分散孤立的数据组织和统一起来。 操作数据层是原系统数据在数据中台的落地，明细数据层保留最详细力度的数据，将各个系统相同主题的数据归类存放，包括客户、油站、交易、营销、供应链、安全、财务、人力等主题。同时，根据数据使用的作用划分维度和事实，包括员工维度、交易事实、人力事实等，将数据历史通过事务事实、周期快照事实、累计快照事实等方式进行保留。将相同主题整合到同一个业务域，例如将员工、交易和人事组合为人力资源域，可以支持HR业务域所有基础数据的需求。 汇总指标层对数据进行轻度汇总，主要用于加工常用和共性指标，客户指标例如客户月交易频次、客户常去的油站等，销售指标包括分油品销量、分客户类型销量等，营销指标包括促销金额、促销费用等。 应用数据层根据业务需求，对数据进行深度汇总，组合为具有强烈业务指向的指标和应用，包括驾驶舱、运营日报、会员运营、油站运营、投资回报、定价分析、零售分析、灵活分析等。 数据在各层次不断上卷的过程中，一方面需要保证数据始终处于良好的数据管理之下，包括元数据管理、数据质量管理、数据资产目录管理等，保证数据安全；另一方面资产也需要分析、应用、优化和持续运营。 对于探索性、研究性场景，使用AI模型分析，例如客户分群、客户流失、异常交易、油站安全风险评估等，同时还支持指标、营销、客户标签、财务管理等API类的服务。数据在服务过程基于开发平台处理，遵循开发规范。 这种数据架构下的中台具有稳定和健壮的特点，能够通过抽象出来的能力为快速变化的业务赋能。 在数据采集方面，数据中台采集各业务系统数据，数据类型包括结构化数据和半结构化数据，结构化数据包括Oracle、SqlServer、Hadoop、微软云等，通过星环科技Transporter工具进行采集，保证数据及时准确无误接入数据中台；对于半结构化数据，采用Shell/Java/Python脚本的方式解析数据入库。 ​ 在数据治理方面，基于对数据特性差异的分析，将数据分为基础数据、指标数据和外部数据，并对每类数据源进行数据资产盘点，制定每类数据资产目录，编制数据标准，构建统一标准的数据模型，形成可持续的运营方案。数据资产目录可以提供快速了解数据和业务的蓝图，为业务人员和分析人员提供备查的数据索引。 ​ 在团队保障方面，A企业和星环科技全力配合、双向协作，星环科技作为供应商将项目组成员分为项目管理、数据智能、数据架构、技术架构和产品实施，同时配备专家组，全力支持A企业数据中台建设。 ​ A企业数据中台项目从2019年10月开始，经过两期项目，数据中台初步形成了统一数据入口、统一基础模型、统一数据管理、统一展示出口的数据整合平台、业务应用平台、数据探索平台，面向管理层、业务运营层和一线油站提供KPI指标预警、多项专题类应用和数据类报表服务，充分发挥大数据对内运营的支撑作用，全面提升A企业精细化运营能力和效益分析能力。 数据中台在A企业内部的典型应用场景如下： 业务应用一：领导驾驶舱 基于业务痛点和管理层需求，为不同部门定制开发驾驶舱，例如运营部门关心油站的销量、车次、单价等，安全部门关心油站的月检、周检、视频检查等。 通过聚合各平台的数据资源，实现技术和业务的深度融合，通过数字化平台保障支撑，快速反映KPI指标运营趋势，为管理层决策提供数据依据。 ​ 业务应用二：油站运营 油站的零售运营涉及管理层、业务区域运营层和一线油站经理，不同层级的人员有不同的运营需求。但不同地区、不同类型的油站都独立运营，缺乏统一的数据统计口径和数据标准，油站运营状况缺乏快速敏捷的分析支撑能力和有效的上下传导管理机制。 通过油站运营分析，整合公司油站的运营数据，并统一数据标准，提供各项运营指标查询监控、数据类灵活多维分析报表服务，发挥大数据对内运营支撑作用，全面提升油站的精细化运营能力和效益分析能力。 ​ 业务应用三：会员运营 对于会员分群，通过使用RFM模型，利用AI算法对会员生命周期、会员用户状态、会员价值进行探索和分析，区分各个价值类型、各种活跃程度的客户，从而有效制定营销策略，提升客户价值。 ​ 会员标签体系包括会员信息、会员油品交易信息、会员非油交易信息，通过建立会员标签体系，可以分析不同地域会员的特征，针对不同会员采取定制化的营销方案与服务。 ​ 业务应用四：财务管理 财务管理涉及利润分析、销售定价分析和财务合规分析，利用数据中台数字化、自动化、智能化的优势，可以快速支撑财务部门进行利润计算、财务对账和财务合规分析，提高财务部门的工作效率，并有效规避财务风险。 ​ 业务应用五：异常交易识别 通过对指标的拆解和处理，构建异常交易模型，识别异常交易。过去人工判断的异常交易准确率在15%左右，异常交易模型将准确率提升到60%-80%，帮助企业挽回一定损失。 ​ 业务应用六：油站安全管理 加油站是易燃易爆场所，安全事故一旦发生会造成很大损失，因此油站安全管理尤为重要。数据中台对油站的安全管理分为两部分： 一是对现有数据的统计分析，可视化展示各个油站的安全状况，例如本年累计维修保养次数、油站设备使用时间、本月安全隐患提交次数等，实现油站风险可视化展示与跟踪。 ​ 二是通过AI模型对油站安全风险进行评分，分为高中低三类，使业务人员重点关注风险较高的油站，解决人站不匹配问题。 ​ 价值与效果 ​ 数据中台持续为A企业各个层面带来切实收益，具体来看： 第一，落实公司数字化战略，探索未来数据发展方向。数据统计工作从最初繁琐、易错的依靠人工上报的形式到系统登录数据中台，不同角色可以看到不同的界面及数据，数据使用更加方便、快捷、准确。 第二，数据打通融合，为油站运营提供全方位支撑。数据中台打破数据孤岛，提供全方位数据支持，保证油站管理高效运转。 第三，提升分析成果共享能力和分析效率。从直接在各自生产系统上下载客户或财务账目明细数据进行分析计算，到不同系统数据汇聚到数据中台，结合不同系统数据综合分析。 第四，丰富数据应用场景，降低人力成本。原来每个部门需要配备多人专门负责数据汇总呈现，现只需1人，节省了人力成本，业务部门也可将有限的人员和精力投入到最需要的地方和环节。 ​ 从业务的数据使用角度看，数据中台实现三方面的效益： 第一，数据中台对数据进行统一的沉淀处理，当其他系统需要时，可直接对外提供，避免重复开发，业务人员从一个入口就可以看到所有需要的数据。 ​ 第二，业务功能按不同角色进行梳理和划分，开发出符合业务人员自身特点的操作流程，让每个使用者都切身感觉到数据中台是为其专人服务的。 ​ 第三，业务人员可以根据实际的使用场景选择相对应的展现方式，支持手机、电脑、平板等多个终端便捷查询。 ​ 经验借鉴 ​ 帮助业务是数据工作的出发点和落脚点，数据中台项目的规划和设计必须结合业务考虑，同时提升业务的数据意识，实现数据和业务双向正反馈，共同达到业务目标。 A企业数据中台项目顺利落地的关键成功要素有以下四点： 第一，领导支持是成功的保证。高层领导的战略引领、信息部门领导的统筹布局、业务部门领导的积极配合对于数据中台项目而言缺一不可。 第二，提升业务的数据意识。企业需要在全司形成使用数据解决问题和分析问题的氛围，项目开展初期可以通过宣讲等多种形式让业务人员意识到数据工作的重要性以及当前所处阶段和难点。当数据项目到后期，业务人员已经习惯于数据中台提供的服务后，要避免成为业务的取数工具人，而是为业务进行赋能。 第三，选择合适切入点开展工作。各部门都有不完全相同的数据需求，无法一次性满足所有业务部门的需求，可以优选选择1-2个重要且有影响力的业务场景进行切入，争取业务人员的理解和支持。成功实现了1-2个场景案例后，项目压力减轻，方便后续工作的开展。 第四，小步快跑、持续迭代。项目对效率的要求高，投产上线周期快，针对项目进行敏捷开发，实现小步快跑、迭代开发和循环演进。 ​ 
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！