中国南方航空 NoETL 指标平台实践案例分享
文章整理自曹曙玮演讲内容（曹曙玮，矩云信息联合首创人 & 技术负责人）各位来宾，大家下午好，我是曹曙玮，来自矩云信息。我们是 Aloudata 大应科技的合作搭档。今天非常荣幸受到约请，在这里为大家分享一下我们在中国南方航空（以下简称：南航）用户中心部分的项目实践。
Part 1. 项目背景：两大痛点
这里我先介绍一下南航用户中心这个部分。用户中心是一个业务服务部分，重要通过用户中心运营平台为 C 端和 B 端客户提供服务，将 Data Facts（客户数据管理）、Data Insights（客户洞察分析）和（Take Action）客户触达和运营的全流程形成完整闭环。
https://i-blog.csdnimg.cn/direct/8823138bd2c34ef08f1e4ca881b10ac0.png
在客户数据管理方面，重要涉及传统的 ETL 工作，包括 One ID、ID Mapping、基于数据的身份校验或手机号验证，以及处理客票、辅收等业务数据。
在客户洞察分析方面，重要提供面向决策层的经营看板和驾驶舱，以及面向运营层的日常运营报表。同时，配备多种分析工具，包括流程分析、路径分析、单个用户的 360 度画像分析、基于客群的画像分析，以及面向 C 端和 B 端客户的标签管理工具，以满足不同层级的分析需求。
在客户运营触达方面，重要涵盖营销自动化和客户旅程编排，并通过短信、小步伐、企微等渠道实现客户触达，并结合智能客服、广告投放和权益投放，形成一套完整的客户运营链路。
前期，我们团队重要负责数据管理和标签工具建立。随着数据体量的增长，用户中心也遇到了许多企业常见的瓶颈题目，重要集中在以下两大方面：
https://i-blog.csdnimg.cn/direct/f3555f4c89f5410f81c053cdd6baf0c3.png
第一是查询性能慢。
详细表现为 ETL 使命耗时长，使命更新每天需耗费近一天时间。再由于南航部分业务位于西半球，数据入库需等待约 15 小时左右，导致最延迟的数据更新周期接近两天。
同时，用户中心目前管理着近 3 亿客户，每位用户每天会产生约 800 个标签。这些海量数据累积后，对上层标签查询造成巨大性能开销，导致查询响应迟钝。为缓解这一题目，目前限制每次利用数据时的客群规模不得超过 5 万人，这严重制约了整体数字化运营效能。此外，这些题目也影响到基于这些数据搭建的上层应用系统的响应速度。
第二是用数服从低。
体现在业务需要通过数据中台去提需求，然后等待开发排期。如许的开发模式差不多需求交付需要两周时间，有些需求上线时场景已经过期。而标签的筛选，固然已构建机动且贴近业务的标签筛选工具，但仍无法完全满足复杂多样的业务需求。此外，当前运营工具也无法实现机动的下钻分析和归因分析。
Part 2. 办理方案
为应对这些痛点，我们可能有多种方法。比如增长硬件资源；大概是优化数据库结构，如分表分库、增长分片和索引；再或是引入新的数据引擎，优化数据查询路径。但南航用户中心希望在降本增效的背景下，找到一个高效且轻量化的办理方案。
他们不希望举行重复建立，如引入新的引擎或数据底座，构建更加庞大的数据加工体系，也不希望通过定制开发来满足复杂多变的业务需求。他们需要一个业务导向、可以或许快速响应的工具，以机动应对各类业务需求。
在我们对怎样办理南航「既要又要」的题目感到束手无策之际，遇到了 Aloudata 大应科技，发现他们提供的 Aloudata AIR 和 Aloudata CAN 两个产物，可以或许“点对点”地办理客户的痛点需求。之后便与客户睁开沟通，方案获得认可后安排了 POC，并在完成 POC 后验证了产物的实用性，以及按照流程举行了漏洞扫描和安全检测，终极于去年 10 月乐成上线。
https://i-blog.csdnimg.cn/direct/6e21262d26da4380b126dde4287b8fc5.png
针对查询性能慢的题目，我们利用 Aloudata AIR 作为逻辑数仓，实现多数据源的接入，统一语义和跨源查询功能，并按需按策略同步数据，优化查询路径，提升整体查询性能。针对用数服从低的题目，我们利用 Aloudata CAN 作为指标平台，其提供的机动拖拽和衍生功能，可以或许支持业务自助创建复杂逻辑以及与业务系统的对接，从而提升业务查询和用数的机动度。
在南航内部利用方面，技术部分重要利用 Aloudata AIR，负责构建底层的究竟表和维度表，并通过 Aloudata AIR 的智能查询加速本领提升查询性能。对于业务职员，重要利用 Aloudata CAN，他们无需管理底层技术口径，而是从业务角度出发定义业务口径。如此一来，两个产物在此过程中便起到了技术与业务之间的“翻译”作用。
上线后，结合 Aloudata 两款产物的本领，客户也完成了对自身数据加工链路的优化。优化前，数据从数据中台提取，经过近一天的 ETL 同步到 ADB 和 RDS 中，再基于这些数据搭建客户运营、标签查询、指标查询及 One ID 等业务工具。
引入 Aloudata 产物后，架构实现改进：Aloudata AIR 直接对接数据中台，部分需要加速加工的数据通过这条链路处理。在此底子上，将究竟表和维度表与 Aloudata CAN 直接买通，然后向上层业务层提供统一定义和自动化开发的指标服务，办理客户运营、标签查询、指标查询等用数需求。
https://i-blog.csdnimg.cn/direct/0380afaec830440a84086953713febae.png
在技术架构优化后，业务架构也相应得到提升。由于 Aloudata AIR 和 Aloudata CAN 分别完成了数据模型和标志指标口径的沉淀，可以或许资助客户建立一套统一的运营模型来指导业务开展。在用户中心内部，我们也借此时机重新梳理了分析方法论体系和运营标准 SOP，并基于此构建了指标体系、标签体系和运营体系，以及评估体系等，来衡量这些工具建立后的效能。
https://i-blog.csdnimg.cn/direct/0256cdb68f3e4d74b2cca628bff19833.png
经过技术架构和业务架构的优化，南航用户中心的业务模式也随之发生了显著变化。过去，客户用数方式是技术导向的，采用自下而上的模式，先建立平台和底子办法，再开发上层应用，呈金字塔结构，必须完成所有建立后才能利用。现在，用数方式转变为业务导向的自上而下模式，业务部分提出需求后，可根据最优路径直接取数。数据并不是全部存储在 Aloudata AIR 中，而是通过 Aloudata AIR 构建的逻辑数仓根据数据热点机动调用，优化数据的整体调用路径。
https://i-blog.csdnimg.cn/direct/e310c8fc9e2f43f79d12b5b849ed11ad.png
在数据同步方面，过去需要数据全量同步，这不但耗费大量资源和时间，还导致响应速度迟钝。现在，通过优化后的平台，业务部分可以或许根据数据的利用频率按需同步。例如，80% 的低频数据便无需同步，从而大大节省了底层性能消耗。同时，业务部分可以自主利用数据，经审批后即可直接上线，极大地提高了服从。关于数据口径的管理和加工，过去是由技术部分统一负责，技术与业务之间的沟通本钱很高。现在，业务职员无需深入了解底层技术细节，只需通过业务语义和自身对业务的明白，就可以通过拖拉拽的方式操作底层指标和维度，自行构建所需的报表和数据需求。
Part 3. 场景赋能
场景一：重构指标和标签体系
在指标方面，用户中心以业务 KPI 为导向，设定核心的北极星指标以及相关的派生指标，基于这些指标，可以或许对详细的业务行为举行拆解，并从战略层到执行层一步步明确对应的指标。当核心指标发生变化时，可以下钻分析，找出导致北极星指标或派生指标变化的详细行为。
在标签体系层面，通过快速监控与分析标签的业务代价和利用频率，剔除低频利用的标签，提炼出真正为业务创造代价的核心标签，并加以推广利用。如许，过去分散在各地的指标和标签，通过结构化的体系和标准模型，不但实现了统一的管理，还提升了整体效能。
https://i-blog.csdnimg.cn/direct/97ab88f179304226a8592f490bfb7db3.png
场景二：报表、运营看板和驾驶舱
业务职员可以通过指标平台，以拖拉拽的方式快速输出分析视图，并对接 Quick BI 等工具去搭建运营看板和驾驶舱。同时，业务职员在完成自主分析后，可以将分析效果导出并另存为用户标签，用于权益投放、消息触达，以及结合指标举行二次分析，查看用户标签分布和贡献度。
这些标签还可以对接下游的客户旅程编排工具，如营销自动化 MA 工具，用于流程节点判定和千人千面的运营触达。指标平台可直接对接 Quick BI 或通过 API 输出数据至 H5 页面或 APP 工具，并支持业务自由导出 Excel 举行个性化处理，大幅提升了数据开发和分析服从。
https://i-blog.csdnimg.cn/direct/6efa3fec83164aedac40fe3a5c0041ff.png
场景三：指标告警与业务决策
通过 Aloudata CAN 指标平台对接业务决策的 RPA 系统，可以实现基于指标的告警与事故触发。当业务告警发生时，系统可自动推送告警邮件、短信、企微通知，让业务职员及时采取步伐，同时触发流程判定和事件操作，告知下游系统采取相应行动。
https://i-blog.csdnimg.cn/direct/9ca2d9ba082f4e738475d07b8dc06227.png
场景四：标签的建立与运营效能分析
平台上线后，业务部分利用 Aloudata CAN 指标平台对内部标签利用效能举行分析。过去，南航建立的底子办法和系统虽多，但其效益、性能和投资回报率一直是领导层关注的题目。通过指标平台，他们可以了解到哪些标签对核心业务产生了代价，哪些标签在终端业务员利用中对运动效果，如“随心飞”或“畅游中国”有实际收益提升作用，并睁开归因分析和洞察，评估标签质量、覆盖度、活跃度等，从而保留真正有代价的标签。
https://i-blog.csdnimg.cn/direct/fca46d3c149c46a1bdb2137e48513914.png
Part 4. 未来规划
项目落地并稳固运行后，我们与南航探讨了未来发展方向。
第一个重点是智能问数。由于 Aloudata CAN 本身已经对数据语义举行了加工，沉淀了丰富的语义库。基于此，南航希望通过对接大语言模型，实现从自然语言到语义层再到数据查询层（NL to Semantic to SQL）的翻译和转换，从而为用户提供更便捷的数据查询和分析体验。
第二个重点是对外输出服务。南航还提出将工具市场化，即将其推广到遍布全国的分公司和子公司，供其调用平台内的指标，并按调用次数收费。通过这种商业模式，南航希望推动集团内部数据建立的标准化，提升整体数据管理服从和效益。
第三个重点是乘机体验分析。南航希望通过将自有的各类智能设备对接指标平台，如登机口面板和服务地区设备等，及时查看其产生的动态数据趋势和变化。基于这些数据，为一线业务职员提供及时反馈，资助他们采取步伐改善服务，提升用户的乘机体验。
第四个重点是系统利用效能分析。利用 Aloudata AIR 对数据中台举行数据校验和管理，例如检查每天的 ETL 使命是否出错、数据总量是否一致等；利用 Aloudata CAN，监控标签的利用效能、产生的效益等。如此，对整体系统的建立提供效能分析支持。
https://i-blog.csdnimg.cn/direct/94516f271a6542d8a912aa79e726c571.png
Part 5. 一个小故事
在去年系统上线后，我向南航领导报告了 Aloudata AIR 和 Aloudata CAN 产物及其代价理念，并举行了 Demo 演示。领导听完后很兴奋，问我这两个产物是否为南航量身定制。
我心田一紧，担心他希望我们做深度定制开发，于是赶忙解释说，我们提供的是标准产物，包含数据管理规范、标准、管理方法和输出模型，旨在推动南航数据管理和标准化建立。领导听后表示明白，并解释说他问这个题目，是由于产物名字与南航内部体系高度契合。南航内部很多产物命名都包含“AIR”，它的官网就是 CSAIR，而“CAN”是广州白云机场的三字码。所以他以为这两个名字非常契合南航的产物体系，仿佛是为南航量身定制的。
今后，我在与南航同事交换时都会强调，Aloudata AIR 和 Aloudata CAN 并非特指航空器或广州白云机场，而是代表一种 NoETL 的产物代价理念和在数据管理与利用方面的实践经验。通过这两个产物，我们希望向客户传递这些理念。
以上是我今天分享的全部内容，谢谢大家。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]