ToB企服应用市场:ToB评测及商务社交产业平台

标题: 华为云全域Serverless技能创新：全球首创通用Serverless平台被ACM SIGCOMM [打印本页]
作者: tsx81428    时间: 2024-8-7 15:27
标题: 华为云全域Serverless技能创新：全球首创通用Serverless平台被ACM SIGCOMM
摘要：该平台提供通用函数编程模型，高可扩缩、高性能和高效对接后端服务的运行框架，助力华为云构建全域Serverless云服务。
华为开辟者大会2024（HDC 2024）在东莞·松山湖圆满结束，期间华为云主办的“全域Serverless期间：技能创新引领，赋能行业实践”专题论坛，向广大开辟者通报了Serverless领域的前沿思考和实践，现场座无虚席。Serverless展台欢迎企业客户300+，媒体宣传累计阅读量1w+。这一系列数字是华为云全域Serverless化的一个“缩影”，千行万业的开辟者认可Serverless带来的价值并付诸实践，Serverless的应用场景也逐步从“专用”走向“通用”。
在本次HDC大会上，华为云发布一则重磅消息：华为云全域Serverless化背后的“基石”——元戎，中稿全球顶尖学术集会ACM SIGCOMM 2024。该集会在计算机科学领域享有崇高声望，2024年共吸取投稿366篇，其中62篇被录用，录用率仅为16.9%。论文《YuanRong: A Production General-purpose Serverless System for Distributed Applications in the Cloud》揭示了华为自主创新的业界首个通用Serverless平台，提供通用函数编程模型，高可扩缩、高性能和高效对接后端服务的运行框架，助力华为云构建全域Serverless云服务。
一、Serverless从“专用”走向“通用”

当前，业界现有的Serverless产品主要限于变乱驱动型应用，然而对于有状态微服务、大数据、HPC、AIGC等复杂应用，仍然面临如下四大核心技能挑战：
二、元戎首创通用Serverless平台

论文介绍了元戎通用Serverless平台的一系列关键创新。其中，针对挑战1和2，元戎构建了可扩展的函数体系，实现大规模函数调理、亚毫秒函数互调以及函数极速冷启动等关键技能，支持大规模多形态应用的统一管理和高效运行；针对挑战3，元戎内置了多语义数据体系，实现分布式共享内存对象以及流数据对象，提供分布式共享内存池，支持多语义数据的高效流转；针对挑战4，元戎构建了可移植的Bridge体系，提供变乱和后端服务的标准抽象接口，解耦架构，同时支持毗连复用和共享事件等功能。
元戎进一步抽象了面向云原生编程的通用Serverless运行时接口，并实现了主流语言的Runtime。通过这些Runtime，元戎为开辟者提供特定领域的简易编程模式，支持Web服务、大数据、AI训练/推理、HPC等全域Serverless应用。
“元戎通用Serverless平台”架构图示
链接：https://dl.acm.org/doi/10.1145/3651890.3672216
三、通用Serverless客户案例

案例1：全球销量领先车企基于Serverless构建千万级车联网平台

当前，汽车行业的车联网业务对提升产业竞争力和创新能力方面具有重要意义。为了在将来10年内满意6700万接入车辆的业务需求，某全球销量领先的车企期望构建一个全生命周期车辆管理平台。该平台需要能够承载分钟级的车辆数据上报，天天100T的数据增量，并支撑至少10PB级以上的存量数据。别的，汽车接入具备典型的波峰波谷特征，白天上下班时哀求峰值达3w+ QPS，夜间哀求量相对白天锐减。如何构建支持千万车辆稳定接入的车联网平台，满意业务端到端秒级时延并降低成本，是企业面临的主要问题。
Serverless方案凭借其按需全自动弹性，按哀求计费，免运维等优势，最终在与传统虚拟机/容器方案的对比中胜出。华为云FunctionGraph（Powered by元戎）作为核心计算服务，结合APIG、DIS、EG等Serverless中间件，灵活组装数据转码、分发、转储等业务流程，函数级逻辑开辟简单，实例多AZ部署包管了高可靠性。
“使用FunctionGraph的无服务器IoV平台”方案图示
该车联网平台完成Serverless架构升级后，弹性能力显著提升，达到业界领先的分钟级 5000+ 函数实例弹性，业务端到端时延从分钟缩短到秒，加快近20倍，资源利用率提高了50%，这与元戎提供的以下两个“黑科技”密不可分。
首先，元戎创新提出了基于进程级快照的函数极速冷启动技能，支持对用户空间指定的进程进行“冻结”（即停止进程，并将该进程运行的所有上下文恒久化为快照文件），并在须要时对其进行“解冻”（即通过生存的快照文件来正确恢复进程运行的上下文）。当用户哀求触发函数启动时，直接基于函数快照恢复，跳过框架启动、业务初始化等耗时较长的阶段，进一步结合内置数据体系实现快照缓存加快，显著提升应用冷启动性能90%+。
“元戎函数极速冷启动”原理图示
其次，元戎构建了分级调理架构，以应对生产体系中传统中心化调理架构的性能瓶颈，支持大规模函数实例的并行调理，并有效利用数据局部性，确保高可扩展性，更好地支撑千万级车辆接入的波峰波谷场景。
“元戎大规模分级调理”原理图示
车联网平台自商用上线以来，已履历春节等节假日的磨练，峰值天天十几亿次函数调用无错误。该Serverless方案现已作为华为云标准车联网解决方案进行推广，资助更多车企构建高可用、低成本的车联网平台。
案例2：华为MetaERP全面Serverless化架构升级

MetaERP是服务于华为公司生产制造、供应、采购、财务业务的SaaS体系，整个体系构成非常复杂，涉及微服务、函数、大数据等多种应用形态。当前架构面临研发成本高、资源成本高等一系列挑战。为了解决这些问题，MetaERP正在进行全面Serverless化架构升级，旨在打造业界首个Serverless ERP体系，实现研发和资源成本的双重下降。
1）资产核算业务
资产核算业务(MFA) 支持企业资产从获取到处置的全生命周期管理和生意业务核算，在资产使用寿命内，按照会计准则和税法要求，体系地计提资产折旧费用。该业务的资源池独立，作业时间集中，具有典型的波峰波谷特征。然而，Java微服务的启动时延超过1分钟，弹性响应慢，业务峰值处置惩罚性能不敷，日常波谷时仍需要保持最低配置在线，均匀资源利用率不到2%，导致资源成本高。
MFA业务基于元戎进行Serverless化改造，元戎提供Spring框架兼容能力，支持通过修改少量配置即可实现存量业务Serverless化。进一步，元戎通过函数极速冷启动技能，将业务冷启动时间缩短到5秒，弹性性能提升20倍。结合自动程度和垂直弹性能力，在无哀求时支持业务实例缩容至0，月均资源消耗降低70%。
2）销售订单业务
当前，MetaERP依托平台基础功能（通用逻辑）来支撑上层大量的租户定制业务（扩展逻辑）。以销售订单业务为例，平台通用逻辑动态加载租户扩展逻辑，固然实现了灵活定制，但两者耦合运行，无法包管安全隔离。
元戎支持租户扩展逻辑以Serverless函数方式发布、运行，通过函数物理实例隔离的方式减少风险，保障通用层的稳定。然而，优秀的技能方案每每也难以一步到位，固然实现了多租户之间的安全隔离，但也引入了两大挑战。
首先，分离后的通用逻辑和租户扩展逻辑通过RPC通讯，相比原先本地调用，耗时必然增长，且通讯次数越多，耗时会越大。元戎提供亚毫秒函数互调能力，通过简化通讯链路、亲和性调理、协议优化等关键技能，支撑通用逻辑和租户扩展之间高性能直连互通，实现端到端调用时延1ms。
“元戎函数互调”原理图示
其次，不同的业务逻辑之间访问同一份数据时的事件同等性问题。元戎提供Service Bridge代理后端服务访问，利用路由计算，将同一事件的哀求汇聚到同一个Bridge函数实例上，将原来分离的事件逻辑重新聚合成本地事件，解决分布式事件同等性问题。
“用户函数通过元戎Service Bridge访问后端服务”原理图示
四、总结与预测

近年来，华为云连续构筑全域Serverless云服务，推出了一系列竞争力领先的Serverless产品，包括函数工作流FunctionGraph、Serverless容器引擎CCE Autopilot、Serverless应用托管CAE、云数据仓库DWS、变乱网格EventGrid等，高效支撑Serverless全面商业化。
“华为云全域Serverless化”愿景图示
面向生成式AI浪潮，元戎通用Serverless将连续聚焦技能创新，突破大模型推理服务实例快速弹性、分布式KV Cache池化管理、多模型混部高效协同调理、超大规模分布式训练高可用性等关键技能，构筑大模型推理和训练的高性能、低成本、高可用性关键竞争力。通过这些创新，元戎将助力华为云打造极低成本、极致性能和极优体验的Serverless AI解决方案，实现全域Serverless化的竞争力领先，资助千行万业的百万开辟者缩短交付周期，提升上云服从，抢占市场先机。
 
点击关注，第一时间了解华为云奇怪技能~

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4