人工智能(AI)无疑是将来技能版图的核心要素,而云边协同将成为AI大规模部署的最佳载体。随着AI算法的发展和算力需求的增长,出现了大量盘算量庞大的模型(如大型语言模型LLM、超大规模图像辨认模型等)。怎样高效地在现实业务中应用这些模型,是业界关注的核心。云边协同为AI提供了一种高效部署范式:即**“云练习+边缘推理”和“云边协同推理”。 “云练习+边缘推理”模式已经在很多场景应用:利用云端海量数据和算力练习出复杂模型,然后将模型下发到边缘设备进行本地推理决策。这一模式上风在于云端可以不停提拔模型精度,而边缘利用模型进行实时判断,实现性能和服从的平衡。例如,自动驾驶中的深度学习感知模型通常在云上由海量行车数据练习更新,再部署到车辆边缘盘算机实行实时情况感知。又如手机中的智能助手语音辨认模型,在云端练习后下发到手机芯片上运行,可离线辨认用户语音。将来,随着联邦学习等技能成熟,边缘设备产生的新数据也能在本地参与模型更新,云端汇总各边缘的更新来改进全局模型,实现一种分布式练习的新模式。这样既减轻中心负担又保护数据隐私,将是AI与边缘协同演进的一大方向。 对于“云边协同推理”,其典型场景是运行超大模型或必要同时思量全局信息的AI使命。例如城市级视频监控的AI分析,必要结合多摄像头信息;单个边缘设备算力有限难以运行完整的巨型模型。此时可采取分层推理:初步推理在边缘进行(提取特征、剪枝等),将中心结果送往云端大型模型进一步推理,然后再把结果反馈边缘完成最终动作。这种协同推理可以或许分身边缘实时响应和云端高精度盘算,让终端用户感受不到模型切分带来的延迟。近期学术研究也提出类似方案,例如CE-CoLLM框架通过在云和边缘划分实行大型语言模型的差别部分,使得在包管回复准确性的同时,将团体推理延时和本钱显著降低。这类研究表明,即使面对必要巨量算力的AI模型,奇妙设计云边协同流程也能实现高效部署——将“AI模型按需拆分”**成为大概。 此外,云边协同将推动AI无处不在(AIoE, AI on Everything)的实现。将来大量日常设备(家电、可穿着、汽车等)都将具备一定AI本领,通过边缘盘算资源运行各种智能功能。这些边缘AI又通过云端互联,形成团体智能。比如家庭的边缘AI中枢汇聚了冰箱、空调、安防摄像头的智能模块,由云端家庭助手统一和谐,实现真正聪明的智慧家庭体验。可以预见,在5G和新型硬件(如AI芯片、脑机接口等)的加持下,云端和边缘将成为AI的大舞台,共同催生出我们不可思议的新应用和服务。
6.2 零信任安全架构的全面普及