前言-PREFACE
传统应用架构有句真理，任何抛开需求空谈谈架构的举动都是在耍流氓。大模子虽然有其特别的技术特点，但其终极目标仍旧是以最公道的方式实现业务需求，千万不要为了只是寻求技术新颖或体现技术程度而计划架构。
本文以当前大模子主要应用领域的常用架构计划为参考，用一图对当前应用架构的主要方式进行概述，让读者对当前大模子应用架构的全貌有个基本的认识和理解，但是如果涉及到具体项目实施中，需要结合业务诉求和技术特点进行调整和改良。
大模子应用架构概述-Overview of AI Application Architecture
随着云服务和动态资源分配能力的发展，使用微服务架构基本上是大模子应用架构的通用选择，下图对大模子的应用架构进行了概述：
以下内容将结合笔者经验，对上述架构描述的主要内容以及注意事项进行简要先容，读者如果想了解很多细节大概有问题交流，欢迎关注本公众号私信大概评论区留言。
1. 客户端
大模子的客户端可以是Web页面、移动端大概通过API接口的访问，通常来说，Web和移动端的技术主要使用以下技术栈：
- Web端：React + Redux + Axios + Material UI
- 移动端（iOS）：Swift + SwiftUI + Alamofire
- 移动端（Android）： Kotlin + Jetpack Compose + Retrofit
以上各技术栈的内容不是本文重点，不再赘述。
特别需要关注的内容：
- 通信机制：因为大模子响应时间长且笔墨类的应答处于持续回传的状态，客户端和服务端之间通信需要进行特别考虑，一般建议使用Http SSE的方式，该方式是在服务端和客户端创建一个长毗连，客户端向服务器发起一个HTTP GET请求，服务器保持毗连不关闭。 服务器通过这个长毗连，可以随时向客户端推送数据。
- 注重用户体验：近期Open AI发布的Canvas，有兴趣的读者可以了解一下。别的创建缓存应对重复提交、异常情况友好提示（如网络问题等）等，都是需要考虑的内容。
2. 服务端
首先分析一下，图中将应用架构中主要的服务进行了描述，但是为了聚焦本文主旨，微服务应用架构中常见的配置中心、注册中心等服务以及传统数据库等内容没有描述，不妨碍对本文的理解，但是搭建体系时需要注意。
上图中对大模子架构涉及的主要功能模块进行了同一出现，对不同的交易链路进行不同方式的组合，便形成了不同的应用架构：
1）交易1+交易2=传统微服务架构
这个很好理解，如果有读者没有微服务架构基础可以查看相关资料，本文不再赘述。
2）交易1+交易3+交易4+交易5=简朴的大模子应用架构或RAG
如果数据存储节点（模块③）只是多轮对话的缓存，那么就构成了最简朴的大模子应用架构，主要应用在只是使用预训练大模子能力，解答用户问题的简朴应用场景。
如果希望使用企业专属领域的资料，借助大模子的能力回答问题，那么就需要使用向量数据库（可参考文章：向量数据库全方位解析与选型指南
）搭建专属领域知识库，这时在数据存储节点就包含了存储在向量数据库的企业专属领域知识库内容，则该架构便成为（Retrieval-Augmented Generation，RAG）的典型架构。
3）交易1+交易3+交易4+交易6+交易7=大模子应用高级架构
随着大模子在企业应用的范围和领域逐步扩大，为了提升垂直领域的模子性能，一定会步入对模子进行微调（fine-tuning）的阶段，进而产生多个领域的专属模子（模块⑤），在线上摆设运行时，就需要有负责路由的功能模块（模块④），针对用户问题，有用理解用户用途进而调用相应的大模子。该功能低级阶段由于路由规则相对简朴，可以使用程序编码实现，但随着业务越来越复杂，模子数量越来越多，最终会走向使用大模子理解用户意图进行路由的方向。
4）交易1+交易3+交易4+交易6+交易7+交易8+交易9=智能体（Agent）
智能体的能力包括规划（Plan）、存储（Memory）和工具（Tools）。此中，规划就是流程编排能力（模块④），工具是一个特有功能的函数大概服务（模块④和模块⑥），存储包括缓存和长期的存储能力（模块③）。基于大模子能力，通过规划机动编排工具、存储等动作，就形成了智能体（agent），同时智能体可以嵌套、组合等方式形成能力更强的复合智能体。
特别需要关注的是，传齐备计类模子（也可以称为判别式模子）因其更具解释性，可以通过agent方式与天生式大模子结合，形成兼具解释性和机动性的智能体，这也是将来发展方向。
结语-EPILOGUE
从上面的描述可以看到，通过将不同交易进行组合形成相应的应用体系的能力，成为大家经常听到的RAG和Agent，针对此过程，读者是否有搭积木的感觉？实在应用架构就是如许，充实了解每项产品、组件等相关技术特性，面向业务目标，公道的计划和充实的验证，最终形成一套完整的解决方案，这就是体系架构计划的价值地点。当然，大模子技术处于快速发展阶段，应用架构也会相应地更新迭代，请关注本公众号（ModaTechSub），让我们持续交流，共同进步！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
