一、媒介
在当今的自然语言处置惩罚领域，大语言模型（LLM）的应用愈发广泛，而 LangChain 作为基于大语言模型的应用开发工具，正被浩繁开发者所青睐。然而，在使用 LangChain 开发基于 LLM 的应用时，频繁的 API 调用不但会导致高昂的成本，还会降低应用的相应速度。此时，cache（缓存）这一技能便成为解决这些问题的关键所在。它就像是一个智能的 “影象助手”，可以或许存储 LLM 的输出结果，当雷同的哀求再次出现时，直接从缓存中获取结果，大大节省了时间和成本。
<hr> 二、术语
2.1. Cache vs Memory
(一)、概念及目的
- Cache：提供一个可选的缓存层。目的是淘汰对 LLM 调用，同时加快应用步调的运行速度。如果经常对雷同的内容哀求 LLM 天生结果，使用缓存可以直接返回之前的结果，而不用再次调用 API。
- Memory：用于存储和检索信息，比如对话汗青、用户信息、上下文等，确保 AI 在对话过程中可以或许记着之前的交互内容，实现更连贯、更个性化的交互体验。
<
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
