ToB企服应用市场:ToB评测及商务社交产业平台

标题: LangChain-18 Caching 将回答内容进行缓存 可在内存中或数据库中持久化缓存 [打印本页]

---

作者: 农民    时间: 2024-9-20 09:35
标题: LangChain-18 Caching 将回答内容进行缓存 可在内存中或数据库中持久化缓存

配景描述

可以将问答的内容缓存起来，假如是相同的问题，那么将会直接把答案返归去，可以节省费用和计算。
安装依赖

1. pip install -qU langchain-core langchain-openai

复制代码

编写代码

我们可以通过 InMemoryCache 进行内存缓存 大概 SQLiteCache 进行持久化存储。
详细代码如下：

1. from langchain.globals import set_llm_cache
2. from langchain_openai import ChatOpenAI
3. from langchain.cache import InMemoryCache
4. from langchain.cache import SQLiteCache
7. llm = ChatOpenAI(
8.     model="gpt-3.5-turbo",
9. )
10. # 保存在内存中
11. set_llm_cache(InMemoryCache())
12. # 也可以持久化在数据库中
13. # set_llm_cache(SQLiteCache(database_path=".langchain.db"))
15. # The first time, it is not yet in cache, so it should take longer
16. message1 = llm.predict("Tell me a joke")
17. print(f"message1: {message1}")
19. # The second time it is, so it goes faster
20. message2 = llm.predict("Tell me a joke")
21. print(f"message2: {message2}")

复制代码

运行结果

在运行过程中，可以直观的感受到，第一次的运行速率是比力慢的，但是第二次好坏常快的。
阐明当中是进行缓存了，第二次直接从内存中进行返回的。
固然，假如进入配景检察API的调用情况，也会发现，只有第一次走了OpenAI的API，第二次是没有的。

1. ➜ python3 test18.py
2. /Users/wuzikang/Desktop/py/langchain_test/own_learn/env/lib/python3.12/site-packages/langchain_core/_api/deprecation.py:117: LangChainDeprecationWarning: The function `predict` was deprecated in LangChain 0.1.7 and will be removed in 0.2.0. Use invoke instead.
3.   warn_deprecated(
4. message1: Why did the tomato turn red? Because it saw the salad dressing!
5. message2: Why did the tomato turn red? Because it saw the salad dressing!

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4