大模子的“记忆”不应仅仅只依靠向量数据库，mem0是一个很好的“融合架构” ...

我们在探究大模子应用的成败时，我们通常会聚焦于三个关键要素：模子本身的性能、支持长期记忆能力的知识库，以及扩展执行能力的工具箱。企业级层面更多因素参考下图：

感爱好可以接洽获取更多细节
就为大模子构建记忆能力来讲，已往一年里我们的重点落在向量检索层面，其存储底层焦点就是向量数据库，曾一度爆发向量数据库大战。随着需求的复杂化，我们越来越清楚地意识到，大模子的记忆能力仅仅依靠向量数据库是不够的。在今年，随着GraphRAG的爆火，知识图谱融合到RAG中变成一个新的热点，这也反映了在此领域的发展趋势。
融合"记忆"架构

从笔者来看，不论是向量数据库，图数据库，KV数据库，以及关系数据库，他们都各有所长，都可以为大模子提供特有的上下文供给，比如检索一个问题可以知识图谱构建骨架，向量数据库来遐想周边相似的内容，kv数据库丰富细节，关系数据库提供可靠数据支持。它们融合起来，能够更全面，更准确的召回结果，以便大模子生成更准确的结果。可以预言，向量数据库、图数据库、KV数据库等多种存储方式结合，构建出一个多条理的记忆体系，为大模子提供了更全面、更智能的记忆支持，将会成为主流实践。
近来有一篇论文《HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction》，也用实际的评估结果证明GraphRAG + VectorRAG，即 HybridRAG，从向量数据库和知识图谱（KG）中检索上下文，明显优于传统的单一利用 VectorRAG 和 GraphRAG的结果。在信息提取过程中，利用向量数据库举行广泛的相似性检索，同时通过知识图谱提供布局化的、关系丰富的上下文数据，从而生成更准确、上下文相干的回复。
在论文提到的金融领域的实验显示，HybridRAG在检索准确性和答案生成方面体现精彩，尤其在结合了两种RAG方法后，相比单独利用任一技术，HybridRAG在信实性（faithfulness）和答案相干性（answer relevance）等关键指标上都有明显提升。以下是论文中三种RAG管道（VectorRAG、GraphRAG、HybridRAG）在不同评估指标上的实验结果展示：
评估指标VectorRAGGraphRAGHybridRAG准确性（Faithfulness）0.940.960.96答案相干性（Answer Relevance）0.910.890.96上下文精度（Context Precision）0.840.960.79上下文召回率（Context Recall）1.00.851.0 来自：https://arxiv.org/abs/2408.04948
现在，我们已经明白了多种异构存储对大模子记忆构建的意义，那么在这方面比力有前程的框架支持呢。
Mem0

Mem0正是这样一个项目，它通过结合知识图谱、向量数据库和键值存储等多种数据存储方式，为AI提供了一个强大的记忆中心层。这不但让AI能够记取用户偏好，还能根据个体需求不绝学习和适应。
Mem0的记忆体系不但仅是数据的简单存储和检索，而是通过智能化的分析和管理，让大模子的记忆变得更具个性化，Mem0可以即时更新记忆，加入新的信息和交互，在多个会话中保留信息，保持对话连续性，对于长期参与至关紧张，如虚拟朋侪或个性化学习助手。，維持上下文的連貫性，具有时效性、相干性和遗忘机制，会优先思量近来的对话，并逐渐遗忘逾期的信息，这能够确保记忆的准确和实时，以便给出更准确的相应。
官方是这么解释其工作过程的：
   Mem0 采用混合数据库方法来管理和检索人工智能署理和助手的长期记忆。每个记忆都与唯一标识符（如用户 ID 或Agent ID）相干联，从而使 Mem0 能够组织和访问特定于个人或上下文的记忆。当利用 add() 方法将信息添加到 Mem0 时，体系会提取相干事实和偏好，并将其存储到不同的数据存储区：向量数据库、KV数据库和图数据库。当AI Agent或 LLM 需要调用记忆时，就会利用 search() 方法。然后，Mem0 会在这些数据存储中执行搜刮，从每个来源检索相干信息。然后，这些信息会通过一个评分层，评分层会根据相干性、紧张性和再现性来评估这些信息的紧张性。检索到的记忆可以根据需要添加到 LLM 的提示中，从而增强其相应的个性化和相干性。
  当一个AI助手或署理与用户互动时，Mem0会根据交互中的关键信息，为用户创建专属的记忆空间。通过对用户的长期行为举行分析，Mem0能够实时调整和优化大模子的应答，使其更加贴近用户的个性和需求。
比方，当你告诉AI助手你喜欢在周末打网球时，Mem0不但会记录下这条信息，还会通过图数据库将这条信息与其他相干记忆（如你平时的运动习惯、喜欢的运动品牌等）关联起来。将来，当你再与AI互动时，它不但能记取你喜欢网球，还能根据这些信息提供更为细致和个性化的建议。
下面是mem0利用的根本方法。

1. pip install mem0ai  

复制代码

1. import os  
2. from mem0 import Memory  
3.   
4. # 假设你已经有了OpenAI API密钥  
5. os.environ['OPENAI_API_KEY'] = 'sk-proj-V7DGXzoKsCZVKMGSq3otY4ir2ip8vUwpI8ec_nT3BlbkFJAOz9PVs3oe-6Qq8gW0DRBGBOqTmcsfWP4FDkdXymrdTN9kSUXFqmEdrycA'  
6.   
7. m = Memory()  
8.   
9. def store_practice_memory(user_id, practice_details):  
10.     """  
11.     存储用户的网球训练记忆。  
12.     """  
13.     m.add(practice_details, user_id=user_id, metadata={"category": "tennis_practice"})  
14.     all_memories = m.get_all(user_id=user_id)  
15.     print("memorie0------: ", all_memories[0])  
16.     memory_id = all_memories[0]["id"] # get a memory_id  
17.     return memory_id  
18.   
19.   
20. def retrieve_practice_memory(user_id, query):  
21.     """  
22.     检索用户的网球训练记忆。  
23.     """  
24.     related_memories = m.search(query=query, user_id=user_id)  
25.     return related_memories  
26.   
27. def provide_training_advice(user_id, query):  
28.     """  
29.     提供个性化的网球训练建议。  
30.     """  
31.     training_history = retrieve_practice_memory(user_id, query)  
32.       
33.     if training_history:  
34.         response = "基于你之前的训练，建议你今天专注于提升反手击球技巧。"  
35.     else:  
36.         response = "欢迎开始你的网球训练之旅，让我们从基础的正手和反手击球开始吧。"  
37.       
38.     return response  
39.   
40. def update_practice_memory(memory_id, new_details):  
41.     """  
42.     更新用户的网球训练记忆。  
43.     """  
44.   
45.     m.update(memory_id=memory_id, data=new_details)  
46.     return memory_id  
47.   
48. def get_memory_history(user_id, memory_id):  
49.     """  
50.     获取特定记忆的历史记录。  
51.     """  
52.     all_memories = m.get_all(user_id=user_id)  
53.     print(all_memories)  
54.     memory_id = all_memories[0]["id"] # get a memory_id  
55.     history = m.history(memory_id=memory_id)  
56.     return history  
57.   
58. def delete_memory(memory_id):  
59.     """  
60.     删除特定记忆。  
61.     """  
62.     result = m.delete(memory_id=memory_id)  
63.     return result  
64.   
65. def delete_all_memory(user_id):  
66.     """  
67.     删除所有记忆。  
68.     """  
69.     result = m.delete_all(user_id=user_id)  
70.     return result  
71.   
72.   
73. user_id = "alice"  
74. practice_details = "今天练习了正手击球，感觉力量控制有所提升。"  
75. memory_id = store_practice_memory(user_id, practice_details)  
76. print(f"memory_id: {memory_id}\n")  
77. #memory_id: 66b96ee0-dab6-4347-bcf6-280845f87983  
78.   
79.   
80. # 用户请求训练建议  
81. query = "正手击球训练"  
82. advice = provide_training_advice(user_id, query)  
83. print(f"advice: {advice}\n")  
84. #advice: 基于你之前的训练，建议你今天专注于提升反手击球技巧。  
85.   
86. # 用户在某项技能上取得了显著进步，更新记忆  
87. new_details = "正手击球技巧已显著提升，可以开始练习截击了。"  
88. update_practice_memory(memory_id, new_details)  
89.   
90. # 获取记忆的历史变化  
91. memory_history = get_memory_history(user_id, memory_id)  
92. print(f"memory_history: {memory_history}\n")  
93.   
94. #memory_history: [{'id': '1d1e7ac4-6cd5-431a-b931-b71d4940c30b', 'memory_id': '66b96ee0-dab6-4347-bcf6-280845f87983', 'old_memory': None, 'new_memory': 'Practiced forehand strokes today. Feels that power control has improved.', 'event': 'ADD', 'created_at': '2024-09-01T22:38:57.313817-07:00', 'updated_at': None}, {'id': 'fd36b9a3-4d50-44e8-9997-1d5a1a9f09f4', 'memory_id': '66b96ee0-dab6-4347-bcf6-280845f87983', 'old_memory': 'Practiced forehand strokes today. Feels that power control has improved.', 'new_memory': '正手击球技巧已显著提升，可以开始练习截击了。', 'event': 'UPDATE', 'created_at': '2024-09-01T22:38:57.313817-07:00', 'updated_at': '2024-09-01T22:38:57.752296-07:00'}]  
95.   
96. # 删除记忆  
97. delete_memory(memory_id)  
98. all_memories = m.get_all(user_id)  
99. print(f"all_memories: {all_memories}\n")  
100.   
101. #all_memories: []  

复制代码

图数据库利用：

• 构建
  

1. from mem0 import Memory  
2.   
3. config = {  
4.     "llm": {  
5.         "provider": "openai",  
6.         "config": {  
7.             "model": "gpt-4o-mini",  
8.             "temperature": 0  
9.         }  
10.     },  
11.     "graph_store": {  
12.         "provider": "neo4j",  
13.         "config": {  
14.             "url": URL,  
15.             "username": USERNAME,  
16.             "password": PASSWORD  
17.         }  
18.     },  
19.     "version": "v1.1"  
20. }  
21.   
22. m = Memory.from_config(config_dict=config)  
23.   
24. user_id = "alice123"  
25. m.add("I like painting", user_id=user_id)  
26. m.add("I love to play badminton", user_id=user_id)  
27. m.add("I hate playing badminton", user_id=user_id)  
28. m.add("My friend name is john and john has a dog named tommy", user_id=user_id)  
29. m.add("My name is alice", user_id=user_id)  
30. m.add("John loves to hike and Harry loves to hike as well", user_id=user_id)  
31. m.add("My friend peter is the spiderman", user_id=user_id)  
32.   

复制代码

• 查询：
  

1. m.get_all(user_id=user_id)  
2. m.search("Who is spiderman?", user_id=user_id)  
3. {'memories': [{'id': '44c054fc-a671-4b51-baee-76f4f73b8135',  
4.    'memory': "Friend named Peter is referred to as 'the spiderman.'",  
5.    'hash': '3990cbff8c4252e1ea3435a9f0eebf3d',  
6.    'metadata': None,  
7.    'score': 0.657225732037368,  
8.    'created_at': '2024-08-27T15:53:17.605817-07:00',  
9.    'updated_at': None,  
10.    'user_id': 'alice123'}],  
11. 'entities': [{'source': 'peter',  
12.    'relation': 'identity',  
13.    'destination': 'spiderman'}]}  

复制代码

在这一过程中，Mem0不但仅是一个简单的记忆存储工具，而是通过对信息的深度处置惩罚，成为了一个智能化的“记忆中枢”，资助大模子在与用户的每次互动中都能变得更加精准和贴心。
如何体系的去学习大模子LLM ？

大模子时代，火爆出圈的LLM大模子让程序员们开始重新评估本身的本事。 “AI会代替那些行业？”“谁的饭碗又将不保了？”等问题热议不绝。
不如成为「把握AI工具的技术人」，毕竟AI时代，谁先实验，谁就能占得先机！
但是LLM相干的内容很多，现在网上的老课程老课本关于LLM又太少。所以现在小白入门就只能靠自学，学习资本和门槛很高
针对全部自学遇到困难的同砚们，我帮大家体系梳理大模子学习脉络，将这份 LLM大模子资料 分享出来：包罗LLM大模子册本、640套大模子行业报告、LLM大模子学习视频、LLM大模子学习门路、开源大模子学习教程等,