qidao123.com ToB IT社区-企服评测·应用市场»论坛 › 数据库 › Oracle › LangChain4j（15）——RAG高级之跳过检索

LangChain4j（15）——RAG高级之跳过检索

[复制链接]
发表于 2025-9-18 02:18:02 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

×
之前的文章中，我们先容了RAG的利用，但是，每次提问时，都会通过RAG举行检索。偶然，检索是不须要实行的，比如，当用户只是说“你好”时。于是，我们必要有条件的跳过检索过程。
跳过决定可以通过多种方式实行：

  • 利用规则（比方，取决于用户的权限、位置等）
  • 利用关键字（比方，如果查询包罗特定单词）
  • 利用语义相似性
  • 利用 LLM 做出决定
留意：本例接纳利用LLM做出决定的方案
测试代码
  2. package com.renr.langchain4jnew.app5;
  4. import com.renr.langchain4jnew.constant.CommonConstants;
  5. import dev.langchain4j.community.model.zhipu.ZhipuAiChatModel;
  6. import dev.langchain4j.data.document.Document;
  7. import dev.langchain4j.data.document.DocumentParser;
  8. import dev.langchain4j.data.document.loader.FileSystemDocumentLoader;
  9. import dev.langchain4j.data.document.parser.TextDocumentParser;
  10. import dev.langchain4j.data.document.splitter.DocumentSplitters;
  11. import dev.langchain4j.data.message.AiMessage;
  12. import dev.langchain4j.data.segment.TextSegment;
  13. import dev.langchain4j.memory.chat.MessageWindowChatMemory;
  14. import dev.langchain4j.model.chat.ChatLanguageModel;
  15. import dev.langchain4j.model.embedding.EmbeddingModel;
  16. import dev.langchain4j.model.embedding.onnx.bgesmallenv15q.BgeSmallEnV15QuantizedEmbeddingModel;
  17. import dev.langchain4j.model.input.Prompt;
  18. import dev.langchain4j.model.input.PromptTemplate;
  19. import dev.langchain4j.rag.DefaultRetrievalAugmentor;
  20. import dev.langchain4j.rag.RetrievalAugmentor;
  21. import dev.langchain4j.rag.content.retriever.ContentRetriever;
  22. import dev.langchain4j.rag.content.retriever.EmbeddingStoreContentRetriever;
  23. import dev.langchain4j.rag.query.Query;
  24. import dev.langchain4j.rag.query.router.QueryRouter;
  25. import dev.langchain4j.service.AiServices;
  26. import dev.langchain4j.store.embedding.EmbeddingStore;
  27. import dev.langchain4j.store.embedding.EmbeddingStoreIngestor;
  28. import dev.langchain4j.store.embedding.inmemory.InMemoryEmbeddingStore;
  30. import java.net.URISyntaxException;
  31. import java.net.URL;
  32. import java.nio.file.Path;
  33. import java.nio.file.Paths;
  34. import java.time.Duration;
  35. import java.util.Collection;
  37. import static java.util.Collections.emptyList;
  38. import static java.util.Collections.singletonList;
  40. public class AdvancedRAG04_SkipRetrieval {
  43.     public static void main(String[] args) throws URISyntaxException {
  45.         ChatLanguageModel chatModel = ZhipuAiChatModel.builder()
  46.                 // 模型key
  47.                 .apiKey(CommonConstants.API_KEY)
  48.                 // 精确度
  49.                 .temperature(0.9)
  50.                 .model("GLM-4-Flash")
  51.                 .maxRetries(3)
  52.                 .callTimeout(Duration.ofSeconds(60))
  53.                 .connectTimeout(Duration.ofSeconds(60))
  54.                 .writeTimeout(Duration.ofSeconds(60))
  55.                 .readTimeout(Duration.ofSeconds(60))
  56.                 .logRequests(true)
  57.                 .logResponses(true)
  58.                 .build();
  60.         URL fileUrl = AdvancedRAG01_QueryCompression.class.getClassLoader().getResource("document/miles-of-smiles使用条款.txt");
  61.         Path path = Paths.get(fileUrl.toURI());
  63.         // 指定文档解析器
  64.         DocumentParser documentParser = new TextDocumentParser();
  65.         // 加载文档数据
  66.         Document document = FileSystemDocumentLoader.loadDocument(path, documentParser);
  68.         EmbeddingModel embeddingModel = new BgeSmallEnV15QuantizedEmbeddingModel();
  70.         EmbeddingStore<TextSegment> embeddingStore = new InMemoryEmbeddingStore<>();
  72.         EmbeddingStoreIngestor ingestor = EmbeddingStoreIngestor.builder()
  73.                 .documentSplitter(DocumentSplitters.recursive(300, 0))
  74.                 .embeddingModel(embeddingModel)
  75.                 .embeddingStore(embeddingStore)
  76.                 .build();
  78.         ingestor.ingest(document);
  80.         ContentRetriever contentRetriever = EmbeddingStoreContentRetriever.builder()
  81.                 .embeddingStore(embeddingStore)
  82.                 .embeddingModel(embeddingModel)
  83.                 .maxResults(2)
  84.                 .minScore(0.6)
  85.                 .build();
  86.         // 自定义QueryRouter,当需要跳过检索时，QueryRouter 将返回一个空列表
  87.         QueryRouter queryRouter = new QueryRouter() {
  88.             // 设置提示词模版
  89.             private final PromptTemplate PROMPT_TEMPLATE = PromptTemplate.from(
  90.                     "以下提问是否与汽车租赁公司的业务有关?只回答'是'、'否'或'可能'。提问内容：{{it}}"
  91.             );
  93.             @Override
  94.             public Collection<ContentRetriever> route(Query query) {
  95.                 // 提示词对象中，关联用户的提问内容
  96.                 Prompt prompt = PROMPT_TEMPLATE.apply(query.text());
  97.                 // 针对用户的提问，先通过大模型判断是否满足我们的提示词的要求
  98.                 AiMessage aiMessage = chatModel.chat(prompt.toUserMessage()).aiMessage();
  99.                 System.out.println("LLM decided: " + aiMessage.text());
  100.                 // 如果大模型返回 否，则返回空列表，表示不进行检索
  101.                 if (aiMessage.text().toLowerCase().contains("否")) {
  102.                     return emptyList();
  103.                 }
  105.                 return singletonList(contentRetriever);
  106.             }
  107.         };
  109.         RetrievalAugmentor retrievalAugmentor = DefaultRetrievalAugmentor.builder()
  110.                 .queryRouter(queryRouter)
  111.                 .build();
  113.         Assistant assistant = AiServices.builder(Assistant.class)
  114.                 .chatLanguageModel(chatModel)
  115.                 .retrievalAugmentor(retrievalAugmentor)
  116.                 .chatMemory(MessageWindowChatMemory.withMaxMessages(10))
  117.                 .build();
  119.         // 第一次提问，不会走检索过程
  120.         String answer1 = assistant.chat("你好");
  121.         System.out.println(answer1);
  123.         // 第二次提问，执行检索
  124.         String answer2 = assistant.chat("我可以取消预定吗?");
  125.         System.out.println(answer2);
  127.     }
  129. }
复制代码
本例自界说QueryRouter,当必要跳过检索时，QueryRouter 将返回一个空列表，表现不必要颠末任何检索对象。
实行流程

 第一次提问"你好"时
先发送是否必要走检索的提问：
  2. 13:29:30.244 [main] DEBUG dev.langchain4j.community.model.zhipu.RequestLoggingInterceptor - Request:
  3. - method: POST
  4. - url: https://open.bigmodel.cn/api/paas/v4/chat/completions
  5. - headers: [Authorization: Bearer ey...fQ.ew0KICAiZXhwIiA6IDE3NDU5OTI3NzAxNjAsDQogICJhcGlfa2V5IiA6ICJkMjMzNGIyZTk4NTE0YWUwOTIzMDQ4YTM4NDEzNTMwNiIsDQogICJ0aW1lc3RhbXAiIDogMTc0NTk5MDk3MDE2MA0KfQ.fwtna_6nALdYVqiTM_jJphWexVme4FRJxg-Lc1AXOTk]
  6. - body: {
  7.   "model" : "GLM-4-Flash",
  8.   "messages" : [ {
  9.     "role" : "user",
  10.     "content" : "以下提问是否与汽车租赁公司的业务有关?只回答'是'、'否'或'可能'。提问内容：你好"
  11.   } ],
  12.   "stream" : false,
  13.   "temperature" : 0.9,
  14.   "max_tokens" : 512,
  15.   "tool_choice" : "auto"
  16. }
复制代码
自动先根据我们例子中设置的提示词模版，扣问是否与“汽车租赁公司业务相干”。
大模型根据提问内容，给出的回复：
  2. {
  3.         "choices": [{
  4.                 "finish_reason": "stop",
  5.                 "index": 0,
  6.                 "message": {
  7.                         "content": "否",
  8.                         "role": "assistant"
  9.                 }
  10.         }],
  11.         "created": 1745990971,
  12.         "id": "2025043013293102690e02a7674aa7",
  13.         "model": "GLM-4-Flash",
  14.         "request_id": "2025043013293102690e02a7674aa7",
  15.         "usage": {
  16.                 "completion_tokens": 3,
  17.                 "prompt_tokens": 33,
  18.                 "total_tokens": 36
  19.         }
  20. }
复制代码
通过响应看出，大模型返回了"否"，表现不消举行检索。
发送用户提出的题目
  2. 13:29:31.281 [main] DEBUG dev.langchain4j.community.model.zhipu.RequestLoggingInterceptor - Request:
  3. - method: POST
  4. - url: https://open.bigmodel.cn/api/paas/v4/chat/completions
  5. - headers: [Authorization: Bearer ey...fQ.ew0KICAiZXhwIiA6IDE3NDU5OTI3NzAxNjAsDQogICJhcGlfa2V5IiA6ICJkMjMzNGIyZTk4NTE0YWUwOTIzMDQ4YTM4NDEzNTMwNiIsDQogICJ0aW1lc3RhbXAiIDogMTc0NTk5MDk3MDE2MA0KfQ.fwtna_6nALdYVqiTM_jJphWexVme4FRJxg-Lc1AXOTk]
  6. - body: {
  7.   "model" : "GLM-4-Flash",
  8.   "messages" : [ {
  9.     "role" : "user",
  10.     "content" : "你好"
  11.   } ],
  12.   "stream" : false,
  13.   "temperature" : 0.9,
  14.   "max_tokens" : 512,
  15.   "tool_choice" : "auto"
  16. }
复制代码
可以看到这次只发送了"你好"，并没有通过RAG举行检索。
第二次提问“我可以取消预定吗”时
仍旧必要先扣问大模型是否必要检索
发送哀求数据如下：
  2. 13:29:31.818 [main] DEBUG dev.langchain4j.community.model.zhipu.RequestLoggingInterceptor - Request:
  3. - method: POST
  4. - url: https://open.bigmodel.cn/api/paas/v4/chat/completions
  5. - headers: [Authorization: Bearer ey...fQ.ew0KICAiZXhwIiA6IDE3NDU5OTI3NzEyODEsDQogICJhcGlfa2V5IiA6ICJkMjMzNGIyZTk4NTE0YWUwOTIzMDQ4YTM4NDEzNTMwNiIsDQogICJ0aW1lc3RhbXAiIDogMTc0NTk5MDk3MTI4MQ0KfQ.iLHSgUhm6XqAB5LDPHXq2NnTUQ_NAiv0VE4ATTQbNWc]
  6. - body: {
  7.   "model" : "GLM-4-Flash",
  8.   "messages" : [ {
  9.     "role" : "user",
  10.     "content" : "以下提问是否与汽车租赁公司的业务有关?只回答'是'、'否'或'可能'。提问内容：我可以取消预定吗?"
  11.   } ],
  12.   "stream" : false,
  13.   "temperature" : 0.9,
  14.   "max_tokens" : 512,
  15.   "tool_choice" : "auto"
  16. }
复制代码
大模型以为用户的提问于知识库相干，于是返回内容：
  2. {
  3.         "choices": [{
  4.                 "finish_reason": "stop",
  5.                 "index": 0,
  6.                 "message": {
  7.                         "content": "是",
  8.                         "role": "assistant"
  9.                 }
  10.         }],
  11.         "created": 1745990972,
  12.         "id": "20250430132932c36dbc932d2a4d9d",
  13.         "model": "GLM-4-Flash",
  14.         "request_id": "20250430132932c36dbc932d2a4d9d",
  15.         "usage": {
  16.                 "completion_tokens": 3,
  17.                 "prompt_tokens": 37,
  18.                 "total_tokens": 40
  19.         }
  20. }
复制代码
大模型返回“是”，表现必要举行检索。
再次发送哀求
哀求数据中包罗第一次的用户提问和大模型回复的内容
  2. 13:29:32.050 [main] DEBUG dev.langchain4j.community.model.zhipu.RequestLoggingInterceptor - Request:
  3. - method: POST
  4. - url: https://open.bigmodel.cn/api/paas/v4/chat/completions
  5. - headers: [Authorization: Bearer ey...fQ.ew0KICAiZXhwIiA6IDE3NDU5OTI3NzE4MTgsDQogICJhcGlfa2V5IiA6ICJkMjMzNGIyZTk4NTE0YWUwOTIzMDQ4YTM4NDEzNTMwNiIsDQogICJ0aW1lc3RhbXAiIDogMTc0NTk5MDk3MTgxOA0KfQ.A7e2fMdaX_6oI5uaS6oRaZs8HRiHm9ixCsWtyiSaPJM]
  6. - body: {
  7.   "model" : "GLM-4-Flash",
  8.   "messages" : [ {
  9.     "role" : "user",
  10.     "content" : "你好"
  11.   }, {
  12.     "role" : "assistant",
  13.     "content" : "你好\uD83D\uDC4B！有什么可以帮助你的吗？"
  14.   }, {
  15.     "role" : "user",
  16.     "content" : "我可以取消预定吗?\n\nAnswer using the following information:\n8. 本条款的变更 我们可能随时通过修改此页面来修改这些使用条款。您应该不时查看此页面，以注意我们所做的任何更改。\n9. 接受这些条款 使用服务，即表示您承认您已阅读并理解这些条款，并同意受其约束。如果您不同意这些条款，请不要使用或访问我们的服务。\n\n1. 引言\n本服务条款（以下简称“条款”）适用于您（个人）从世界任何国家/地区访问或使用由在美国注册的 Miles of Smiles Car Rental Services 公司提供的应用程序、网站、内容、产品和服务（以下简称“服务”）。\n2. 服务\nMiles of Smiles 将车辆出租给最终用户。我们保留随时暂时或永久终止服务的权利，并且不对服务的任何修改、暂停或中止负责。\n3. 预订\n3.1 用户可以通过我们的网站或移动应用程序进行预订。\n3.2 您必须在预订过程中提供准确、最新和完整的信息。您负责您账户下产生的所有费用。\n3.3 所有预订均视车辆供应情况而定\n4. 取消政策"
  17.   } ],
  18.   "stream" : false,
  19.   "temperature" : 0.9,
  20.   "max_tokens" : 512,
  21.   "tool_choice" : "auto"
  22. }
复制代码
从哀求数据中可以看到，针对第二次提出的题目，举行了检索。 
通过上面的过程，可以看出，利用自界说QueryRouter后，每次发送题目之前，必要先根据我们的提示词模版，向大模型发送一个题目，让大模型判断是否必要举行检索。如果返回“否”，表现不必要举行检索；反之，必要通过RAG举行检索。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

返回列表

滴水恩情
+ 我要发帖

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表