Java快速接入DeepSeek实现流式、联网、知识库以及多轮问答 ...

Java快速接入DeepSeek实现流式、联网、知识库以及多轮问答

本文将详细的阐明，如何使用Java、JDK8快速接入deepseek的聊天服务，包含官方的API服务，以及本地Ollama的服务。并搭建一个简朴的前端界面，用于流式输出、多轮问答、联网、知识库问答的结果展示。
1. 创建spring boot应用

2. 引入pom

引入ai4j库的依赖。
AI4J是一款JavaSDK用于快速接入AI大模子应用，整合多平台大模子，如OpenAi、Ollama、智谱Zhipu(ChatGLM)、深度求索DeepSeek、月之暗面Moonshot(Kimi)、腾讯混元Hunyuan、零一万物(01)等等，提供统一的输入输出(对齐OpenAi)消除差别化，优化函数调用(Tool Call)，优化RAG调用、支持向量数据库(Pinecone)，并且支持JDK1.8，为用户提供快速整合AI的能力。
AI4J-GitHub

1.         <dependency>
2.             <groupId>io.github.lnyo-cly</groupId>
3.             <artifactId>ai4j-spring-boot-starter</artifactId>
4.             <version>1.3.0</version>
5.         </dependency>

复制代码

3. 设置application.yml

在deepseek官网，创建API-KEY，然后在application.yml中设置
DeepSeek-APIKEY

1. ai:
2.   deepseek:
3.     api-key: "sk-123456789"

复制代码

4. 创建聊天服务Controller

接下来实现流式输出：

1. @RestController
2. public class OpenAiController {
4.     // 注入Ai服务
5.     @Autowired
6.     private AiService aiService;
7.    
8.     @GetMapping("/chatStream")
9.     public SseEmitter getChatMessageStream(@RequestParam String question) {
10.         SseEmitter emitter = new SseEmitter();
12.         // 获取DEEPSEEK的聊天服务
13.         IChatService chatService = aiService.getChatService(PlatformType.DEEPSEEK);
15.         // 创建请求参数
16.         ChatCompletion chatCompletion = ChatCompletion.builder()
17.                 .model("deepseek-chat")
18.                 .message(ChatMessage.withUser(question))
19.                 .build();
22.         Executors.newSingleThreadExecutor().submit(() -> {
23.             try {
24.                 SseListener sseListener = new SseListener() {
25.                     @Override
26.                     protected void send() {
27.                         try {
28.                             emitter.send(this.getCurrData());
29.                             System.out.println(this.getCurrData());  // 打印当前发送的内容
30.                         } catch (IOException e) {
31.                             emitter.completeWithError(e);
32.                         }
33.                     }
34.                 };
36.                 emitter.onCompletion(() -> {
37.                     System.out.println("完成");
38.                     sseListener.getEventSource().cancel();
40.                 });
42.                 // 发送流式数据
43.                 chatService.chatCompletionStream(chatCompletion, sseListener);
45.                 // 完成后关闭连接
46.                 emitter.complete();
47.             } catch (Exception e) {
48.                 emitter.completeWithError(e);
49.             }
50.         });
52.         return emitter;
53.     }
56. }

复制代码

或者

1.     @GetMapping("/chatStream")
2.     public SseEmitter getChatMessageStream(@RequestParam String question) throws Exception {
3.         SseEmitter emitter = new SseEmitter();
5.         // 获取OLLAMA的聊天服务
6.         IChatService chatService = aiService.getChatService(PlatformType.DEEPSEEK);
8.         // 创建请求参数
9.         ChatCompletion chatCompletion = ChatCompletion.builder()
10.                 .model("deepseek-chat")
11.                 .message(ChatMessage.withUser(question))
12.                 .build();
15.         SseListener sseListener = new SseListener() {
16.             @Override
17.             protected void send() {
18.                 try {
19.                     emitter.send(this.getCurrData());
20.                     System.out.println(this.getCurrData());  // 打印当前发送的内容
21.                     if ("[DONE]".equals(this.getCurrData())) {
22.                         emitter.complete();
23.                     }
24.                 } catch (IOException e) {
25.                     emitter.completeWithError(e);
26.                 }
27.             }
28.         };
30.         emitter.onCompletion(() -> {
31.             System.out.println("完成");
32.             sseListener.getEventSource().cancel();
34.         });
36.         // 发送流式数据
37.         sseListener.getCountDownLatch().countDown(); // 取消同步阻塞
38.         chatService.chatCompletionStream(chatCompletion, sseListener);
41.         return emitter;
42.     }

复制代码

测试流式接口如下：

5. 修改为ollama调用

1.     @GetMapping("/chatStream")
2.     public SseEmitter getChatMessageStream(@RequestParam String question) {
3.         SseEmitter emitter = new SseEmitter(-1L);
6.         // 获取OLLAMA的聊天服务
7.         IChatService chatService = aiService.getChatService(PlatformType.OLLAMA);
9.         // 创建请求参数
10.         ChatCompletion chatCompletion = ChatCompletion.builder()
11.                 .model("deepseek-r1:1.5b")
12.                 .message(ChatMessage.withUser(question))
13.                 .build();
16.         Executors.newSingleThreadExecutor().submit(() -> {
17.             try {
18.                 SseListener sseListener = new SseListener() {
19.                     @Override
20.                     protected void send() {
21.                         try {
22.                             emitter.send(this.getCurrData());
23.                             System.out.println(this.getCurrData());  // 打印当前发送的内容
24.                         } catch (IOException e) {
25.                             emitter.completeWithError(e);
26.                         }
27.                     }
28.                 };
30.                 emitter.onCompletion(() -> {
31.                     System.out.println("完成");
32.                     sseListener.getEventSource().cancel();
34.                 });
36.                 // 发送流式数据
37.                 chatService.chatCompletionStream(chatCompletion, sseListener);
39.                 // 完成后关闭连接
40.                 emitter.complete();
41.             } catch (Exception e) {
42.                 emitter.completeWithError(e);
43.             }
44.         });
46.         return emitter;
47.     }

复制代码

修改两处即可：

• 修改PlatformType为OLLAMA
  
• 修改model为deepseek-r1:1.5b
  

6. 搭建前端界面

注意：此前端界面由AI天生，并未颠末严格测试，仅供参考。

1. <!DOCTYPE html>
2. <html lang="zh-CN">
3. <head>
4.     <meta charset="UTF-8">
5.     <meta name="viewport" content="width=device-width, initial-scale=1.0">
6.     <title>AI聊天助手</title>
7.     <!-- Font Awesome CDN -->
8.     <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/font-awesome/6.4.0/css/all.min.css">
9.     <style>
10.         :root {
11.             --primary-color: #6366f1;
12.             --primary-light: #818cf8;
13.             --primary-dark: #4f46e5;
14.             --text-light: #ffffff;
15.             --text-dark: #1e293b;
16.             --bg-light: #f8fafc;
17.             --bg-dark: #0f172a;
18.             --message-user: #6366f1;
19.             --message-bot: #f1f5f9;
20.             --border-color: #e2e8f0;
21.         }
23.         * {
24.             margin: 0;
25.             padding: 0;
26.             box-sizing: border-box;
27.             font-family: 'Inter', 'Arial', sans-serif;
28.         }
30.         body {
31.             background-color: var(--bg-light);
32.             color: var(--text-dark);
33.             display: flex;
34.             justify-content: center;
35.             align-items: center;
36.             min-height: 100vh;
37.             padding: 20px;
38.         }
40.         .chat-container {
41.             width: 100%;
42.             max-width: 900px;
43.             background: white;
44.             border-radius: 16px;
45.             box-shadow: 0 10px 25px rgba(0, 0, 0, 0.05);
46.             overflow: hidden;
47.             display: flex;
48.             flex-direction: column;
49.             height: 85vh;
50.             position: relative;
51.             border: 1px solid var(--border-color);
52.         }
54.         .chat-header {
55.             background: var(--primary-color);
56.             color: var(--text-light);
57.             padding: 18px 24px;
58.             display: flex;
59.             align-items: center;
60.             gap: 12px;
61.             box-shadow: 0 2px 10px rgba(0, 0, 0, 0.1);
62.             z-index: 10;
63.         }
65.         .chat-header i {
66.             font-size: 1.5rem;
67.         }
69.         .chat-header h1 {
70.             font-size: 1.3rem;
71.             font-weight: 600;
72.         }
74.         .chat-messages {
75.             flex: 1;
76.             overflow-y: auto;
77.             padding: 24px;
78.             display: flex;
79.             flex-direction: column;
80.             gap: 20px;
81.             scroll-behavior: smooth;
82.         }
84.         .message-container {
85.             display: flex;
86.             gap: 12px;
87.             max-width: 85%;
88.         }
90.         .user-container {
91.             align-self: flex-end;
92.             flex-direction: row-reverse;
93.         }
95.         .bot-container {
96.             align-self: flex-start;
97.         }
99.         .avatar {
100.             width: 38px;
101.             height: 38px;
102.             border-radius: 50%;
103.             display: flex;
104.             justify-content: center;
105.             align-items: center;
106.             font-size: 1.2rem;
107.             flex-shrink: 0;
108.         }
110.         .user-avatar {
111.             background: var(--primary-light);
112.             color: var(--text-light);
113.         }
115.         .bot-avatar {
116.             background: var(--primary-dark);
117.             color: var(--text-light);
118.         }
120.         .message {
121.             padding: 14px 20px;
122.             border-radius: 18px;
123.             font-size: 1rem;
124.             line-height: 1.6;
125.             position: relative;
126.             max-width: 100%;
127.         }
129.         .user-message {
130.             background: var(--message-user);
131.             color: var(--text-light);
132.             border-top-right-radius: 4px;
133.         }
135.         .bot-message {
136.             background: var(--message-bot);
137.             color: var(--text-dark);
138.             border-top-left-radius: 4px;
139.         }
141.         .message-time {
142.             font-size: 0.7rem;
143.             opacity: 0.7;
144.             margin-top: 6px;
145.             text-align: right;
146.         }
148.         .user-message .message-time {
149.             color: rgba(255, 255, 255, 0.9);
150.         }
152.         .bot-message .message-time {
153.             color: rgba(0, 0, 0, 0.6);
154.         }
156.         .chat-input-container {
157.             padding: 16px 24px;
158.             background: white;
159.             border-top: 1px solid var(--border-color);
160.             display: flex;
161.             align-items: center;
162.             gap: 14px;
163.             z-index: 10;
164.         }
166.         .chat-input {
167.             flex: 1;
168.             padding: 14px 20px;
169.             border: 1px solid var(--border-color);
170.             border-radius: 30px;
171.             font-size: 1rem;
172.             outline: none;
173.             transition: all 0.3s;
174.             background: var(--bg-light);
175.         }
177.         .chat-input:focus {
178.             border-color: var(--primary-color);
179.             box-shadow: 0 0 0 2px rgba(99, 102, 241, 0.2);
180.         }
182.         .send-button {
183.             width: 50px;
184.             height: 50px;
185.             border: none;
186.             background: var(--primary-color);
187.             color: var(--text-light);
188.             border-radius: 50%;
189.             cursor: pointer;
190.             transition: all 0.3s;
191.             display: flex;
192.             justify-content: center;
193.             align-items: center;
194.             box-shadow: 0 2px 10px rgba(99, 102, 241, 0.3);
195.         }
197.         .send-button:hover {
198.             background: var(--primary-dark);
199.             transform: translateY(-2px);
200.             box-shadow: 0 4px 12px rgba(99, 102, 241, 0.4);
201.         }
203.         .send-button:active {
204.             transform: translateY(0);
205.         }
207.         .send-button i {
208.             font-size: 1.2rem;
209.         }
211.         /* 滚动条样式 */
212.         .chat-messages::-webkit-scrollbar {
213.             width: 6px;
214.         }
216.         .chat-messages::-webkit-scrollbar-track {
217.             background: transparent;
218.         }
220.         .chat-messages::-webkit-scrollbar-thumb {
221.             background: #d1d5db;
222.             border-radius: 10px;
223.         }
225.         .chat-messages::-webkit-scrollbar-thumb:hover {
226.             background: #9ca3af;
227.         }
229.         /* 打字机效果 */
230.         .typing {
231.             display: flex;
232.             align-items: center;
233.             gap: 4px;
234.             padding: 8px 12px;
235.             border-radius: 18px;
236.             background: var(--message-bot);
237.             width: fit-content;
238.         }
240.         .typing-dot {
241.             width: 8px;
242.             height: 8px;
243.             background: var(--primary-color);
244.             border-radius: 50%;
245.             animation: typing-animation 1.4s infinite both;
246.         }
248.         .typing-dot:nth-child(2) {
249.             animation-delay: 0.2s;
250.         }
252.         .typing-dot:nth-child(3) {
253.             animation-delay: 0.4s;
254.         }
256.         @keyframes typing-animation {
257.             0%, 100% {
258.                 opacity: 0.3;
259.                 transform: scale(0.8);
260.             }
261.             50% {
262.                 opacity: 1;
263.                 transform: scale(1);
264.             }
265.         }
267.         /* 消息进入动画 */
268.         @keyframes message-in {
269.             from {
270.                 opacity: 0;
271.                 transform: translateY(20px);
272.             }
273.             to {
274.                 opacity: 1;
275.                 transform: translateY(0);
276.             }
277.         }
279.         .message-container {
280.             animation: message-in 0.3s ease-out forwards;
281.         }
283.         /* 响应式调整 */
284.         @media (max-width: 768px) {
285.             .chat-container {
286.                 height: 90vh;
287.                 border-radius: 12px;
288.             }
290.             .message-container {
291.                 max-width: 90%;
292.             }
294.             .chat-header h1 {
295.                 font-size: 1.1rem;
296.             }
297.         }
299.         @media (max-width: 480px) {
300.             .chat-container {
301.                 height: 92vh;
302.                 border-radius: 8px;
303.             }
305.             .message {
306.                 padding: 12px 16px;
307.             }
309.             .avatar {
310.                 width: 32px;
311.                 height: 32px;
312.                 font-size: 1rem;
313.             }
315.             .chat-input {
316.                 padding: 12px 16px;
317.             }
319.             .send-button {
320.                 width: 45px;
321.                 height: 45px;
322.             }
324.             .chat-header {
325.                 padding: 14px 20px;
326.             }
328.             .chat-messages {
329.                 padding: 20px;
330.             }
331.         }
332.     </style>
333. </head>
334. <body>
335. <div class="chat-container">
336.     <div class="chat-header">
337.         <i class="fas fa-robot"></i>
338.         <h1>AI聊天助手</h1>
339.     </div>
341.     <div class="chat-messages" id="chat-messages">
342.         <div class="message-container bot-container">
343.             <div class="avatar bot-avatar">
344.                 <i class="fas fa-robot"></i>
345.             </div>
346.             <div class="message-content">
347.                 <div class="message bot-message">
348.                     您好！我是AI助手，很高兴为您服务。请问有什么我可以帮助您的吗？
349.                 </div>
350.                 <div class="message-time">
351.                     刚刚
352.                 </div>
353.             </div>
354.         </div>
355.     </div>
357.     <div class="chat-input-container">
358.         <input type="text" class="chat-input" id="user-input" placeholder="输入您的问题..." autofocus>
359.         <button class="send-button" id="send-button">
360.             <i class="fas fa-paper-plane"></i>
361.         </button>
362.     </div>
363. </div>
365. <script>
366.     document.addEventListener('DOMContentLoaded', function() {
367.         const chatMessages = document.getElementById('chat-messages');
368.         const userInput = document.getElementById('user-input');
369.         const sendButton = document.getElementById('send-button');
371.         let eventSource = null;
373.         // 获取当前时间
374.         function getCurrentTime() {
375.             const now = new Date();
376.             let hours = now.getHours();
377.             let minutes = now.getMinutes();
379.             // 确保分钟为两位数
380.             minutes = minutes < 10 ? '0' + minutes : minutes;
382.             return `${hours}:${minutes}`;
383.         }
385.         // 添加用户消息
386.         function addUserMessage(message, time) {
387.             const messageContainer = document.createElement('div');
388.             messageContainer.className = 'message-container user-container';
390.             const avatarDiv = document.createElement('div');
391.             avatarDiv.className = 'avatar user-avatar';
392.             avatarDiv.innerHTML = '<i class="fas fa-user"></i>';
394.             const messageContentDiv = document.createElement('div');
395.             messageContentDiv.className = 'message-content';
397.             const messageDiv = document.createElement('div');
398.             messageDiv.className = 'message user-message';
399.             messageDiv.textContent = message;
401.             const timeDiv = document.createElement('div');
402.             timeDiv.className = 'message-time';
403.             timeDiv.textContent = time;
405.             messageContentDiv.appendChild(messageDiv);
406.             messageContentDiv.appendChild(timeDiv);
408.             messageContainer.appendChild(avatarDiv);
409.             messageContainer.appendChild(messageContentDiv);
411.             chatMessages.appendChild(messageContainer);
412.             chatMessages.scrollTop = chatMessages.scrollHeight;
413.         }
415.         // 发送消息函数
416.         function sendMessage() {
417.             const message = userInput.value.trim();
418.             if (!message) return;
420.             // 添加用户消息到聊天区域
421.             const time = getCurrentTime();
422.             addUserMessage(message, time);
424.             // 清空输入框
425.             userInput.value = '';
427.             // 添加机器人正在输入的指示
428.             const typingContainer = document.createElement('div');
429.             typingContainer.className = 'message-container bot-container';
430.             typingContainer.id = 'bot-typing';
432.             const avatarDiv = document.createElement('div');
433.             avatarDiv.className = 'avatar bot-avatar';
434.             avatarDiv.innerHTML = '<i class="fas fa-robot"></i>';
436.             const typingDiv = document.createElement('div');
437.             typingDiv.className = 'typing';
438.             typingDiv.innerHTML = '<span class="typing-dot"></span><span class="typing-dot"></span><span class="typing-dot"></span>';
440.             typingContainer.appendChild(avatarDiv);
441.             typingContainer.appendChild(typingDiv);
442.             chatMessages.appendChild(typingContainer);
443.             chatMessages.scrollTop = chatMessages.scrollHeight;
445.             // 更改按钮为暂停
446.             sendButton.innerHTML = '<i class="fas fa-pause"></i>';
447.             sendButton.onclick = stopStream;
449.             // 创建EventSource连接
450.             const url = `http://127.0.0.1:8080/chatStream?question=${encodeURIComponent(message)}`;
451.             eventSource = new EventSource(url);
453.             let botResponse = '';
454.             let responseContainer = null;
456.             eventSource.onmessage = function(event) {
457.                 // 如果这是第一条消息，创建回复容器
458.                 if (!responseContainer) {
459.                     // 移除打字指示器
460.                     const typingIndicator = document.getElementById('bot-typing');
461.                     if (typingIndicator) {
462.                         typingIndicator.remove();
463.                     }
465.                     // 创建回复容器
466.                     responseContainer = document.createElement('div');
467.                     responseContainer.className = 'message-container bot-container';
468.                     responseContainer.id = 'current-bot-response';
470.                     const avatarDiv = document.createElement('div');
471.                     avatarDiv.className = 'avatar bot-avatar';
472.                     avatarDiv.innerHTML = '<i class="fas fa-robot"></i>';
474.                     const messageContentDiv = document.createElement('div');
475.                     messageContentDiv.className = 'message-content';
477.                     const messageDiv = document.createElement('div');
478.                     messageDiv.className = 'message bot-message';
479.                     messageDiv.id = 'current-bot-message';
481.                     const timeDiv = document.createElement('div');
482.                     timeDiv.className = 'message-time';
483.                     timeDiv.textContent = getCurrentTime();
485.                     messageContentDiv.appendChild(messageDiv);
486.                     messageContentDiv.appendChild(timeDiv);
488.                     responseContainer.appendChild(avatarDiv);
489.                     responseContainer.appendChild(messageContentDiv);
491.                     chatMessages.appendChild(responseContainer);
492.                 }
494.                 // 更新回复内容
495.                 botResponse += event.data;
496.                 const messageDiv = document.getElementById('current-bot-message');
497.                 if (messageDiv) {
498.                     messageDiv.textContent = botResponse;
499.                 }
501.                 // 自动滚动到底部
502.                 chatMessages.scrollTop = chatMessages.scrollHeight;
503.             };
505.             eventSource.onerror = function() {
506.                 // 处理完成或错误时
507.                 completeResponse();
508.             };
509.         }
511.         // 停止流式响应
512.         function stopStream() {
513.             if (eventSource) {
514.                 eventSource.close();
515.                 completeResponse();
516.             }
517.         }
519.         // 完成响应处理
520.         function completeResponse() {
521.             // 关闭连接
522.             if (eventSource) {
523.                 eventSource.close();
524.                 eventSource = null;
525.             }
527.             // 移除打字指示器
528.             const typingIndicator = document.getElementById('bot-typing');
529.             if (typingIndicator) {
530.                 typingIndicator.remove();
531.             }
533.             // 恢复发送按钮
534.             sendButton.innerHTML = '<i class="fas fa-paper-plane"></i>';
535.             sendButton.onclick = sendMessage;
537.             // 移除id，以便下次使用
538.             const currentBotResponse = document.getElementById('current-bot-response');
539.             if (currentBotResponse) {
540.                 currentBotResponse.removeAttribute('id');
541.             }
543.             const currentBotMessage = document.getElementById('current-bot-message');
544.             if (currentBotMessage) {
545.                 currentBotMessage.removeAttribute('id');
546.             }
547.         }
549.         // 设置事件监听器
550.         sendButton.addEventListener('click', sendMessage);
552.         userInput.addEventListener('keydown', function(e) {
553.             if (e.key === 'Enter') {
554.                 sendMessage();
555.             }
556.         });
558.         // 自动聚焦到输入框
559.         userInput.focus();
560.     });
561. </script>
562. </body>
563. </html>

复制代码

7. 多轮对话

只必要简朴修改，即可携带汗青上下文举行对话：

2.     private List<ChatMessage> history = new ArrayList<>(); // 1. 创建历史消息列表
4.     @GetMapping("/chatStream")
5.     public SseEmitter getChatMessageStream(@RequestParam String question) {
7.         // ......
9.         history.add(ChatMessage.withUser(question)); // 2. 向历史中添加用户输入
10.         // 创建请求参数
11.         ChatCompletion chatCompletion = ChatCompletion.builder()
12.                 .model("deepseek-chat")
13.                 .messages(history) // 3. 添加完整历史消息
14.                 .build();
16.         // ......        
17.         Executors.newSingleThreadExecutor().submit(() -> {
18.             try {
20.                 // ......
21.                 emitter.onCompletion(() -> {
22.                     System.out.println("完成");
23.                     history.add(ChatMessage.withAssistant(sseListener.getOutput().toString())); // 4. 向历史中添加AI回复
24.                     sseListener.getEventSource().cancel();
25.                 });
27.                 // ......
29.             } catch (Exception e) {
30.                 emitter.completeWithError(e);
31.             }
32.         });
36.         // ......
37.     }

复制代码

8. 联网对话

• 设置application.yml中的searxng，将此中的url更换为你已经摆设的searxng服务的地点。
  

1. ai:
2.   websearch:
3.     searxng:
4.       url: "http://127.0.0.1:29080/search"
5.       nums: 10

复制代码

• 修改代码，添加联网对话的功能：
  

1.     @GetMapping("/chatStream")
2.     public SseEmitter getChatMessageStream(@RequestParam String question) {
3.         // ......
5.         // 获取DEEPSEEK的聊天服务
6.         IChatService chatService = aiService.webSearchEnhance(aiService.getChatService(PlatformType.DEEPSEEK)); // 1. 使用webSearchEnhance对原本chat服务增加联网功能，该联网服务使用的为searxng
8.         // ......
9.         // ......
11.     }

复制代码

9. 搭建知识库

本文使用的向量数据库为Pinecone
9.1 创建Pinecone

各人可以进入Pinecone官网举行注册和登录，至于注册账号，这里不在演示，信赖各人都会。
选择Database->Indexes->Create Index来创建索引

在这里可以输入你的维度，或者点击Setup by model，根据模子来选择向量维度。这里我以text-embedding-3-large模子为例子

创建完成后，记载自己的Host，我们后面要用到

创建自己的API Key

9.2 设置application.yml

请将上文得到的Host和API Key填入application.yml中

1. ai:
2.   vector:
3.     pinecone:
4.       host: "https://XXXXXXX-XXXXXXXXX.io"
5.       key: "XXXXXX"

复制代码

9.3 构建RAG知识库文档

既然要创建RAG应用，那肯定少不了知识库。
本文搭建的是一个简朴的法律AI助手，以是我们必要一个法律知识库。
接下来我以刑法知识库为例为各人讲解
可以将所必要的知识库，存入一个文本文档当中：

注意：如果有现成的文档，你也可以忽略这一步，比方你已经有了txt、word、pdf等文件的知识库文档。
9.4 存储至Pinecone向量数据库中

1. @SpringBootTest
2. public class RagTest {
4.     // 1. 注入Pinecone服务
5.     @Autowired
6.     private PineconeService pineconeService;
8.     // 2. 注入AI服务
9.     @Autowired
10.     private AiService aiService;
12.     @Test
13.     public void test_rag_store() throws Exception {
14.         // 3. 获取Embedding服务
15.         IEmbeddingService embeddingService = aiService.getEmbeddingService(PlatformType.OPENAI);
17.         // 4. Tika读取file文件内容
18.         String fileContent = TikaUtil.parseFile(new File("D:\\data\\test.txt"));
19.         System.out.println(fileContent);
21.         // 5. 分割文本内容
22.         RecursiveCharacterTextSplitter recursiveCharacterTextSplitter = new RecursiveCharacterTextSplitter(1000, 200);
23.         List<String> contentList = recursiveCharacterTextSplitter.splitText(fileContent);
24.         System.out.println(contentList.size());
26.         // 6. 转为向量
27.         Embedding build = Embedding.builder()
28.                 .input(contentList)
29.                 .model("text-embedding-3-large")
30.                 .build();
31.         EmbeddingResponse embedding = embeddingService.embedding(build);
32.         List<List<Float>> vectors = embedding.getData().stream().map(EmbeddingObject::getEmbedding).collect(Collectors.toList());
34.         VertorDataEntity vertorDataEntity = new VertorDataEntity();
35.         vertorDataEntity.setVector(vectors);
36.         vertorDataEntity.setContent(contentList);
37.         System.out.println(vertorDataEntity);
39.         // 7. 向量存储至pinecone
40.         Integer count = pineconeService.insert(vertorDataEntity, "abc-123-abc");
41.         System.out.println(count > 0 ? "存储成功" : "存储失败");
42.     }
44. }

复制代码

下图是插入成功的数据

9.5 知识库查询

下面代码只多了对embedding的处理，chat部门基本稳定。

2.     @Autowired
3.     private AiService aiService;
4.     @Autowired
5.     private PineconeService pineconeService;
6.     private List<ChatMessage> history = new ArrayList<>();
9.     @GetMapping("/chatStream")
10.     public SseEmitter getChatMessageStream(@RequestParam String question) throws Exception {
11.         SseEmitter emitter = new SseEmitter(-1L);
13.         // 获取Embedding服务
14.         IEmbeddingService embeddingService = aiService.getEmbeddingService(PlatformType.OPENAI);
16.         // 构建要查询的问题，转为向量
17.         Embedding build = Embedding.builder()
18.                 .input(question)
19.                 .model("text-embedding-3-large")
20.                 .build();
21.         EmbeddingResponse embedding = embeddingService.embedding(build);
22.         List<Float> questionEmbedding = embedding.getData().get(0).getEmbedding();
24.         // 构建向量数据库的查询对象
25.         PineconeQuery pineconeQueryReq = PineconeQuery.builder()
26.                 .namespace("abc-123-abc")
27.                 .topK(5)
28.                 .vector(questionEmbedding)
29.                 .build();
31.         // 查询
32.         // PineconeQueryResponse queryResponse = pineconeService.query(pineconeQueryReq);
33.         // delimiter为想用什么字符拼接查询出来的内容
34.         String retrievalContent = pineconeService.query(pineconeQueryReq, " ");
36.         String contentFormat = "你是一个善于回答中华人民共和国刑法相关问题的助手。请使用以下提供的检索内容和自身知识来回答问题。如果你不知道答案，请直接说不知道，不要杜撰答案。请用三句话以内回答，保持简洁。\n" +
37.                 "\n" +
38.                 "问题：%s\n" +
39.                 "\n" +
40.                 "检索内容：%s";
42.         String content = String.format(contentFormat, question, retrievalContent);
45.         // 获取DEEPSEEK的聊天服务
46.         IChatService chatService = aiService.getChatService(PlatformType.DEEPSEEK);
49.         history.add(ChatMessage.withUser(content)); // 向历史中添加用户输入
50.         // 创建请求参数
51.         ChatCompletion chatCompletion = ChatCompletion.builder()
52.                 .model("deepseek-chat")
53.                 .messages(history) // 添加完整历史消息
54.                 .build();
57.         Executors.newSingleThreadExecutor().submit(() -> {
58.             try {
59.                 SseListener sseListener = new SseListener() {
60.                     @Override
61.                     protected void send() {
62.                         try {
63.                             emitter.send(this.getCurrStr());
64.                             System.out.println(this.getCurrData());  // 打印当前发送的内容
65.                         } catch (IOException e) {
66.                             emitter.completeWithError(e);
67.                         }
68.                     }
69.                 };
71.                 emitter.onCompletion(() -> {
72.                     System.out.println("完成");
73.                     history.add(ChatMessage.withAssistant(sseListener.getOutput().toString())); // 向历史中添加AI回复
74.                     sseListener.getEventSource().cancel();
75.                 });
77.                 // 发送流式数据
78.                 chatService.chatCompletionStream(chatCompletion, sseListener);
80.                 // 完成后关闭连接
81.                 emitter.complete();
82.             } catch (Exception e) {
83.                 emitter.completeWithError(e);
84.             }
85.         });
87.         return emitter;
88.     }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。