开源模子应用落地-工具利用篇-Spring AI（七）

一、前言

在AI大模子百花齐放的时代，很多人都对新兴技能充满了热情，都想尝试一下。但是，现实上要入门AI技能的门槛非常高。除了须要高端装备，还须要面临复杂的部署和安装过程，这让很多人望而却步。不外，随着开源技能的不断进步，使得入门AI变得越来越容易。通过利用**Ollama**，您可以快速体验大语言模子的乐趣，不再须要担心繁琐的设置和安装过程。另外，通过集成Spring AI，让更多Java爱好者能便捷的将AI能力集成到项目中，接下来，跟随我的脚步，一起来体验一把。

---

二、术语

2.1、Spring AI

是 Spring 生态系统的一个新项目，它简化了 Java 中 AI 应用程序的创建。它提供以下功能：

• 支持所有重要模子提供商，例如 OpenAI、Microsoft、Amazon、Google 和 Huggingface。
  
• 支持的模子类型包罗“谈天”和“文本到图像”，另有更多模子类型正在开发中。
  
• 跨 AI 提供商的可移植 API，用于谈天和嵌入模子。
  
• 支持同步和流 API 选项。
  
• 支持下拉访问模子特定功能。
  
• AI 模子输出到 POJO 的映射。
  

2.2、Ollama

是一个强大的框架，用于在 Docker 容器中部署 LLM（大型语言模子）。它的重要功能是在 Docker 容器内部署和管理 LLM 的促进者，使该过程变得简单。它可以资助用户快速在本地运行大模子，通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模子。
Ollama 支持 GPU/CPU 混合模式运行，允许用户根据本身的硬件条件（如 GPU、显存、CPU 和内存）选择不同量化版本的大模子。它提供了一种方式，使得纵然在没有高性能 GPU 的装备上，也可以或许运行大型模子。

---

三、前置条件

3.1、JDK 17+

下载地点：https://www.oracle.com/java/technologies/downloads/#jdk17-windows

类文件具有错误的版本 61.0, 应为 52.0
3.2、创建Maven项目

SpringBoot版本为3.2.3

1. <parent>
2.     <groupId>org.springframework.boot</groupId>
3.     <artifactId>spring-boot-starter-parent</artifactId>
4.     <version>3.2.3</version>
5.     <relativePath/> <!-- lookup parent from repository -->
6. </parent>

复制代码

3.3、导入Maven依赖包

1. <dependency>
2.         <groupId>org.projectlombok</groupId>
3.         <artifactId>lombok</artifactId>
4.         <optional>true</optional>
5. </dependency>
7. <dependency>
8.         <groupId>ch.qos.logback</groupId>
9.         <artifactId>logback-core</artifactId>
10. </dependency>
12. <dependency>
13.         <groupId>ch.qos.logback</groupId>
14.         <artifactId>logback-classic</artifactId>
15. </dependency>
17. <dependency>
18.         <groupId>cn.hutool</groupId>
19.         <artifactId>hutool-core</artifactId>
20.         <version>5.8.24</version>
21. </dependency>
23. <dependency>
24.         <groupId>org.springframework.ai</groupId>
25.         <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
26.         <version>0.8.0</version>
27. </dependency>
29. <dependency>
30.         <groupId>org.springframework.ai</groupId>
31.         <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
32.         <version>0.8.0</version>
33. </dependency>

复制代码

3.4、 科学上网的软件

3.5、 安装Ollama及部署Qwen模子

拜见：开源模子应用落地-工具利用篇-Ollama（六）-CSDN博客

---

四、技能实现

4.1、调用Open AI

4.1.1、非流式调用

1. @RequestMapping("/chat")
2. public String chat(){
3.         String systemPrompt = "{prompt}";
4.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
6.         String userPrompt = "广州有什么特产？";
7.         Message userMessage = new UserMessage(userPrompt);
9.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
11.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
13.         List<Generation> response = openAiChatClient.call(prompt).getResults();
15.         String result = "";
17.         for (Generation generation : response){
18.                 String content = generation.getOutput().getContent();
19.                 result += content;
20.         }
22.         return result;
23. }

复制代码

调用结果：

4.1.2、流式调用

1. @RequestMapping("/stream")
2. public SseEmitter stream(HttpServletResponse response){
3.         response.setContentType("text/event-stream");
4.         response.setCharacterEncoding("UTF-8");
5.         SseEmitter emitter = new SseEmitter();
8.         String systemPrompt = "{prompt}";
9.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
11.         String userPrompt = "广州有什么特产？";
12.         Message userMessage = new UserMessage(userPrompt);
14.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
15.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
17.         openAiChatClient.stream(prompt).subscribe(x -> {
18.                 try {
19.                         log.info("response: {}",x);
20.                         List<Generation> generations = x.getResults();
21.                         if(CollUtil.isNotEmpty(generations)){
22.                                 for(Generation generation:generations){
23.                                    AssistantMessage assistantMessage =  generation.getOutput();
24.                                         String content = assistantMessage.getContent();
25.                                         if(StringUtils.isNotEmpty(content)){
26.                                                 emitter.send(content);
27.                                         }else{
28.                                                 if(StringUtils.equals(content,"null"))
29.                                                 emitter.complete(); // Complete the SSE connection
30.                                         }
31.                                 }
32.                         }
35.                 } catch (Exception e) {
36.                         emitter.complete();
37.                         log.error("流式返回结果异常",e);
38.                 }
39.         });
41.         return emitter;
42. }

复制代码

流式输出返回的数据结构：

调用结果：

4.2、调用Ollama API

Spring封装的很好，根本和调用OpenAI的代码一致
4.2.1、非流式调用

1. @RequestMapping("/chat")
2. public String chat(){
3.         String systemPrompt = "{prompt}";
4.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
6.         String userPrompt = "广州有什么特产？";
7.         Message userMessage = new UserMessage(userPrompt);
9.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
11.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
13.         List<Generation> response = ollamaChatClient.call(prompt).getResults();
15.         String result = "";
17.         for (Generation generation : response){
18.                 String content = generation.getOutput().getContent();
19.                 result += content;
20.         }
22.         return result;
23. }

复制代码

调用结果：
Ollam的server.log输出

4.2.2、流式调用

1. @RequestMapping("/stream")
2. public SseEmitter stream(HttpServletResponse response){
3.         response.setContentType("text/event-stream");
4.         response.setCharacterEncoding("UTF-8");
5.         SseEmitter emitter = new SseEmitter();
8.         String systemPrompt = "{prompt}";
9.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
11.         String userPrompt = "广州有什么特产？";
12.         Message userMessage = new UserMessage(userPrompt);
14.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
15.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
17.         ollamaChatClient.stream(prompt).subscribe(x -> {
18.                 try {
19.                         log.info("response: {}",x);
20.                         List<Generation> generations = x.getResults();
21.                         if(CollUtil.isNotEmpty(generations)){
22.                                 for(Generation generation:generations){
23.                                         AssistantMessage assistantMessage =  generation.getOutput();
24.                                         String content = assistantMessage.getContent();
25.                                         if(StringUtils.isNotEmpty(content)){
26.                                                 emitter.send(content);
27.                                         }else{
28.                                                 if(StringUtils.equals(content,"null"))
29.                                                         emitter.complete(); // Complete the SSE connection
30.                                         }
31.                                 }
32.                         }
35.                 } catch (Exception e) {
36.                         emitter.complete();
37.                         log.error("流式返回结果异常",e);
38.                 }
39.         });
41.         return emitter;
42. }

复制代码

调用结果：

---

五、附带说明

5.1、OpenAiChatClient默认利用gpt-3.5-turbo模子

5.2、流式输出如何关闭连接

不能判断是否为’'（即空字符串），以下代码将提前关闭连接

流式输出会返回’'的环境

应该在返回内容为字符串null的时候关闭

5.3、设置文件中指定的Ollama的模子参数，要和运行的模子一致

5.4、OpenAI调用完整代码

1. import cn.hutool.core.collection.CollUtil;
2. import cn.hutool.core.map.MapUtil;
3. import jakarta.servlet.http.HttpServletResponse;
4. import lombok.extern.slf4j.Slf4j;
5. import org.apache.commons.lang3.StringUtils;
6. import org.springframework.ai.chat.Generation;
7. import org.springframework.ai.chat.messages.AssistantMessage;
8. import org.springframework.ai.chat.messages.Message;
9. import org.springframework.ai.chat.messages.UserMessage;
10. import org.springframework.ai.chat.prompt.Prompt;
11. import org.springframework.ai.chat.prompt.SystemPromptTemplate;
12. import org.springframework.ai.openai.OpenAiChatClient;
13. import org.springframework.beans.factory.annotation.Autowired;
14. import org.springframework.web.bind.annotation.RequestMapping;
15. import org.springframework.web.bind.annotation.RestController;
16. import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;
18. import java.util.List;
20. @Slf4j
21. @RestController
22. @RequestMapping("/api")
23. public class OpenaiTestController {
24.     @Autowired
25.     private OpenAiChatClient openAiChatClient;
27. //    http://localhost:7777/api/chat
28.     @RequestMapping("/chat")
29.     public String chat(){
30.         String systemPrompt = "{prompt}";
31.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
33.         String userPrompt = "广州有什么特产？";
34.         Message userMessage = new UserMessage(userPrompt);
36.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
38.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
40.         List<Generation> response = openAiChatClient.call(prompt).getResults();
42.         String result = "";
44.         for (Generation generation : response){
45.             String content = generation.getOutput().getContent();
46.             result += content;
47.         }
49.         return result;
50.     }
52.     @RequestMapping("/stream")
53.     public SseEmitter stream(HttpServletResponse response){
54.         response.setContentType("text/event-stream");
55.         response.setCharacterEncoding("UTF-8");
56.         SseEmitter emitter = new SseEmitter();
59.         String systemPrompt = "{prompt}";
60.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
62.         String userPrompt = "广州有什么特产？";
63.         Message userMessage = new UserMessage(userPrompt);
65.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
66.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
68.         openAiChatClient.stream(prompt).subscribe(x -> {
69.             try {
70.                 log.info("response: {}",x);
71.                 List<Generation> generations = x.getResults();
72.                 if(CollUtil.isNotEmpty(generations)){
73.                     for(Generation generation:generations){
74.                        AssistantMessage assistantMessage =  generation.getOutput();
75.                         String content = assistantMessage.getContent();
76.                         if(StringUtils.isNotEmpty(content)){
77.                             emitter.send(content);
78.                         }else{
79.                             if(StringUtils.equals(content,"null"))
80.                             emitter.complete(); // Complete the SSE connection
81.                         }
82.                     }
83.                 }
86.             } catch (Exception e) {
87.                 emitter.complete();
88.                 log.error("流式返回结果异常",e);
89.             }
90.         });
92.         return emitter;
93.     }
94. }

复制代码

5.5、Ollama调用完整代码

1. import cn.hutool.core.collection.CollUtil;
2. import cn.hutool.core.map.MapUtil;
3. import jakarta.servlet.http.HttpServletResponse;
4. import lombok.extern.slf4j.Slf4j;
5. import org.apache.commons.lang3.StringUtils;
6. import org.springframework.ai.chat.Generation;
7. import org.springframework.ai.chat.messages.AssistantMessage;
8. import org.springframework.ai.chat.messages.Message;
9. import org.springframework.ai.chat.messages.UserMessage;
10. import org.springframework.ai.chat.prompt.Prompt;
11. import org.springframework.ai.chat.prompt.SystemPromptTemplate;
12. import org.springframework.ai.ollama.OllamaChatClient;
13. import org.springframework.beans.factory.annotation.Autowired;
14. import org.springframework.web.bind.annotation.RequestMapping;
15. import org.springframework.web.bind.annotation.RestController;
16. import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;
18. import java.util.List;
20. @Slf4j
21. @RestController
22. @RequestMapping("/api")
23. public class OllamaTestController {
24.     @Autowired
25.     private OllamaChatClient ollamaChatClient;
27.     @RequestMapping("/chat")
28.     public String chat(){
29.         String systemPrompt = "{prompt}";
30.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
32.         String userPrompt = "广州有什么特产？";
33.         Message userMessage = new UserMessage(userPrompt);
35.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
37.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
39.         List<Generation> response = ollamaChatClient.call(prompt).getResults();
41.         String result = "";
43.         for (Generation generation : response){
44.             String content = generation.getOutput().getContent();
45.             result += content;
46.         }
48.         return result;
49.     }
52.     @RequestMapping("/stream")
53.     public SseEmitter stream(HttpServletResponse response){
54.         response.setContentType("text/event-stream");
55.         response.setCharacterEncoding("UTF-8");
56.         SseEmitter emitter = new SseEmitter();
59.         String systemPrompt = "{prompt}";
60.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
62.         String userPrompt = "广州有什么特产？";
63.         Message userMessage = new UserMessage(userPrompt);
65.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
66.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
68.         ollamaChatClient.stream(prompt).subscribe(x -> {
69.             try {
70.                 log.info("response: {}",x);
71.                 List<Generation> generations = x.getResults();
72.                 if(CollUtil.isNotEmpty(generations)){
73.                     for(Generation generation:generations){
74.                         AssistantMessage assistantMessage =  generation.getOutput();
75.                         String content = assistantMessage.getContent();
76.                         if(StringUtils.isNotEmpty(content)){
77.                             emitter.send(content);
78.                         }else{
79.                             if(StringUtils.equals(content,"null"))
80.                                 emitter.complete(); // Complete the SSE connection
81.                         }
82.                     }
83.                 }
86.             } catch (Exception e) {
87.                 emitter.complete();
88.                 log.error("流式返回结果异常",e);
89.             }
90.         });
92.         return emitter;
93.     }
94. }

复制代码

5.6、核心设置

1. spring:
2.   ai:
3.     openai:
4.       api-key: sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
5.     ollama:
6.       base-url: http://localhost:11434
7.       chat:
8.         model: qwen:1.8b-chat

复制代码

5.7、启动类

1. import org.springframework.boot.SpringApplication;
2. import org.springframework.boot.autoconfigure.SpringBootApplication;
4. @SpringBootApplication
5. public class AiApplication {
7.     public static void main(String[] args) {
8.         System.setProperty("http.proxyHost","127.0.0.1");
9.         System.setProperty("http.proxyPort","7078"); // 修改为你代理软件的端口
10.         System.setProperty("https.proxyHost","127.0.0.1");
11.         System.setProperty("https.proxyPort","7078"); // 同理
13.         SpringApplication.run(AiApplication.class, args);
14.     }
16. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。