SpringAI入门:对话呆板人
SpringAI入门:对话呆板人1.引入依靠
创建一个新的SpringBoot工程,勾选Web、MySQL驱动、Ollama:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>3.4.4</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<groupId>com.shisan</groupId>
<artifactId>chat-robot</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>chat-robot</name>
<description>chat-robot</description>
<url/>
<licenses>
<license/>
</licenses>
<developers>
<developer/>
</developers>
<scm>
<connection/>
<developerConnection/>
<tag/>
<url/>
</scm>
<properties>
<java.version>17</java.version>
<spring-ai.version>1.0.0-M6</spring-ai.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>com.mysql</groupId>
<artifactId>mysql-connector-j</artifactId>
<scope>runtime</scope>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bom</artifactId>
<version>${spring-ai.version}</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
SpringAI完全适配了SpringBoot的自动装配功能,而且给差别的大模型提供了差别的starter比如:
1. Anthropic(Claude模型)
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-anthropic-spring-boot-starter</artifactId>
</dependency>
2. Azure OpenAI
dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-azure-openai-spring-boot-starter</artifactId>
</dependency>
3. DeepSeek(兼容 OpenAI 协议)
实际上 DeepSeek 使用的是 OpenAI 接口协议,因此使用 OpenAI 的 starter。
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>
4. Hugging Face
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-huggingface-spring-boot-starter</artifactId>
</dependency>
5. Ollama(当地摆设的 LLM,比如 LLaMA3、Mistral)
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>
6. OpenAI(ChatGPT / GPT-4 等)
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>
2.配置模型信息
spring:
application:
name: chart-robot
ai:
ollama:
base-url: http://localhost:11434 # ollama服务地址, 这就是默认值
chat:
model: deepseek-r1:14b # 模型名称
options:
temperature: 0.8 # 模型温度,影响模型生成结果的随机性,越小越稳定
3.聊天客户端 API
这ChatClient提供用于与 AI 模型通信的 Fluent API。 它支持同步和流式编程模型。
Fluent API 具有构建 Prompt 的构成部分的方法,这些部分作为输入传递给 AI 模型。 这Prompt包罗指导 AI 模型的输出和行为的阐明文本。从 API 的角度来看,提示由一组消息构成。
AI 模型处理两种紧张范例的消息:用户消息(来自用户的直接输入)和系统消息(由系统生成以指导对话)。
这些消息通常包罗占位符,这些占位符在运行时根据用户输入进行替换,以自定义 AI 模型对用户输入的相应。
还有一些可以指定的 Prompt 选项,比方要使用的 AI 模型的名称以及控制生成输出的随机性或创造性的温度设置。
1.创建 ChatClient
这ChatClient是使用ChatClient.Builder对象。 您可以获取自动配置的ChatClient.Builder实例,或者以编程方式创建一个。
@Bean
public ChatClient chatClient(OllamaChatModel model) {
return ChatClient.builder(model) // 创建ChatClient工厂
.build(); // 构建ChatClient实例
}
2.使用自动配置的 ChatClient.Builder
@RestController
class MyController {
private final ChatClient chatClient;
public MyController(ChatClient.Builder chatClientBuilder) {
this.chatClient = chatClientBuilder.build();
}
@GetMapping("/ai")
String generation(String userInput) {
return this.chatClient.prompt()
.user(userInput)
.call()
.content();
}
}
在这个简单的示例中,用户输入设置用户消息的内容。 这call()method 向 AI 模型发送请求,并且content()方法将 AI 模型的相应作为String.
3.流式相应
这stream()method 答应你获得异步相应,如下所示:
Flux<String> output = chatClient.prompt()
.user("Tell me a joke")
.stream()
.content();
4.Advisors API
SpringAI基于AOP机制实现与大模型对话过程的增强、拦截、修改等功能,全部的增强关照都需要实现Advisor接口;Spring提供了一些Advisor的默认实现,来实现一些根本的增强功能
[*]SimpleLoggerAdvisor:日记记录的Advisor;
[*]MessageChatMemoryAdvisor:会话影象的Advisor;
[*]QuestionAnswerAdvisor:实现RAG的Advisor;
@Bean
public ChatClient chatClient(OllamaChatModel model) {
return ChatClient
.builder(model)
.defaultAdvisors(new SimpleLoggerAdvisor()) // 添加默认的Advisor,记录日志
.build(); // 构建ChatClient实例
}
logging:
level:
org.springframework.ai.chat.client.advisor: debug # AI对话的日志级别
com.heima.ai: debug # 本项目的日志级别
将 advisor 添加到链中的顺序至关紧张,由于它决定了它们的执行顺序。每个 advisor 都以某种方式修改 prompt 或 context,并且一个 advisor 所做的更改将传递给链中的下一个 advisor。
5.会话影象
ChatMemory表现聊天对话汗青记录的存储。它提供了向对话添加消息、从对话中检索消息以及清除对话汗青记录的方法。
现在有两种实现:InMemoryChatMemory和CassandraChatMemory,它们为聊天对话汗青记录提供存储,内存和time-to-live相应。
1.添加会话影象Advisor
@Bean
public ChatMemory chatMemory() {
return new InMemoryChatMemory();
}
2.配置chatclient
@Bean
public ChatClient chatClient(AlibabaOpenAiChatModel model, ChatMemory chatMemory) {
return ChatClient
.builder(model)
.defaultSystem("你是一个热心、可爱的智能助手,你的名字叫小团团,请以小团团的身份和语气回答问题。")
.defaultAdvisors(
new SimpleLoggerAdvisor(),
new MessageChatMemoryAdvisor(chatMemory)
)
.build();
}
重点是会话id
/**
* 发起流式对话请求
* @param prompt 用户输入
* @param chatId 会话ID(用于上下文记忆)
* @return 响应流
*/
@GetMapping(produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public Flux<String> chat(@RequestParam String prompt,
@RequestParam String chatId) {
return chatClient.prompt()
.user(prompt)
.advisors(a -> a.param(CHAT_MEMORY_CONVERSATION_ID_KEY, chatId))
.stream()
.content();
}
6.会话汗青
[*]会话影象:是指让大模型记住每一轮对话的内容,不至于前一句刚问完,下一句就忘了;
[*]会话汗青:是指要记录总共有多少差别的对话;
这边可以本身根据具体场景实现,紧张有两个接口
1.查询某个用户的会话汗青
2.查询某个会话的对话
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]