老婆出轨 发表于 4 天前

SpringAI入门:对话呆板人

SpringAI入门:对话呆板人

1.引入依靠

创建一个新的SpringBoot工程,勾选Web、MySQL驱动、Ollama:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-parent</artifactId>
      <version>3.4.4</version>
      <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.shisan</groupId>
    <artifactId>chat-robot</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>chat-robot</name>
    <description>chat-robot</description>
    <url/>
    <licenses>
      <license/>
    </licenses>
    <developers>
      <developer/>
    </developers>
    <scm>
      <connection/>
      <developerConnection/>
      <tag/>
      <url/>
    </scm>
    <properties>
      <java.version>17</java.version>
      <spring-ai.version>1.0.0-M6</spring-ai.version>
    </properties>
    <dependencies>
      <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
      </dependency>
      <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
      </dependency>

      <dependency>
            <groupId>com.mysql</groupId>
            <artifactId>mysql-connector-j</artifactId>
            <scope>runtime</scope>
      </dependency>
      <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
      </dependency>
    </dependencies>
    <dependencyManagement>
      <dependencies>
            <dependency>
                <groupId>org.springframework.ai</groupId>
                <artifactId>spring-ai-bom</artifactId>
                <version>${spring-ai.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
      </dependencies>
    </dependencyManagement>

    <build>
      <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
      </plugins>
    </build>

</project>

SpringAI完全适配了SpringBoot的自动装配功能,而且给差别的大模型提供了差别的starter比如:
1. Anthropic(Claude模型)

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-anthropic-spring-boot-starter</artifactId>
</dependency>
2. Azure OpenAI

dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-azure-openai-spring-boot-starter</artifactId>
</dependency>
3. DeepSeek(兼容 OpenAI 协议)

   实际上 DeepSeek 使用的是 OpenAI 接口协议,因此使用 OpenAI 的 starter。
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>
4. Hugging Face

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-huggingface-spring-boot-starter</artifactId>
</dependency>
5. Ollama(当地摆设的 LLM,比如 LLaMA3、Mistral)

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>
6. OpenAI(ChatGPT / GPT-4 等)

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>
2.配置模型信息

spring:
application:
    name: chart-robot
ai:
    ollama:
      base-url: http://localhost:11434 # ollama服务地址, 这就是默认值
      chat:
      model: deepseek-r1:14b # 模型名称
      options:
          temperature: 0.8 # 模型温度,影响模型生成结果的随机性,越小越稳定

3.聊天客户端 API

这ChatClient提供用于与 AI 模型通信的 Fluent API。 它支持同步和流式编程模型。
Fluent API 具有构建 Prompt 的构成部分的方法,这些部分作为输入传递给 AI 模型。 这Prompt包罗指导 AI 模型的输出和行为的阐明文本。从 API 的角度来看,提示由一组消息构成。
AI 模型处理两种紧张范例的消息:用户消息(来自用户的直接输入)和系统消息(由系统生成以指导对话)。
这些消息通常包罗占位符,这些占位符在运行时根据用户输入进行替换,以自定义 AI 模型对用户输入的相应。
还有一些可以指定的 Prompt 选项,比方要使用的 AI 模型的名称以及控制生成输出的随机性或创造性的温度设置。
1.创建 ChatClient

这ChatClient是使用ChatClient.Builder对象。 您可以获取自动配置的ChatClient.Builder实例,或者以编程方式创建一个。
@Bean
    public ChatClient chatClient(OllamaChatModel model) {
      return ChatClient.builder(model) // 创建ChatClient工厂
                .build(); // 构建ChatClient实例
    }
2.使用自动配置的 ChatClient.Builder

@RestController
class MyController {

    private final ChatClient chatClient;

    public MyController(ChatClient.Builder chatClientBuilder) {
      this.chatClient = chatClientBuilder.build();
    }

    @GetMapping("/ai")
    String generation(String userInput) {
      return this.chatClient.prompt()
            .user(userInput)
            .call()
            .content();
    }
}
在这个简单的示例中,用户输入设置用户消息的内容。 这call()method 向 AI 模型发送请求,并且content()方法将 AI 模型的相应作为String.
3.流式相应

这stream()method 答应你获得异步相应,如下所示:
Flux<String> output = chatClient.prompt()
    .user("Tell me a joke")
    .stream()
    .content();
4.Advisors API

SpringAI基于AOP机制实现与大模型对话过程的增强、拦截、修改等功能,全部的增强关照都需要实现Advisor接口;Spring提供了一些Advisor的默认实现,来实现一些根本的增强功能


[*]SimpleLoggerAdvisor:日记记录的Advisor;
[*]MessageChatMemoryAdvisor:会话影象的Advisor;
[*]QuestionAnswerAdvisor:实现RAG的Advisor;
@Bean
public ChatClient chatClient(OllamaChatModel model) {
    return ChatClient
      .builder(model)
      .defaultAdvisors(new SimpleLoggerAdvisor()) // 添加默认的Advisor,记录日志
      .build(); // 构建ChatClient实例
}

logging:
level:
    org.springframework.ai.chat.client.advisor: debug # AI对话的日志级别
    com.heima.ai: debug # 本项目的日志级别

将 advisor 添加到链中的顺序至关紧张,由于它决定了它们的执行顺序。每个 advisor 都以某种方式修改 prompt 或 context,并且一个 advisor 所做的更改将传递给链中的下一个 advisor。
5.会话影象

ChatMemory表现聊天对话汗青记录的存储。它提供了向对话添加消息、从对话中检索消息以及清除对话汗青记录的方法。
现在有两种实现:InMemoryChatMemory和CassandraChatMemory,它们为聊天对话汗青记录提供存储,内存和time-to-live相应。
1.添加会话影象Advisor

@Bean
public ChatMemory chatMemory() {
    return new InMemoryChatMemory();
}

2.配置chatclient

@Bean
    public ChatClient chatClient(AlibabaOpenAiChatModel model, ChatMemory chatMemory) {
      return ChatClient
                .builder(model)
                .defaultSystem("你是一个热心、可爱的智能助手,你的名字叫小团团,请以小团团的身份和语气回答问题。")
                .defaultAdvisors(
                        new SimpleLoggerAdvisor(),
                        new MessageChatMemoryAdvisor(chatMemory)
                )
                .build();
    }
重点是会话id
    /**
   * 发起流式对话请求
   * @param prompt 用户输入
   * @param chatId 会话ID(用于上下文记忆)
   * @return 响应流
   */
    @GetMapping(produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> chat(@RequestParam String prompt,
                           @RequestParam String chatId) {

      return chatClient.prompt()
                .user(prompt)
                .advisors(a -> a.param(CHAT_MEMORY_CONVERSATION_ID_KEY, chatId))
                .stream()
                .content();
    }
6.会话汗青



[*]会话影象:是指让大模型记住每一轮对话的内容,不至于前一句刚问完,下一句就忘了;
[*]会话汗青:是指要记录总共有多少差别的对话;
这边可以本身根据具体场景实现,紧张有两个接口
1.查询某个用户的会话汗青
2.查询某个会话的对话

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: SpringAI入门:对话呆板人