《史上最简单的SpringAI+Llama3.x教程》-05-突破界限，Function Calling在 ...

什么是Function Calling

Function Calling 是一种技术，它允许大型语言模型（如GPT）在生成文本的过程中调用外部函数或服务。
这种功能的核心在于，模型本身不直接执行函数，而是生成包罗函数名称和执行函数所需参数的JSON，然后由外部体系执行这些函数，并将效果返回给模型以完成对话或生成任务。
Function Calling 紧张解决了大型语言模型在处理任务时的局限性，尤其是模型自身无法获取及时信息或执行复杂计算的问题。
通过Function Calling，模型可以利用外部工具或服务来扩展其能力，从而可以大概处理更广泛的任务，如及时数据查询、复杂计算等。
Spring AI 怎样实现 Function Calling

Spring AI 提供了一种机制，允许开发者向大型语言模型（LLM）注册自定义函数，并使模型可以大概在得当的时候调用这些函数。这种功能称为 Function Calling，它可以加强模型的能力，使其可以大概访问外部工具或动态执行任务。
以下是实现 Function Calling 的一般步骤：

• 定义函数接口：首先，你需要定义一个遵照 java.util.function.Function 接口的类，该类定义了函数的署名，即函数的输入和输出范例。
  
• 注册函数为 Spring Bean：通过在 Spring 设置类中声明一个 @Bean 方法，将你的函数实现作为 Spring Bean 注册。你可以使用 @Description 注解来提供函数的形貌，这有助于模型明白何时调用该函数。
  
• 创建 FunctionCallbackWrapper：Spring AI 提供了 FunctionCallbackWrapper 类，它封装了函数的调用逻辑，并将其注册为 FunctionCallback。这是因为 LLM 模型本身并不直接调用函数，而是生成一个包罗函数调用具体信息的 JSON 对象，由客户端处理并执行函数。
  
• 设置 ChatOptions：在创建 OpenAiChatClient 或其他支持 Function Calling 的聊天客户端时，你需要设置 ChatOptions，并通过 withFunction 方法启用你注册的函数。
  
• 调用函数：在与模型的交互过程中，当模型决定需要调用一个函数时，它会生成一个 JSON 对象，客户端收到这个对象后，会调用注册的函数，并将效果返回给模型。
  
• 处理函数调用效果：函数执行后，你需要处理返回的效果，并根据需要将效果转换为模型可以明白的格式。
  

根据上述步骤，结合你的具体应用场景，就可以实现 Spring AI 中的 Function Calling 功能。
一个Function Calling 的Demo

现在SpringAI已经支持了多个模型的function Calling能力，如下：

• Anthropic Claude：使用参考 Anthropic Claude function invocation docs.
  
• Azure OpenAI：使用参考 Azure OpenAI function invocation docs.
  
• Google VertexAI Gemini：使用参考 Vertex AI Gemini function invocation docs.
  
• Groq：使用参考 Groq function invocation docs.
  
• Mistral AI：使用参考 Mistral AI function invocation docs.
  
• Ollama：使用参考 Ollama function invocation docs (ollama 0.2.8还不支持流式输出).
  
• OpenAI：使用参考 Open AI function invocation docs.
  

Ollama API并不直接调用这些函数；相反，模型会生成JSON，在代码中使用这个JSON来调用函数，并将效果返回给模型以继续对话。
Spring AI使得这一过程变得简单，就像定义一个返回java.util.Function的@Bean一样，并在调用时提供bean名称作为选项。
在底层，Spring使用得当的适配器代码来包装您的POJO（简单的Java对象，即函数），这个代码支持与AI模型的交互，从而制止了编写繁琐的样板代码。
底层基础设施的核心是FunctionCallback.java接口和配套的FunctionCallbackWrapper.java实用程序类，它们用于简化Java回调函数的实现和注册。
上手试试

咱们当地使用的是Llama3.1模型来实现Function Calling能力，你可以想象有这样一个场景：
   咱们之前聊过一个汽车贩卖问答平台，现在我希望通过Google搜索的能力，获取市面上某款车的代价，然后上浮2%报价给消耗者。
  定义一个Function方法
此处为了实现效果，咱们只是mock一个数据。

1. import com.fasterxml.jackson.annotation.JsonProperty;
2. import com.fasterxml.jackson.annotation.JsonPropertyDescription;
3. import lombok.Data;
4. import org.springframework.context.annotation.Description;
5. import org.springframework.stereotype.Service;
7. import java.util.function.Function;
8. /**
9. * 通过@Description描述函数的用途，这样ai在多个函数中可以根据描述进行选择。
10. */
11. @Description("汽车价格检索")
12. @Service
13. public class MockSearchService implements Function<MockSearchService.SearchRequest, MockSearchService.SearchResponse> {
15.     @Data
16.     public static class SearchRequest {
17.         @JsonProperty(required = true, value = "path")
18.         @JsonPropertyDescription(value = "汽车型号")
19.         String carType;
20.     }
22.     public record SearchResponse(Integer price) {
23.     }
25.     public SearchResponse apply(SearchRequest request) {
26.         System.out.println(request.carType);
27.         // mock 数据
28.         return new SearchResponse(300000);
29.     }
30. }

复制代码

使用函数
注入AI模型基座，可以切换差别的AI厂商模型。本案例使用的是Ollama部署的模型。
在现实的开发中可以吸收多个函数，通过functions参数传入。然后ai会根据提问从这些函数中选择一个执行。

1. import lombok.AllArgsConstructor;
2. import org.springframework.ai.chat.client.ChatClient;
3. import org.springframework.ai.chat.messages.UserMessage;
4. import org.springframework.ai.ollama.OllamaChatModel;
5. import org.springframework.http.MediaType;
6. import org.springframework.http.codec.ServerSentEvent;
7. import org.springframework.web.bind.annotation.GetMapping;
8. import org.springframework.web.bind.annotation.RequestMapping;
9. import org.springframework.web.bind.annotation.RequestParam;
10. import org.springframework.web.bind.annotation.RestController;
11. import reactor.core.publisher.Flux;
13. import static cn.hutool.json.JSONUtil.toJsonStr;
15. /**
16. * function calling controller
17. *
18. * @author JingYu
19. * @date 2024/07/29
20. */
21. @RestController
22. @RequestMapping("/function/calling")
23. @AllArgsConstructor
24. public class FunctionCallingController {
27.     private final OllamaChatModel ollamaChatModel;
28.    
29.     /**
30.      * 指定自定义函数回答用户的提问
31.      *
32.      * @param prompt       用户的提问
33.      * @return SSE流式响应
34.      */
35.     @GetMapping(value = "chat/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
36.     public Flux<ServerSentEvent<String>> chatStreamWithFunction(@RequestParam String prompt) {
37.         return ChatClient.create(ollamaChatModel).prompt().messages(new UserMessage(prompt))
38.                 // spring ai会从已注册为bean的function中查找函数，
39.                 // 将它添加到请求中。如果成功触发就会调用函数
40.                 .functions("mockSearchService").stream()
41.                 .chatResponse()
42.                 .map(chatResponse -> ServerSentEvent.builder(toJsonStr(chatResponse))
43.                         .event("message").build());
44.     }
45. }

复制代码

此方式是通过指定function函数的方式，在开发过程中我们是不知道应该使用哪个function的，那么我们可以通过prompt的方式让模型本身决定使用哪个函数：

1. /**
2. * 指定自定义函数回答用户的提问
3. *
4. * @param prompt       用户的提问
5. * @return SSE流式响应
6. */
7. @GetMapping(value = "/prompt/chat", produces = MediaType.APPLICATION_JSON_VALUE)
8. public ChatResponse chatStreamWithPromptFunction(@RequestParam String prompt) {
11.     UserMessage userMessage = new UserMessage(prompt);
13.     OllamaOptions options = OllamaOptions.builder()
14.             .withFunctionCallbacks(List.of(FunctionCallbackWrapper.builder(new MockSearchService())
15.                     .withName("mockSearchService")
16.                     .withDescription("汽车价格检索")
17.                     .withResponseConverter((response) -> "" + response.price())
18.                     .build()))
19.             .build();
21.     return ollamaChatModel.call(new Prompt(List.of(userMessage), options));
23. }

复制代码

深度分析 Function Calling 的代码布局筹划

下图说明白 OllamaChatModel 函数调用的流程：

下图具体说明白 Ollama API 的流程：

   Ollama API 调用官方案例：spring-ai/models/spring-ai-ollama/src/test/java/org/springframework/ai/ollama/api/tool/OllamaApiTool

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。