开源模型应用落地-工具使用篇-Spring AI-Function Call（八） ...

​​​​​​​一、前言

    通过“开源模型应用落地-工具使用篇-Spring AI（七）-CSDN博客”文章的学习，已经掌握了如何通过Spring AI集成OpenAI和Ollama系列的模型，现在将通过进一步的学习，让Spring AI集成大语言模型更高阶的用法，使得我们能完成更复杂的需求。

---

二、术语

2.1、Spring AI

  是 Spring 生态系统的一个新项目，它简化了 Java 中 AI 应用程序的创建。它提供以下功能：

• 支持所有主要模型提供商，例如 OpenAI、Microsoft、Amazon、Google 和 Huggingface。
  
• 支持的模型范例包括“聊天”和“文本到图像”，还有更多模型范例正在开发中。
  
• 跨 AI 提供商的可移植 API，用于聊天和嵌入模型。
  
• 支持同步和流 API 选项。
  
• 支持下拉访问模型特定功能。
  
• AI 模型输出到 POJO 的映射。
  

2.2、Function Call

     是 GPT API 中的一项新功能。它可以让开发者在调用 GPT系列模型时，描述函数并让模型智能地输出一个包含调用这些函数所需参数的 JSON 对象。这种功能可以更可靠地将 GPT 的本领与外部工具和 API 举行毗连。
    简单来说就是开放了自定义插件的接口，通过接入外部工具，增强模型的本领。
Spring AI集成Function Call：
Function Calling :: Spring AI Reference

---

三、前置条件

3.1、JDK 17+

    下载地址：Java Downloads | Oracle
    

  
3.2、创建Maven项目

    SpringBoot版本为3.2.3

1. <parent>
2.     <groupId>org.springframework.boot</groupId>
3.     <artifactId>spring-boot-starter-parent</artifactId>
4.     <version>3.2.3</version>
5.     <relativePath/> <!-- lookup parent from repository -->
6. </parent>

复制代码

3.3、导入Maven依靠包

1. <dependency>
2.         <groupId>org.projectlombok</groupId>
3.         <artifactId>lombok</artifactId>
4.         <optional>true</optional>
5. </dependency>
7. <dependency>
8.         <groupId>ch.qos.logback</groupId>
9.         <artifactId>logback-core</artifactId>
10. </dependency>
12. <dependency>
13.         <groupId>ch.qos.logback</groupId>
14.         <artifactId>logback-classic</artifactId>
15. </dependency>
17. <dependency>
18.         <groupId>cn.hutool</groupId>
19.         <artifactId>hutool-core</artifactId>
20.         <version>5.8.24</version>
21. </dependency>
23. <dependency>
24.         <groupId>org.springframework.ai</groupId>
25.         <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
26.         <version>0.8.0</version>
27. </dependency>

复制代码

3.4、 科学上网的软件

---

四、技术实现

4.1、新增设置

1. spring:
2.   ai:
3.     openai:
4.       api-key: sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
5.       chat:
6.         options:
7.           model: gpt-3.5-turbo
8.           temperature: 0.45
9.           max_tokens: 4096
10.           top-p: 0.9

复制代码

  PS:

•   openai要替换本身的api-key
  
•   模型参数根据实际情况调整
  

 4.2、新增当地方法类（用于当地回调的function）

1. import com.fasterxml.jackson.annotation.JsonClassDescription;
2. import com.fasterxml.jackson.annotation.JsonInclude;
3. import com.fasterxml.jackson.annotation.JsonProperty;
4. import com.fasterxml.jackson.annotation.JsonPropertyDescription;
5. import lombok.extern.slf4j.Slf4j;
7. import java.util.function.Function;
9. @Slf4j
10. public class WeatherService implements Function<WeatherService.Request, WeatherService.Response> {
12.     /**
13.      * Weather Function request.
14.      */
15.     @JsonInclude(JsonInclude.Include.NON_NULL)
16.     @JsonClassDescription("Weather API request")
17.     public record Request(@JsonProperty(required = true,
18.             value = "location") @JsonPropertyDescription("The city and state e.g.广州") String location) {
19.     }
22.     /**
23.      * Weather Function response.
24.      */
25.     public record Response(String weather) {
26.     }
28.     @Override
29.     public WeatherService.Response apply(WeatherService.Request request) {
30.         log.info("location: {}", request.location);
31.         String weather = "";
32.         if (request.location().contains("广州")) {
33.             weather = "小雨转阴 13~19°C";
34.         } else if (request.location().contains("深圳")) {
35.             weather = "阴 15~26°C";
36.         } else {
37.             weather = "热到中暑 99~100°C";
38.         }
40.         return new WeatherService.Response(weather);
41.     }
42. }

复制代码

 4.3、新增设置类

1. import org.springframework.ai.model.function.FunctionCallback;
2. import org.springframework.ai.model.function.FunctionCallbackWrapper;
3. import org.springframework.context.annotation.Bean;
4. import org.springframework.context.annotation.Configuration;
5. import org.springframework.context.annotation.Description;
7. import java.util.function.Function;
10. @Configuration
11. public class FunctionConfig {
14.     @Bean
15.     public FunctionCallback weatherFunctionInfo() {
16.         return new FunctionCallbackWrapper<WeatherService.Request, WeatherService.Response>("currentWeather", // (1) function name
17.                 "Get the weather in location", // (2) function description
18.                 new WeatherService()); // function code
19.     }
20. }

复制代码

 4.4、新增Controller类

1. import cn.hutool.core.collection.CollUtil;
2. import cn.hutool.core.map.MapUtil;
3. import jakarta.servlet.http.HttpServletResponse;
4. import lombok.extern.slf4j.Slf4j;
5. import org.apache.commons.lang3.StringUtils;
6. import org.springframework.ai.chat.Generation;
7. import org.springframework.ai.chat.messages.AssistantMessage;
8. import org.springframework.ai.chat.messages.Message;
9. import org.springframework.ai.chat.messages.UserMessage;
10. import org.springframework.ai.chat.prompt.Prompt;
11. import org.springframework.ai.chat.prompt.SystemPromptTemplate;
12. import org.springframework.ai.openai.OpenAiChatClient;
13. import org.springframework.ai.openai.OpenAiChatOptions;
14. import org.springframework.beans.factory.annotation.Autowired;
15. import org.springframework.web.bind.annotation.RequestMapping;
16. import org.springframework.web.bind.annotation.RestController;
17. import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;
19. import java.util.List;
21. @Slf4j
22. @RestController
23. @RequestMapping("/api")
24. public class OpenaiTestController {
25.     @Autowired
26.     private OpenAiChatClient openAiChatClient;
29.     @RequestMapping("/function_call")
30.     public String function_call(){
31.         String systemPrompt = "{prompt}";
32.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
34.         String userPrompt = "广州的天气如何？";
35.         Message userMessage = new UserMessage(userPrompt);
37.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "你是一个有用的人工智能助手"));
39.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage), OpenAiChatOptions.builder().withFunction("currentWeather").build());
41.         List<Generation> response = openAiChatClient.call(prompt).getResults();
43.         String result = "";
45.         for (Generation generation : response){
46.             String content = generation.getOutput().getContent();
47.             result += content;
48.         }
50.         return result;
52.     }
53. }

复制代码

---

五、测试

调用结果：
  浏览器输出：

  idea输出：

---

六、附带说明

6.1、流式模式不支持Function Call

6.2、更多的模型参数设置

OpenAI Chat :: Spring AI Reference

6.3、qwen系列模型如何支持function call

 通过vllm启动兼容openai接口的api_server，命令如下：

1. python -m vllm.entrypoints.openai.api_server --served-model-name Qwen1.5-7B-Chat --model Qwen/Qwen1.5-7B-Chat

复制代码

   详细教程参见：
  使用以下代码举行测试：

1. # Reference: https://openai.com/blog/function-calling-and-other-api-updates
2. import json
3. from pprint import pprint
5. import openai
7. # To start an OpenAI-like Qwen server, use the following commands:
8. #   git clone https://github.com/QwenLM/Qwen-7B;
9. #   cd Qwen-7B;
10. #   pip install fastapi uvicorn openai pydantic sse_starlette;
11. #   python openai_api.py;
12. #
13. # Then configure the api_base and api_key in your client:
14. openai.api_base = 'http://localhost:8000/v1'
15. openai.api_key = 'none'
18. def call_qwen(messages, functions=None):
19.     print('input:')
20.     pprint(messages, indent=2)
21.     if functions:
22.         response = openai.ChatCompletion.create(model='Qwen',
23.                                                 messages=messages,
24.                                                 functions=functions)
25.     else:
26.         response = openai.ChatCompletion.create(model='Qwen',
27.                                                 messages=messages)
28.     response = response.choices[0]['message']
29.     response = json.loads(json.dumps(response,
30.                                      ensure_ascii=False))  # fix zh rendering
31.     print('output:')
32.     pprint(response, indent=2)
33.     print()
34.     return response
37. def test_1():
38.     messages = [{'role': 'user', 'content': '你好'}]
39.     call_qwen(messages)
40.     messages.append({'role': 'assistant', 'content': '你好！很高兴为你提供帮助。'})
42.     messages.append({
43.         'role': 'user',
44.         'content': '给我讲一个年轻人奋斗创业最终取得成功的故事。故事只能有一句话。'
45.     })
46.     call_qwen(messages)
47.     messages.append({
48.         'role':
49.         'assistant',
50.         'content':
51.         '故事的主人公叫李明，他来自一个普通的家庭，父母都是普通的工人。李明想要成为一名成功的企业家。……',
52.     })
54.     messages.append({'role': 'user', 'content': '给这个故事起一个标题'})
55.     call_qwen(messages)
58. def test_2():
59.     functions = [
60.         {
61.             'name_for_human':
62.             '谷歌搜索',
63.             'name_for_model':
64.             'google_search',
65.             'description_for_model':
66.             '谷歌搜索是一个通用搜索引擎，可用于访问互联网、查询百科知识、了解时事新闻等。' +
67.             ' Format the arguments as a JSON object.',
68.             'parameters': [{
69.                 'name': 'search_query',
70.                 'description': '搜索关键词或短语',
71.                 'required': True,
72.                 'schema': {
73.                     'type': 'string'
74.                 },
75.             }],
76.         },
77.         {
78.             'name_for_human':
79.             '文生图',
80.             'name_for_model':
81.             'image_gen',
82.             'description_for_model':
83.             '文生图是一个AI绘画（图像生成）服务，输入文本描述，返回根据文本作画得到的图片的URL。' +
84.             ' Format the arguments as a JSON object.',
85.             'parameters': [{
86.                 'name': 'prompt',
87.                 'description': '英文关键词，描述了希望图像具有什么内容',
88.                 'required': True,
89.                 'schema': {
90.                     'type': 'string'
91.                 },
92.             }],
93.         },
94.     ]
96.     messages = [{'role': 'user', 'content': '（请不要调用工具）\n\n你好'}]
97.     call_qwen(messages, functions)
98.     messages.append({
99.         'role': 'assistant',
100.         'content': '你好！很高兴见到你。有什么我可以帮忙的吗？'
101.     }, )
103.     messages.append({'role': 'user', 'content': '搜索一下谁是周杰伦'})
104.     call_qwen(messages, functions)
105.     messages.append({
106.         'role': 'assistant',
107.         'content': '我应该使用Google搜索查找相关信息。',
108.         'function_call': {
109.             'name': 'google_search',
110.             'arguments': '{"search_query": "周杰伦"}',
111.         },
112.     })
114.     messages.append({
115.         'role': 'function',
116.         'name': 'google_search',
117.         'content': 'Jay Chou is a Taiwanese singer.',
118.     })
119.     call_qwen(messages, functions)
120.     messages.append(
121.         {
122.             'role': 'assistant',
123.             'content': '周杰伦（Jay Chou）是一位来自台湾的歌手。',
124.         }, )
126.     messages.append({'role': 'user', 'content': '搜索一下他老婆是谁'})
127.     call_qwen(messages, functions)
128.     messages.append({
129.         'role': 'assistant',
130.         'content': '我应该使用Google搜索查找相关信息。',
131.         'function_call': {
132.             'name': 'google_search',
133.             'arguments': '{"search_query": "周杰伦 老婆"}',
134.         },
135.     })
137.     messages.append({
138.         'role': 'function',
139.         'name': 'google_search',
140.         'content': 'Hannah Quinlivan'
141.     })
142.     call_qwen(messages, functions)
143.     messages.append(
144.         {
145.             'role': 'assistant',
146.             'content': '周杰伦的老婆是Hannah Quinlivan。',
147.         }, )
149.     messages.append({'role': 'user', 'content': '用文生图工具画个可爱的小猫吧，最好是黑猫'})
150.     call_qwen(messages, functions)
151.     messages.append({
152.         'role': 'assistant',
153.         'content': '我应该使用文生图API来生成一张可爱的小猫图片。',
154.         'function_call': {
155.             'name': 'image_gen',
156.             'arguments': '{"prompt": "cute black cat"}',
157.         },
158.     })
160.     messages.append({
161.         'role':
162.         'function',
163.         'name':
164.         'image_gen',
165.         'content':
166.         '{"image_url": "https://image.pollinations.ai/prompt/cute%20black%20cat"}',
167.     })
168.     call_qwen(messages, functions)
171. def test_3():
172.     functions = [{
173.         'name': 'get_current_weather',
174.         'description': 'Get the current weather in a given location.',
175.         'parameters': {
176.             'type': 'object',
177.             'properties': {
178.                 'location': {
179.                     'type': 'string',
180.                     'description':
181.                     'The city and state, e.g. San Francisco, CA',
182.                 },
183.                 'unit': {
184.                     'type': 'string',
185.                     'enum': ['celsius', 'fahrenheit']
186.                 },
187.             },
188.             'required': ['location'],
189.         },
190.     }]
192.     messages = [{
193.         'role': 'user',
194.         # Note: The current version of Qwen-7B-Chat (as of 2023.08) performs okay with Chinese tool-use prompts,
195.         # but performs terribly when it comes to English tool-use prompts, due to a mistake in data collecting.
196.         'content': '波士顿天气如何？',
197.     }]
198.     call_qwen(messages, functions)
199.     messages.append(
200.         {
201.             'role': 'assistant',
202.             'content': None,
203.             'function_call': {
204.                 'name': 'get_current_weather',
205.                 'arguments': '{"location": "Boston, MA"}',
206.             },
207.         }, )
209.     messages.append({
210.         'role':
211.         'function',
212.         'name':
213.         'get_current_weather',
214.         'content':
215.         '{"temperature": "22", "unit": "celsius", "description": "Sunny"}',
216.     })
217.     call_qwen(messages, functions)
220. def test_4():
221.     from langchain.agents import AgentType, initialize_agent, load_tools
222.     from langchain.chat_models import ChatOpenAI
224.     llm = ChatOpenAI(
225.         model_name='Qwen',
226.         openai_api_base='http://localhost:8000/v1',
227.         openai_api_key='EMPTY',
228.         streaming=False,
229.     )
230.     tools = load_tools(['arxiv'], )
231.     agent_chain = initialize_agent(
232.         tools,
233.         llm,
234.         agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
235.         verbose=True,
236.     )
237.     # TODO: The performance is okay with Chinese prompts, but not so good when it comes to English.
238.     agent_chain.run('查一下论文 1605.08386 的信息')
241. if __name__ == '__main__':
242.     print('### Test Case 1 - No Function Calling (普通问答、无函数调用) ###')
243.     test_1()
244.     print('### Test Case 2 - Use Qwen-Style Functions (函数调用，千问格式) ###')
245.     test_2()
246.     print('### Test Case 3 - Use GPT-Style Functions (函数调用，GPT格式) ###')
247.     test_3()
248.     print('### Test Case 4 - Use LangChain (接入Langchain) ###')
249.     test_4()

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。