springai结合ollama

目次

ollama
介绍
使用
下载：
安装：
点击这个玩意next就行了。
运行
spring ai使用ollama调用本地部署的大模子
加依靠
设置yml
写代码

---

ollama

介绍

Ø官网：Ollama
ØOllama是一个用于部署和运行各种开源大模子的工具；
Ø它能够资助用户快速在本地运行各种大模子，极大地简化了大模子在本地运行的过程。
Ø用户通过执行几条命令就能在本地运行开源大模子，如Llama2等；
Ø综上，Ollama是一个大模子部署运行工具，在该工具里面可以部署运行各种大模子，方便开发者在本地搭建一套大模子运行环境；
使用

下载：

Download Ollama on macOS
安装：

点击这个玩意next就行了。

运行

ollama run qwen:0.5b-chat（大模子的名字去ollama官网找：library）
后面这个qwen:0.5b-chat是模子名字，你需要自己去找对应的想用的模子

注意：默认的ollama api会监听11434端口，可以使用命令进行查看（如下）
netstat-ano | findstr 11434
spring ai使用ollama调用本地部署的大模子

加依靠

1. <dependency>
3.    <groupId>org.springframework.ai</groupId>
5.    <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
7. </dependency>

复制代码

设置yml

因为ollama这个依靠默认用的是minster这个大模子，为了能使用别的大模子，我们可以在设置文件中标明
chat:
​ option:
​ model: xxxxx(模子名字)
其他设置默认的，直接抄就行。
写代码

1. import jakarta.annotation.Resource;
2. import org.springframework.ai.ollama.OllamaChatClient;
3. import org.springframework.web.bind.annotation.RequestMapping;
4. import org.springframework.web.bind.annotation.RequestParam;
5. import org.springframework.web.bind.annotation.RestController;
7. @RestController
8. public class olllamacoll {
9.     @Resource
10.     private OllamaChatClient ollamaChatClient;
11.      @RequestMapping(value = "/ai/ollama")
12.     public Object ollama(@RequestParam(value = "msq") String msq){
14.     String called=ollamaChatClient.call(msq);
15.          return called;
16.      }
17. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。