springai结合ollama
目次https://i-blog.csdnimg.cn/direct/449f52a035c5429e9576b57149bdf0f8.png
ollama
介绍
使用
下载：
安装：
点击这个玩意next就行了。
运行
spring ai使用ollama调用本地部署的大模子
加依靠
设置yml
写代码
ollama
介绍
Ø官网：Ollama
ØOllama是一个用于部署和运行各种开源大模子的工具；
Ø它能够资助用户快速在本地运行各种大模子，极大地简化了大模子在本地运行的过程。
Ø用户通过执行几条命令就能在本地运行开源大模子，如Llama2等；
Ø综上，Ollama是一个大模子部署运行工具，在该工具里面可以部署运行各种大模子，方便开发者在本地搭建一套大模子运行环境；
使用
下载：
Download Ollama on macOS
安装：
https://i-blog.csdnimg.cn/direct/83fdeff925bc4fa68787738f6000cac7.png
点击这个玩意next就行了。
运行
ollama run qwen:0.5b-chat（大模子的名字去ollama官网找：library）
后面这个qwen:0.5b-chat是模子名字，你需要自己去找对应的想用的模子
注意：默认的ollama api会监听11434端口，可以使用命令进行查看（如下）
netstat-ano | findstr 11434
spring ai使用ollama调用本地部署的大模子
加依靠
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency> 设置yml
https://i-blog.csdnimg.cn/direct/ccd9debc77b84720b2c7a48fca3f681e.png
因为ollama这个依靠默认用的是minster这个大模子，为了能使用别的大模子，我们可以在设置文件中标明
chat:
option:
model: xxxxx(模子名字)
其他设置默认的，直接抄就行。
写代码
import jakarta.annotation.Resource;
import org.springframework.ai.ollama.OllamaChatClient;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class olllamacoll {
@Resource
private OllamaChatClient ollamaChatClient;
@RequestMapping(value = "/ai/ollama")
public Object ollama(@RequestParam(value = "msq") String msq){
String called=ollamaChatClient.call(msq);
return called;
}
}
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]