基于ollama，langchain，springboot从零搭建知识库二【简单的与大模子进行 ...

构建springboot项目，基于jdk17

添加langchain4j依赖（本demo仅支持ollama）

构建好项目之后就开始写代码啦
首先修改application.yml

1. server:
2.   tomcat:
3.     uri-encoding: utf-8
4.   port: 8888
5. spring:
6.   # 应用名称
7.   application:
8.     name: studyllm
9.   # 默认执行的配置文件
10.   main:
11.     allow-bean-definition-overriding: true

复制代码

接着，新增一个ChatController类

1. package com.example.studyllm.ollama;
3. import dev.langchain4j.data.message.AiMessage;
4. import dev.langchain4j.data.message.SystemMessage;
5. import dev.langchain4j.data.message.UserMessage;
6. import dev.langchain4j.model.chat.ChatLanguageModel;
7. import dev.langchain4j.model.ollama.OllamaChatModel;
8. import dev.langchain4j.model.output.Response;
9. import org.springframework.web.bind.annotation.GetMapping;
10. import org.springframework.web.bind.annotation.RequestMapping;
11. import org.springframework.web.bind.annotation.RestController;
13. @RestController
14. @RequestMapping("/ollama")
15. public class ChatController {
17.     @GetMapping("/chat")
18.     public String chat(String message){
19.         ChatLanguageModel model = buildModel();
20.         Response<AiMessage> response = model.generate
21.                 (new SystemMessage("你是一个国产大模型，请使用中文回复所有问题")
22.                         ,new UserMessage(message));
23.         return response.content().text();
24.     }
26.     private ChatLanguageModel buildModel(){
27.         return OllamaChatModel.builder()
28.                 .baseUrl("http://127.0.0.1:11434")
29.                 .modelName("qwen:4b")
30.                 .temperature(0.1)
31.                 .logRequests(true)
32.                 .logResponses(true)
33.                 .build();
34.     }
35. }

复制代码

至此，就可以通过http://localhost:8888/ollama/chat 接口跟大模子进行对话啦

若需要使用流式输出可以调整为：
在pom中引入依赖：

1. <dependency>
2.             <groupId>dev.langchain4j</groupId>
3.             <artifactId>langchain4j-reactor</artifactId>
4.             <version>0.36.0</version>
5.         </dependency>

复制代码

1. package com.example.studyllm.ollama;
3. import dev.langchain4j.data.message.AiMessage;
4. import dev.langchain4j.data.message.SystemMessage;
5. import dev.langchain4j.data.message.UserMessage;
6. import dev.langchain4j.memory.chat.MessageWindowChatMemory;
7. import dev.langchain4j.model.chat.ChatLanguageModel;
8. import dev.langchain4j.model.chat.StreamingChatLanguageModel;
9. import dev.langchain4j.model.ollama.OllamaChatModel;
10. import dev.langchain4j.model.ollama.OllamaStreamingChatModel;
11. import dev.langchain4j.model.output.Response;
12. import dev.langchain4j.service.AiServices;
13. import org.springframework.web.bind.annotation.GetMapping;
14. import org.springframework.web.bind.annotation.RequestMapping;
15. import org.springframework.web.bind.annotation.RestController;
16. import reactor.core.publisher.Flux;
18. @RestController
19. @RequestMapping("/ollama")
20. public class ChatController {
22.     @GetMapping(value="/chat", produces = "text/event-stream")
23.     public Flux<String> chat(){
24.         String message = "中國首都是哪裡";
25.         StreamingChatLanguageModel model = buildModel();
26.         Assistant assistant = AiServices.builder(Assistant.class)
27.                 .streamingChatLanguageModel(model)
28.                 .chatMemory(MessageWindowChatMemory.withMaxMessages(10))
29.                 .build();
31.         return assistant.chat(message);
32.     }
34.     private StreamingChatLanguageModel buildModel(){
35.         return OllamaStreamingChatModel.builder()
36.                 .baseUrl("http://127.0.0.1:11434")
37.                 .modelName("qwen-4b")
38.                 .temperature(0.1)
39.                 .build();
40.     }
41. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。