大模型本地部署 Llama 3.1：Ollama、OpenWeb UI 和 Spring AI 的综合指南 ...

本文先容如何使用 Ollama 在本地部署 Llama 3.1:8B 模型，并通过 OpenWeb UI 和 Spring AI 来加强模型交互体验和简化 API 的调用过程。
  

Ollama

Ollama 是一个开源的大语言模型服务工具，旨在简化大模型的本地部署和运行过程。用户只需要输入一行下令（如： ollama run llama3.1 ），即可在本地硬件环境中部署和使用大语言模型。Ollama 还提供了 REST API 接口，下文中会先容如何使用 Spring AI 集成 Ollama，实现与大模型 API 接口的交互。
Ollama 支持下载 Llama、Gemma、qwen 和 glm4 等多种主流大语言模型和代码语言模型，我们可以在 官网 检察 Ollama 支持的全部模型及其相关信息和使用下令。 本机运行 7B 参数量的模型至少需要 8GB 内存，运行 13B 参数量的模型至少需要 16GB 内存，运行 33B 参数量的模型至少需要 32GB 内存。
模型参数大小使用下令Llama 3.18B4.7GBollama run llama3.1Llama 3.170B40GBollama run llama3.1:70bLlama 3.1405B231GBollama run llama3.1:405bGemma 29B5.5GBollama run gemma2Gemma 227B16GBollama run gemma2:27bqwen27B4.4GBollama run qwen2qwen272B41GBollama run qwen2:72bglm49B5.5GBollama run glm4 下载

访问 Ollama 官网，选择操作体系，然后点击 download 按钮进行下载。操作体系要求 MacOS 11 和 Windows 10 及以上版本。下载完成后的 Ollama 其实是一个下令行工具，我们可以直接在终端中使用 Ollama。（执行 ollama --help 可检察 Ollama 提供的的下令）

部署 Llama 3.1

在终端中执行下令 ollama run llama3.1 ，即可下载 Llama3.1:8B 模型。模型下载完成后，会自动启动大模型，进入下令行交互模式，直接输入指令，就可以和模型进行对话了。

通过 Ollama，我们轻松的实现了本地大模型的部署和下令行式的交互，但是为了更好的使用大模型，以及对大模型进行管理和配置等方面的需求，就需要借助 Ollama 社区中一些强大的工具了，其中代表性的工具之一是 OpenWeb UI（之前称为 Ollama WebUI）。
OpenWeb UI

OpenWeb UI 是一个功能丰富且易于使用的大模型管理工具，它为用户提供了一个直观的图形化界面，以及广泛的功能和灵活的配置选项。

• 方便部署：使用 Docker 实现简单快捷的部署。
  
• 用户友好的页面：国际化多语言支持，提供多种主题样式，相应式设计，模型参数、Prompt 等便捷配置。
  
• 功能丰富：本地 RAG 支持，Web 浏览功能（可以在对话中访问网站），语音交互等。
  
• API 支持：支持 OpenAI API 和其他兼容 API。
  
• 多模型支持：支持同时管理和操作多个大语言模型。
  

下载

部署 OpenWeb UI 需要使用 Docker 环境，我本机的 Docker 版本是 24.0.2。OpenWeb UI 提供了集成 Ollama 的部署方式， 因为 Ollama 已经下载到我本机上了，以是只需要执行以下下令即可完成部署。

1. sh
2. 代码解读
3. 复制代码
4. docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

复制代码

容器启动成功后，可以访问 3000 端口，检察页面。初次登岸需要先填写邮箱和暗码注册账号。登岸进来后，可以看到，OpenWeb UI 已经自动加载到了我们本地部署的 Llama3.1 模型。

在模型编辑页面，我们可以修改模型的配置参数和 Prompt 等信息，并利用 Document 和 Tools 等工具来加强模型的能力和使用体验。

Spring AI

Spring AI 是 Spring 生态里人工智能方向的应用框架，它提供了与各种大语言模型交互的高级抽象接口，极大地简化了Java 人工智能应用步伐的开发过程，让 Java 开发者也可以或许开发 AI 应用。
接下来将详细先容 Spring AI 的使用流程，以及如何调用 Ollama 的 API 接口，与我们本地的 Llama 3.1 进行交互。
集成 Ollama

• 创建一个新的 Spring Boot 项目，版本要求 Spring Boot 3 + JDK 17。
  
• 引入 Spring AI + Ollama 依靠。
  

1. xml
2. 代码解读
3. 复制代码
4. <?xml version="1.0" encoding="UTF-8"?>
5. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
6.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
7.     <modelVersion>4.0.0</modelVersion>
8.     <parent>
9.         <groupId>org.springframework.boot</groupId>
10.         <artifactId>spring-boot-starter-parent</artifactId>
11.         <version>3.3.1</version>
12.         <relativePath/> <!-- lookup parent from repository -->
13.     </parent>
14.     <groupId>com.cleaner</groupId>
15.     <artifactId>culture-ai</artifactId>
16.     <version>0.0.1-SNAPSHOT</version>
17.     <name>Cleaner-ai</name>
18.     <description>culture-ai</description>
19.     <properties>
20.         <java.version>17</java.version>
21.         <spring-ai.version>1.0.0-SNAPSHOT</spring-ai.version>
22.     </properties>
23.     <dependencies>
24.         <!-- ollama -->
25.         <dependency>
26.             <groupId>org.springframework.ai</groupId>
27.             <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
28.         </dependency>
29.         <dependency>
30.             <groupId>org.springframework.boot</groupId>
31.             <artifactId>spring-boot-starter-web</artifactId>
32.         </dependency>
33.         <dependency>
34.             <groupId>org.springframework.boot</groupId>
35.             <artifactId>spring-boot-starter-test</artifactId>
36.             <scope>test</scope>
37.         </dependency>
38.     </dependencies>
39.     <dependencyManagement>
40.         <dependencies>
41.         <!-- spring ai -->
42.             <dependency>
43.                 <groupId>org.springframework.ai</groupId>
44.                 <artifactId>spring-ai-bom</artifactId>
45.                 <version>${spring-ai.version}</version>
46.                 <type>pom</type>
47.                 <scope>import</scope>
48.             </dependency>
49.         </dependencies>
50.     </dependencyManagement>
53.     <build>
54.         <plugins>
55.             <plugin>
56.                 <groupId>org.springframework.boot</groupId>
57.                 <artifactId>spring-boot-maven-plugin</artifactId>
58.             </plugin>
59.         </plugins>
60.     </build>
61.     <repositories>
62.         <!-- spring ai -->
63.         <repository>
64.             <id>spring-milestones</id>
65.             <name>Spring Milestones</name>
66.             <url>https://repo.spring.io/milestone</url>
67.             <snapshots>
68.                 <enabled>false</enabled>
69.             </snapshots>
70.         </repository>
71.         <repository>
72.             <id>spring-snapshots</id>
73.             <name>Spring Snapshots</name>
74.             <url>https://repo.spring.io/snapshot</url>
75.             <releases>
76.                 <enabled>false</enabled>
77.             </releases>
78.         </repository>
79.     </repositories>
82. </project>

复制代码

• 编写 application.yaml 配置文件，添加 Ollama 的相关配置。
  

1. yaml
2. 代码解读
3. 复制代码
4. server:
5.   port: 8888
6. spring:
7.   application:
8.     name: Cleaner-AI
9.   ai:
10.     ollama:
11.       # ollama API Server 地址
12.       base-url: http://localhost:11434
13.       chat:
14.         enabled: true
15.         # 使用的模型名称
16.         model:
17.           llama3.1:8b
18.         options:
19.           temperature: 0.7

复制代码

• 编写接口。
  

1. java
2. 代码解读
3. 复制代码
4. package com.cleaner.ai.controller;
6. import jakarta.annotation.Resource;
7. import org.springframework.ai.chat.messages.UserMessage;
8. import org.springframework.ai.chat.model.ChatResponse;
9. import org.springframework.ai.chat.prompt.Prompt;
10. import org.springframework.ai.ollama.OllamaChatModel;
11. import org.springframework.web.bind.annotation.GetMapping;
12. import org.springframework.web.bind.annotation.RequestMapping;
13. import org.springframework.web.bind.annotation.RequestParam;
14. import org.springframework.web.bind.annotation.RestController;
15. import reactor.core.publisher.Flux;
18. @RestController
19. @RequestMapping("/ollama")
20. public class OllamaController {
23.     @Resource
24.     private OllamaChatModel ollamaChatModel;
27.     /**
28.      * 流式对话
29.      *
30.      * @param message 用户指令
31.      * @return
32.      */
33.     @GetMapping("/streamChat")
34.     public Flux<ChatResponse> generateStream(@RequestParam("message") String message) {
35.         message = "请使用中文简体回答：" + message;
36.         Prompt prompt = new Prompt(new UserMessage(message));
37.         return ollamaChatModel.stream(prompt);
38.     }
40.     /**
41.      * 普通对话
42.      * @param message   用户指令
43.      * @return
44.      */
45.     @GetMapping("/chat")
46.     public String generate(@RequestParam("message") String message) {
47.         message = "请使用中文简体回答：" + message;
48.         Prompt prompt = new Prompt(new UserMessage(message));
49.         ChatResponse chatResponse = ollamaChatModel.call(prompt);
50.         String content = chatResponse.getResult().getOutput().getContent();
51.         System.out.println("content = " + content);
52.         return chatResponse.toString();
53.     }
54. }

复制代码

• 调用接口，可以看到 API 接口调用成功。（8B 模型天生的回答内容照旧比较有限）
  

总结

本地部署的大模型可以脱离网络离线使用，但是要达到实际使用的要求，还需要对模型进行细致化的配置，当然部署模型的参数量越大，使用结果会更好，但也要考虑本机电脑的配置限定。对于学习了解大模型及其相关的技术知识而言，在条件允许的环境下，本机部署确实是一个不错的选择。
如何体系的去学习大模型LLM ？

大模型期间，火爆出圈的LLM大模型让步伐员们开始重新评估本身的本事。 “AI会代替那些行业？”“谁的饭碗又将不保了？”等题目热议不停。
究竟上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产物后，很多中小企业也连续出场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通步伐员，另有应对的机遇吗？
与其焦虑……

不如成为「掌握AI工具的技术人」，究竟AI期间，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，如今网上的老课程老教材关于LLM又太少。以是如今小白入门就只能靠自学，学习成本和门槛很高。
针对全部自学遇到困难的同学们，我帮大家体系梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业陈诉、LLM大模型学习视频、LLM大模型学习门路、开源大模型学习教程等,