大模型本地部署 Llama 3.1：Ollama、OpenWeb UI 和 Spring AI 的综合指南
本文先容如何使用 Ollama 在本地部署 Llama 3.1:8B 模型，并通过 OpenWeb UI 和 Spring AI 来加强模型交互体验和简化 API 的调用过程。https://i-blog.csdnimg.cn/direct/f0f704f8bed64d7baed91a0bed66a0bb.jpeg
Ollama
Ollama 是一个开源的大语言模型服务工具，旨在简化大模型的本地部署和运行过程。用户只需要输入一行下令（如： ollama run llama3.1 ），即可在本地硬件环境中部署和使用大语言模型。Ollama 还提供了 REST API 接口，下文中会先容如何使用 Spring AI 集成 Ollama，实现与大模型 API 接口的交互。
Ollama 支持下载 Llama、Gemma、qwen 和 glm4 等多种主流大语言模型和代码语言模型，我们可以在 官网 检察 Ollama 支持的全部模型及其相关信息和使用下令。 本机运行 7B 参数量的模型至少需要 8GB 内存，运行 13B 参数量的模型至少需要 16GB 内存，运行 33B 参数量的模型至少需要 32GB 内存。
模型参数大小使用下令Llama 3.18B4.7GBollama run llama3.1Llama 3.170B40GBollama run llama3.1:70bLlama 3.1405B231GBollama run llama3.1:405bGemma 29B5.5GBollama run gemma2Gemma 227B16GBollama run gemma2:27bqwen27B4.4GBollama run qwen2qwen272B41GBollama run qwen2:72bglm49B5.5GBollama run glm4 下载
访问 Ollama 官网，选择操作体系，然后点击 download 按钮进行下载。操作体系要求 MacOS 11 和 Windows 10 及以上版本。下载完成后的 Ollama 其实是一个下令行工具，我们可以直接在终端中使用 Ollama。（执行 ollama --help 可检察 Ollama 提供的的下令）
https://i-blog.csdnimg.cn/direct/51f454700f4b4a14a3cc406b8b5af3f3.jpeg
部署 Llama 3.1
在终端中执行下令 ollama run llama3.1 ，即可下载 Llama3.1:8B 模型。模型下载完成后，会自动启动大模型，进入下令行交互模式，直接输入指令，就可以和模型进行对话了。
https://i-blog.csdnimg.cn/direct/ae341ed4bb5f49c3ac6a4bf17cbcf06b.jpeg
通过 Ollama，我们轻松的实现了本地大模型的部署和下令行式的交互，但是为了更好的使用大模型，以及对大模型进行管理和配置等方面的需求，就需要借助 Ollama 社区中一些强大的工具了，其中代表性的工具之一是 OpenWeb UI（之前称为 Ollama WebUI）。
OpenWeb UI
OpenWeb UI 是一个功能丰富且易于使用的大模型管理工具，它为用户提供了一个直观的图形化界面，以及广泛的功能和灵活的配置选项。
[*]方便部署：使用 Docker 实现简单快捷的部署。
[*]用户友好的页面：国际化多语言支持，提供多种主题样式，相应式设计，模型参数、Prompt 等便捷配置。
[*]功能丰富：本地 RAG 支持，Web 浏览功能（可以在对话中访问网站），语音交互等。
[*]API 支持：支持 OpenAI API 和其他兼容 API。
[*]多模型支持：支持同时管理和操作多个大语言模型。
下载
部署 OpenWeb UI 需要使用 Docker 环境，我本机的 Docker 版本是 24.0.2。OpenWeb UI 提供了集成 Ollama 的部署方式， 因为 Ollama 已经下载到我本机上了，以是只需要执行以下下令即可完成部署。
sh
代码解读
复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
容器启动成功后，可以访问 3000 端口，检察页面。初次登岸需要先填写邮箱和暗码注册账号。登岸进来后，可以看到，OpenWeb UI 已经自动加载到了我们本地部署的 Llama3.1 模型。
https://i-blog.csdnimg.cn/direct/dcac556519664928be38fa143c2db840.jpeg
在模型编辑页面，我们可以修改模型的配置参数和 Prompt 等信息，并利用 Document 和 Tools 等工具来加强模型的能力和使用体验。
https://i-blog.csdnimg.cn/direct/4b17be0f8d8845a692764d763b19a18f.jpeg
Spring AI
Spring AI 是 Spring 生态里人工智能方向的应用框架，它提供了与各种大语言模型交互的高级抽象接口，极大地简化了Java 人工智能应用步伐的开发过程，让 Java 开发者也可以或许开发 AI 应用。
接下来将详细先容 Spring AI 的使用流程，以及如何调用 Ollama 的 API 接口，与我们本地的 Llama 3.1 进行交互。
集成 Ollama
[*]创建一个新的 Spring Boot 项目，版本要求 Spring Boot 3 + JDK 17。
[*]引入 Spring AI + Ollama 依靠。
xml
代码解读
复制代码
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>3.3.1</version>
<relativePath/> <!-- lookup parent from repository -->
</parent>
<groupId>com.cleaner</groupId>
<artifactId>culture-ai</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>Cleaner-ai</name>
<description>culture-ai</description>
<properties>
<java.version>17</java.version>
<spring-ai.version>1.0.0-SNAPSHOT</spring-ai.version>
</properties>
<dependencies>
<!-- ollama -->
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
<dependencyManagement>
<dependencies>
<!-- spring ai -->
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bom</artifactId>
<version>${spring-ai.version}</version>
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
<repositories>
<!-- spring ai -->
<repository>
<id>spring-milestones</id>
<name>Spring Milestones</name>
<url>https://repo.spring.io/milestone</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
<repository>
<id>spring-snapshots</id>
<name>Spring Snapshots</name>
<url>https://repo.spring.io/snapshot</url>
<releases>
<enabled>false</enabled>
</releases>
</repository>
</repositories>
</project>
[*]编写 application.yaml 配置文件，添加 Ollama 的相关配置。
yaml
代码解读
复制代码
server:
port: 8888
spring:
application:
name: Cleaner-AI
ai:
ollama:
# ollama API Server 地址
base-url: http://localhost:11434
chat:
enabled: true
# 使用的模型名称
model:
llama3.1:8b
options:
temperature: 0.7
[*]编写接口。
java
代码解读
复制代码
package com.cleaner.ai.controller;
import jakarta.annotation.Resource;
import org.springframework.ai.chat.messages.UserMessage;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;
@RestController
@RequestMapping("/ollama")
public class OllamaController {
@Resource
private OllamaChatModel ollamaChatModel;
/**
* 流式对话
*
* @param message 用户指令
* @return
*/
@GetMapping("/streamChat")
public Flux<ChatResponse> generateStream(@RequestParam("message") String message) {
message = "请使用中文简体回答：" + message;
Prompt prompt = new Prompt(new UserMessage(message));
return ollamaChatModel.stream(prompt);
}
/**
* 普通对话
* @param message 用户指令
* @return
*/
@GetMapping("/chat")
public String generate(@RequestParam("message") String message) {
message = "请使用中文简体回答：" + message;
Prompt prompt = new Prompt(new UserMessage(message));
ChatResponse chatResponse = ollamaChatModel.call(prompt);
String content = chatResponse.getResult().getOutput().getContent();
System.out.println("content = " + content);
return chatResponse.toString();
}
}
[*]调用接口，可以看到 API 接口调用成功。（8B 模型天生的回答内容照旧比较有限）
https://i-blog.csdnimg.cn/direct/5571abe3bda2482b95fa68d34cf83bd0.jpeg
总结
本地部署的大模型可以脱离网络离线使用，但是要达到实际使用的要求，还需要对模型进行细致化的配置，当然部署模型的参数量越大，使用结果会更好，但也要考虑本机电脑的配置限定。对于学习了解大模型及其相关的技术知识而言，在条件允许的环境下，本机部署确实是一个不错的选择。
如何体系的去学习大模型LLM ？
大模型期间，火爆出圈的LLM大模型让步伐员们开始重新评估本身的本事。 “AI会代替那些行业？”“谁的饭碗又将不保了？”等题目热议不停。
究竟上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产物后，很多中小企业也连续出场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通步伐员，另有应对的机遇吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，究竟AI期间，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，如今网上的老课程老教材关于LLM又太少。以是如今小白入门就只能靠自学，学习成本和门槛很高。
针对全部自学遇到困难的同学们，我帮大家体系梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业陈诉、LLM大模型学习视频、LLM大模型学习门路、开源大模型学习教程等,
页:
[1]