媒介：技能简介
酷爱的家人们，创作很不轻易，若对您有帮助的话，请点赞收藏加关注哦，您的关注是我连续创作的动力，谢谢各人！有题目请私信或联系邮箱：fn_kobe@163.com
①Ollama
Ollama是一种用于管理和摆设大语言模型（LLMs）的平台工具，支持当地运行和模型管理，便于开辟者快速调用大模型能力。
②Llama3
Llama3是Meta开辟的新一代大语言模型，以其高效的训练机制和更低的资源需求为特色，支持更复杂的天然语言处理使命。
③OpenWebUI
OpenWebUI是一种开源用户界面工具，旨在为大语言模型提供直观、可交互的界面，适用于各种场景下的模型摆设和交互。
④Hyper-V
Hyper-V是微软推出的虚拟化平台，用于创建和管理虚拟机，广泛应用于开辟和测试情况，可以或许高效运行多种操作系统，支持虚拟化的资源分配。
结合利用场景
利用 Hyper-V 摆设虚拟化情况，在虚拟机中搭建基于OpenWebUI的交互界面，通过Ollama管理并加载Llama 3模型，完成高效的天然语言处理使命。
一、笔者电脑设置
笔者电脑设置如下：
①OS：Win11
②内存：64G
③磁盘：1.5T
④CPU：14核 20线程
⑤GPU：RTX3060
ps:内存只管在16G以上
二、安装Ollama
2.1、下载Ollama安装包
①登录Ollama官网下载Ollama安装包，选择相应操作系统，建议另存安装C盘以外地方
2.2、安装Ollama
①Windows下安装Ollama简单，双击.exe运行安装
②打开win+r终端，输入cmd，命令行输入ollama，若出现下图所示则安装成功
2.3、设置Ollama模型路径（超级重要）
2.3.1、模型路径原设置
因为windows 的安装默认不支持修改程序安装目录，
①默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama
②默认安装的模型目录：C:\Users\username\ .ollama
③默认的设置文件目录：C:\Users\username\AppData\Local\Ollama
2.3.2、更改模型路径原设置
由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中，制止C盘容量告急，需要设置情况变量OLLAMA_MODELS，设置为指定的路径，如F:\LLM\ollama
①窗口搜索情况变量并打开
②依次实验并添加系统情况变量：变量名：OLLAMA_MODELS 变量值：F:\LLM\ollama（添加自己电脑的文件目录即可），末了一定要依次点击确定
2.4、下载llama3模型
2.4.1、llama3模型选择
①llama3目前主要有8B和70B两个模型，分别代表80亿和700亿个训练参数。默认安装8B模型
8B模型：16GB内存跑很流通
70B模型：至少需要64GB内存，有CPU能跑，有GPU更好
2.4.2、摆设llama3模型：8B
①win + r打开终端，输入cmd，输入ollama run llama3，默认安装8B。或者指定安装的模型，命令如下：ollama run llama3:70b。安装过程比较漫长，约20分钟左右，成功会有如下提示：
2.4.3、模型问答测试
至此：llama3当地摆设已完成
留意事项：
①llama3对中文的支持并不友好，需要中文的利用GitHub上开源llama3中文微调模型
②由于终端问答测试不美观，需要安装OpenWebUI在Web端测试
三、安装OpenWebUI
3.1、安装Docker
3.1.1、下载Docker
下载地点
3.1.2、启动微软Hyper-V
①依次操作：控制面板→查察方式-→程序→启用或关闭Windows功能→勾选Hyper-V→重启电脑后安装成功
留意事项：
①若没有Hyper-V选项，利用如下命令安装
- pushd "%~dp0"
- dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hv.txt
- for /f %%i in ('findstr /i . hv.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
- del hv.txt
- Dism /online /enable-feature /featurename:Microsoft-Hyper-V -All /LimitAccess /ALL
- Pause
3.1.3、安装Docker
①将3.1.1步骤中下载的.exe文件双击实验
②打开并测试Docker，一样平常用命令行操作
3.1.4、Docker切换国内镜像源
①操作如下：设置→Docker Engine→复制添加→Apply&restart
- {
- "registry-mirrors": [
- "https://82m9ar63.mirror.aliyuncs.com",
- "http://hub-mirror.c.163.com",
- "https://docker.mirrors.ustc.edu.cn"
- ],
- "builder": {
- "gc": {
- "defaultKeepStorage": "20GB",
- "enabled": true
- }
- },
- "experimental": false,
- "features": {
- "buildkit": true
- }
- }
安装地点
①进入github地点，下拉找到如图命令
②win+r后，cmd打开终端，输入命令：docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
ps:安装比较漫长，请耐心等待
3.3、Web访问测试
①访问地点：http://localhost:3000/。 前提是终端背景启动Docker DeskTop和llama3，启动方式如下：
llama3：win+r后，输入cmd，再输入命令：ollama run llama3
Docker DeskTop：双击快捷方式启动即可
②提问测试
四、总结与感谢
①利用Hyper-V创建虚拟化情况，通过Ollama高效管理和摆设Llama 3大语言模型，并结合OpenWebUI提供直观的交互界面，这些技能的结合可以或许实现高效、灵活的天然语言处理应用开辟与测试，适用于多种场景的智能化解决方案。
②以上内容和步骤亲测有效，如有题目请私信我，创作不易，酷爱的家人们多多支持哦！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
