IT评测·应用市场-qidao123.com

标题: 本地算力部署大模型详细流程（一） [打印本页]

---

作者: 石小疯    时间: 2025-3-14 21:48
标题: 本地算力部署大模型详细流程（一）
1、版本选择

   本地部署就是本身部署deepseek模型，使用本地的算力。
  

• 主要瓶颈：内存+显存的大小。
  
• 特点：此方案不消联网。
  
• 适合：有数据隐私方面担忧的大概保密单位根本就不能上网的。
  

  

2、部署过程

   比较流行的是使用ollama：https://ollama.com/
Ollama（在本地作为服务端，可以是别的平台）+ Open WebUI等（https://github.com/open-webui/open-webui，前端，可以是别的工具如Chrome插件Page Assist或Anything LLM）
  步骤1：下载Ollama

步骤2：安装Ollama

自定义Ollama安装路径

手动创建Ollama安装目录

   起首在你想安装的路劲下创建好一个文件夹，并把Ollama的安装包放在内里。比如我的是：D:\softw\Ollama
  

在文件路径上输入CMD回车

输入命令符安装

   然后再CMD窗口输入：OllamaSetup.exe /DIR=D:\softw\Ollama
语法：软件名称 /DIR=这里放你上面创建好的Ollama指定目录
  

手动创建大模型存储目录

添加环境变量

   右键“我的电脑”，选择“属性”，按如下方式配置：
  

注意：修改完之后，需要重启Ollama客户端，右键图标，选择退出，重新运行Ollama

验证安装

   ”win+r“输入cmd
  命令行输入如下：

1. ollama -v

复制代码

能显示ollama版本阐明安装乐成。
步骤3：选择r1模型

• b代表10亿参数量，8b就是80亿参数量。这里的671B是HuggingFace经过4-bit 标准量化的，以是大小是404GB。
  
• ollama 支持 CPU 与 GPU 混合推理。将内存与显存之和大致视为系统的 “总内存空间”。
  

步骤4：本地运行DeepSeek模型

   在命令行中，输入如下命令：

1. ollama run deepseek-r1:8b

复制代码

   下载支持断点续传，如果下载中速度变慢，可以鼠标点击命令行窗口，然后ctrl+c取消，取消后按方向键“上”，可以找到上一条命令，即”ollama run deepseek-r1:8b

“，按下回车会重新链接，按照之前进度接着下载。
  下载完成后，主动进入模型，直接在命令行输入标题，即可得到回复。

• 比如：打个招呼！
  

• 获取帮助：
  

1. /?

复制代码

• 退出对话：
  

1. /bye

复制代码

步骤5：查看已有模型

1. ollama list

复制代码

后续要运行模型，仍然使用之前的命令：

1. ollama run deepseek-r1:8b

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)

Powered by Discuz! X3.4