【大模型】Ubuntu下安装ollama，DeepSseek-R1:32b的当地部署和运行
1 ollama 的安装与设置ollama官网链接：https://ollama.com/
[*]在左上角的【Models】中展示了ollama支持的模型
[*]在正中间的【Download】中课可以下载支持平台中的安装包。
https://i-blog.csdnimg.cn/direct/3733c5cd14e846ad9883988ac601ee7b.png#pic_center
其安装和模型路径设置操作流程如下：
[*]ollama的安装
这里选择命令安装curl -fsSL https://ollama.com/install.sh | sh
精确安装后，检察安装的ollama版本ollama --version
[*]启动ollama服务ollama serve
若报端口被占用，则检察端口的利用情况sudo lsof -i :11434
[*]下载模型默认路径的修改（可选，推荐）
正常来说，就可以下载和运行模型了。但大模型一般来说比较大，最好将模型下载默认路径设置在挂载的数据盘上。默认情况下，ollama模型的存储目次为 /usr/share/ollama/.ollama/models。
修改默认路径的操作如下：
[*]创建路径并修改权限# 这里设置路径为 /opt/ai-platform/lldataset/ollama/
sudo mkdir /opt/ai-platform/lldataset/ollama/
sudo chmod -R 777 /opt/ai-platform/lldataset/ollama/
[*]制止服务并修改设置文件sudo systemctl stop ollama
sudo nano /etc/systemd/system/ollama.service
打开文件后，添加内容Environment="OLLAMA_MODELS=/opt/ai-platform/lldataset/ollama/"
Environment="OLLAMA_HOST=0.0.0.0:11434"
# 按下 Ctrl + O 保存文件。
# 按下 Enter 确认保存。
# 按下 Ctrl + X 退出编辑器。
[*]启动ollama并检察其状态sudo systemctl daemon-reload
sudo systemctl restart ollama.service
sudo systemctl status ollama.service
若精确启动则如下图https://i-blog.csdnimg.cn/direct/862c9d032a72439a9a3f3986df9bfdde.png#pic_center
2 ollama运行大模型
ollama下载和运行大模型跟简单，即ollama run <模型名称>。若未下载，则先下载再运行；若已下载，则试接运行。
现实利用中，必要根据自己设备资源支持，去下载某个大模型的某个版本。以deepseek-r1为例，详细操作为：
[*]搜刮栏中搜刮【deepseek-r1】
https://i-blog.csdnimg.cn/direct/9d710f3aa5ec4f67a4a65c286877c89e.png#pic_center
[*]根据自己服务器的显存大小，选择合适的模型版本。复制命令ollama run deepseek-r1:32b
https://i-blog.csdnimg.cn/direct/b3949dcb76cc4704afeb85f817ebff00.png#pic_center
拉取成功后即可进行问答。从deepseek答复的think中，能看出它是个讨好型的大模型…
https://i-blog.csdnimg.cn/direct/c3bfeb6d68254fc08342a941d0451170.png#pic_center
https://i-blog.csdnimg.cn/direct/346bfec3ea784a318355b084b0ee41e6.png#pic_center
3 交互界面 ChatBox
服务器上部署好了deepseek，然后在同局域网下的本机，可安装windows版本的chatbox，进行界面中的问答。chatbox的下载链接 https://chatboxai.app/zh。下载windows平台下的应用，双击安装。
[*]左下角的【设置】
[*]【模型提供方】选择【OLLAMA API】。
[*]【模型】中会出现服务器中ollama已经拉取的模型列表。选择想要利用的模型。
[*]点击【保存】
[*]点击左下角的【新对话】，然后就可以进行大模型问答
https://i-blog.csdnimg.cn/direct/b3d14131d33544dfa2432264cca76c34.png#pic_center
https://i-blog.csdnimg.cn/direct/3d9977f521f04cef827670706b5f90ee.png#pic_center
4 DeepSeek-R1-Distill-Qwen-32B的简单先容
【DeepSeek R1】
[*]是一款拥有 6710 亿参数的大型混合专家（MoE）模型。通过强化学习（RL）和监督微调（SFT）相结合的方式训练，DeepSeek R1 的推理本领得到了显著提升。
【DeepSeek-R1-Distill-Qwen-32B】
通过将 DeepSeek R1 的推理模式蒸馏到更小的模型中，实现了更高效的性能。 在该模型中
[*] DeepSeek 和 Qwen 的关系是基于知识蒸馏的师生关系：
[*]DeepSeek-R1 是教师模型：它是一个经过大规模强化学习训练的强盛推理模型，具有复杂的结构和巨大的参数量。DeepSeek-R1 在数学、编程、逻辑推理等任务上体现出色，能够天生高质量的预测效果。
[*]Qwen-32B 是学生模型：它是一个参数量较小的模型，通过学习 DeepSeek-R1 的输出来提升自己的推理本领。在蒸馏过程中，DeepSeek-R1 天生的推理轨迹和预测效果被用作“教学材料”，Qwen-32B 通过模拟这些输出来学习。
[*] 蒸馏过程
[*]数据天生：DeepSeek-R1 天生了 800K 条高质量的推理数据，这些数据包括数学、编程、逻辑推理等任务。这些数据被用作蒸馏过程中的“教学材料”。
[*]训练过程：Qwen-32B 作为学生模型，输入这些数据并实验天生与 DeepSeek-R1 相似的推理轨迹和预测效果。通过监督微调（SFT），Qwen-32B 的参数不断优化，使其输出逐渐逼近 DeepSeek-R1。
[*]性能提升：经过蒸馏的 Qwen-32B 在多个基准测试中体现出色，比方在 AIME 2024 上得分 72.6%，在 MATH-500 上得分 94.3%，在 LiveCodeBench 上得分 57.2%。这些效果显著优于直接在 Qwen-32B 上进行强化学习的效果。
通过这种知识蒸馏的方式，DeepSeek-R1 的推理本领被高效地迁移到了 Qwen-32B 中，使得 Qwen-32B 在推理任务上能够达到与 DeepSeek-R1 相称的性能。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]