【AIGC】DeepSeek本地部署方法详解:基于Ollama与LM-Studio
本文重要先容怎样利用两种大模型部署工具——Ollama 和 LM-Studio,在本地环境下部署 DeepSeek。内容涵盖了两个工具的特征与优势、官方下载链接、安装与下载大模型的关键步调,以及通过表格对 DeepSeek 不同版本的性能要求、模型文件巨细和擅长范畴进行对比。一、 工具概述:Ollama 与 LM-Studio
1.Ollama(保举)
[*]特征与优势:
[*]易用性: 简便直观的用户界面,得当初学者与高级用户利用。
[*]高效部署: 优化的本地部署方案,支持多种大型语言模型,保证稳固高效的推理速度。
[*]灵活扩展: 允许自定义模型路径和参数配置,便于根据具体需求调整部署环境。
2.LM-Studio
[*]特征与优势:
[*]图形化配置: 直观的图形用户界面,简化大模型的导入与配置过程。
[*]强大管理: 支持多模型管理与参数调优,适应不同利用场景与需求。
[*]社区活泼: 拥有活泼的开发者社区,连续获得功能更新与技术支持。
二、安装与下载大模型的关键步调
利用 Ollama 部署 DeepSeek
[*] 环境预备:
[*]确认系统硬件满足最低要求(建议今世CPU和富足内存)。
[*]安装须要的依赖环境(如 Python、相干库等)。
[*] 下载与安装 Ollama:(需魔法访问)
[*]访问官方下载得当操作系统的安装包。
[*]按照安装向导完成软件安装。
鉴于需要魔法,为了方便大家使用,免费分享安装包:通过网盘分享的文件:OllamaSetup.exe
链接: https://pan.baidu.com/s/1_bV3Q_uiJEaSxqbN1dVuqw?pwd=8888 提取码: 8888
[*]官方下载与链接:
[*]Ollama 官网
[*]下载大模型:(下载速度快)
[*]powerShell命令输入下载指定模型,下载完成后就可以直接在窗口利用了。https://i-blog.csdnimg.cn/direct/0b8429c5c7ac4b6e91d93be38a14f7af.png
[*](可选)安装谷歌访问插件:
Page Assist - 本地 AI 模型的 Web UI (需魔法访问谷歌商店,也可以**点这里获取**)
https://i-blog.csdnimg.cn/direct/209b1fa38e1a41c2ad170b36e59c1e3b.png
启用插件后,设置中文和模型。
https://i-blog.csdnimg.cn/direct/78024c732dda46a9ab66f39d780aba62.png
https://i-blog.csdnimg.cn/direct/6c713514d6534539a7d5cdba755de14f.png
利用结果
https://i-blog.csdnimg.cn/direct/7255cbd749a84b70aa0f03e5957e38f1.png
利用 LM-Studio 部署 DeepSeek
[*]下载与安装 LM-Studio:
[*]前往LM-Studio 官网或其GitHub仓库获取最新安装包。
[*]安装参数保举:设置路径为默认路径到C盘,为当前用户安装(如果要修改到其他路径,第二步的地址须要从桌面快捷方式寻找文件所在地址找到相对应的路径文件)。
[*]完成安装后,点击右下角的设置按钮设置为中文。
[*]官方下载与链接:
[*]LM-Studio 官网
[*]替换模型下载源地址:
[*]用hbuilder或vscode或notepad软件打开以下两个文件(记事本容易崩):
1.C:\Users\你的用户名\AppData\Local\Programs\LM Studio\resources\app.webpack\main\index.js
2.C:\Users\你的用户名\AppData\Local\Programs\LM Studio\resources\app.webpack\renderer\main_window.js
[*]全文替换,将huggingface.co替换为hf-mirror.com
[*]导入大模型:
[*]直接下载:搜刮栏输入"deepseek"→筛选GGUF格式→选择版本下载
https://i-blog.csdnimg.cn/direct/624a0f3e52a24172a5188d8f11cde74e.png
[*]手动导入:指定 DeepSeek 大模型文件的存储路径,从huggingface.co或其他网站获取模型资源手动导入。
https://i-blog.csdnimg.cn/direct/fc90716c16054296b155de86021e6aee.png
三、DeepSeek常用版本说明
DeepSeek 各常用版本说明:
版本名称CPU要求内存要求硬盘要求(模型文件)GPU要求适用场景DeepSeek-R1-1.5B最低4核(如Intel i5或AMD Ryzen 5)8GB≥12GB(模型文件约4~5GB)可选(无GPU加快时利用CPU推理)教诲范畴(底子AI教学演示)、小型企业(产物形貌、邮件生成)、个人开发DeepSeek-R1-7B/8B8核以上(如Intel i9或AMD Ryzen 7)16GB≥12GB(模型文件约4~5GB)保举8GB显存(如RTX 3060)内容创作(短篇故事、诗歌、广告文案)、客户服务、数据分析DeepSeek-R1-14B12核以上(如AMD Ryzen 9)32GB≥80GB(模型文件约60GB)保举16GB显存(如RTX 4090)企业级应用(合同分析、报告生成)、长文本生成、多语言翻译DeepSeek-R1-32B16核以上(如AMD EPYC 7003系列)64GB≥256GB保举24GB显存(如A100 40GB)专业范畴(医疗、法律知识问答)、多模态任务(图文分析)、复杂数据分析DeepSeek-R1-70B32核以上(如AMD EPYC 9004系列)128GB≥256GB多卡并行(如4×RTX 4090或2×A100 80GB)科研机构(复杂模仿)、大型企业(大规模数据分析与猜测)、创意写作(科幻、脚本)DeepSeek-V3(付费j接入API)最低128核512GB≥1T(模型文件约642GB)H100*16高质量内容生成、复杂对话、深入分析任务 DeepSeek-Math版本侧重点
该版本专注于数学运算和公式推导,针对数学符号、表达式以及数理逻辑进行了特殊优化,具备更高的计算精度和推理能力,得当数学建模、学术研究和教诲场景中对数学题目的求解。
DeepSeek-Coder版本侧重点
该版本重要面向编程辅助和代码生成,内置多语言支持和智能调试功能,可以或许理解编程语境和生成高质量代码,适用于软件开发、自动化代码生成和技术文档编写。
以上内容由个人验证/资料网络,凡有错误还请不吝指正 https://i-blog.csdnimg.cn/direct/f5cdea4d009b4dd986068a71e36e9eb6.gif
后记:快速利用线上满血版deepseek可以利用这个工具
https://i-blog.csdnimg.cn/direct/6284e35a435b422cb0beb72fbfb3a6dc.png
https://i-blog.csdnimg.cn/direct/266d73d2070e4f85a2880cfc4fee90fb.png
接待填写我的邀请码❤️74RJHH,获取更多免费利用额度。
https://i-blog.csdnimg.cn/direct/6a44773333f24ef1aa177fcc192bace0.png
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]