windows 本地部署DeepSeek
一:前言:那么为什么要本地部署,主要就是企业或者个人为了数据安全和防止受限网络等其[*]数据安全:数据不用上传到外貌,在本地处理,不用担心数据泄露,像金融、医疗这些对数据安全要求高的行业特别必要。
功能方面
[*]定制:可以根据自身业务需求和用户特点对模型进行个性化改造,比如制造业调解生产流程等
使用体验方面
[*]不依赖网络:在网络不好或者没网的地方也能正常使用。
windows 本地部署deepseek 通常使用 Lm studio 和 ollama 大模型框架进行部署今天说一说 ollama 进行本地部署deepseek环境:我的机器也是一台老笔记本, 12G 内存,4G集显+2G独显(NVIDIA),cpu(Intel(R) Core(TM) i5-7200U CPU @ 2.50GHZ),为了学习研究一下,所以我选择了deepseek 目前最小的 模型 deepseek-r1:1.5b 作为尝试。 二:ollama部署ollama 是一个开源大模型框架 ,我们可以从这个地址进行下载https://ollama.com/https://img2024.cnblogs.com/blog/681642/202503/681642-20250317130733295-126141032.png 这个安装比力简单,下载下来之后,直接按照提示一直下一步,右下角出现https://img2024.cnblogs.com/blog/681642/202503/681642-20250317130733022-1776117777.png 表示启动成功了。注:看到一些博主分享,N卡和A卡可能必要按照不同的环境,下载不同的ollama版本,这个我没有深入研究,我是官网一路下载,安装。有兴趣的同学可以深入相识一下。 三:deepseek 大模型拉取打开cmd窗口,输入复制命令 ollama run deepseek-r1:1.5b会有下载过程,必要等待一下,下载完成,末了会显示send a message,表示拉取成功,你可以在cmd窗口直接进行对话了https://img2024.cnblogs.com/blog/681642/202503/681642-20250317130733301-1199124796.png https://img2024.cnblogs.com/blog/681642/202503/681642-20250317130733094-1714735231.png 四:大模型UI操作界面集成我们如今已经有了大模型,但是cmd窗口交互不是很方便,所以我们必要一些交互工具去呈现Pageassist 、dify 、 RagFlow 等都可以集成ollama 框架,进行深度使用,包罗不限于桌面UI、流程、智能体、知识库。我们先说一个轻量的 Pageassist 的 chome或者firefox 插件。dify 等其他集成文档,可以连续关注后续文章。结果:pageassisthttps://img2024.cnblogs.com/blog/681642/202503/681642-20250317130733305-362960708.png dify安装好之后https://img2024.cnblogs.com/blog/681642/202503/681642-20250317130733597-975389871.png chrome 由于必要科学地上网,你可以直接从这里下载 下载地址,拖到chrome 的扩展里。firefox 可以直接在扩展里搜索 pageassist 进行安装。 安装好之后,打开浏览器扩展,修改语言https://img2024.cnblogs.com/blog/681642/202503/681642-20250317130733660-858847631.png 搜索用sogouhttps://img2024.cnblogs.com/blog/681642/202503/681642-20250317130733696-1411633506.png ollama设置中设置地址:http://127.0.0.1:11434https://img2024.cnblogs.com/blog/681642/202503/681642-20250317130733479-312989700.png 设置完成之后,就可以正常通过pageassist 使用大模型进行对话了
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]