玩转大语言模型——利用LM Studio在本地部署deepseek R1的零基础）教程 ...

系列文章目次

玩转大语言模型——利用langchain和Ollama本地部署大语言模型
玩转大语言模型——三分钟教你用langchain+提示词工程获得猫娘女友
玩转大语言模型——ollama导入huggingface下载的模型
玩转大语言模型——langchain调用ollama视觉多模态语言模型
玩转大语言模型——利用GraphRAG+Ollama构建知识图谱
玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的题目
玩转大语言模型——配置图数据库Neo4j（含apoc插件）并导入GraphRAG生成的知识图谱
玩转大语言模型——本地部署带谈天界面deepseek R1的小白教程
玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
玩转大语言模型——利用Kiln AI可视化情况进行大语言模型微调数据合成

---

  

---

媒介

在前期的几个文章中我们已经介绍了很多带UI的本地化部署方式了，而今天我们要介绍的LM Studio，不但可以实现本机的利用，还可以为其他软件或处于同一局域网下的其他盘算机提供接口的调用，和其他本地部署软件共同起来利用更佳。
下载安装

官网：https://lmstudio.ai/
在官网上找到符合的版本直接下载

下载后根据指引安装，进入到页面后点击Get your first KLM

然后点右上角skip，进入到以下界面

修改配置

设置语言为中文

点击右下角这个标志

然后选择语言为简体中文

修改模型存储位置

点击左下角的Power User或者Developer

选择左侧文件夹的图标，然后更改模型路径。修改路径这一步的原因是，大语言模型占的存储空间一般都比较大，为避免过多占用C盘空间，一般换到其他盘符下，但如果C盘空间足够，可以跳过此步骤。

下载模型

特别注意的是，LM Studio中用到的模型格式均为gguf格式。
模型可以从modelscope或者hf-mirror下载，笔者在本篇中是利用modelscope中下载的deepseek R1-7B模型。
下载链接：https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/files
来到下载页面，发现有多个gguf模型，有满血7B模型和量化到各种程度的模型，发起参照模型大小是稍小于本地显存即可

查看本地显存的方式为：打开任务管理器，点击性能，查看NVIDAI的GPU内存

这里需要注意的是，LM Studio需要的模型需要放到二级目次下，我们需要在刚刚设置的模型目次下新建两级目次。为了方便辨别，笔者保举将下载好的模型放在模型目次/模型名/模型版本路径下，比如笔者将
下载的gguf模型放到目次：模型目次/deepseek/DeepSeek-R1-Distill-Qwen-7B下。
模型加载与运行

点击上侧的按钮选择本地模型运行

选择好模型后进入对话界面

利用结束时记得点击Eject卸载模型，否则会一直占用显存

模型应用

上传附件

点击这个回形针，可以上传本地文档，

点击后进入以下界面，这一操作后，LM Studio会自动对文档做信息增强检索（RAG）。

笔者上传的是一个由AI生成的学校制度大纲，以这个为例问他主要介绍了什么

点击发送后会根据文档内容回复

提供API接口服务

点击左侧绿色按钮，然后加载模型

然后把Settings中的所有设置全打开，再点击左侧的按钮启动

如果在启动时右侧有以下报错，可以考虑修改一下端标语

笔者修改成了2345端口

右侧提示信息如下图所示说明能够正常应用

LM Studio所支持的接口调用与OpenAI的接口一致

为了快速验证是否可以正常利用，笔者直接打开之前文章中配置过的Anything LLM，点击设置并选择LLM提供者

选择LM Studio

如果在前面调解过端口，需要再点进去一次，更改端口，更改的端口要与之前修改的一致，笔者更改的是2345，所以这里也应该是2345

同时，如果在设置时没有自动弹出来模型，也需要自己设置一下

随后点击Save Settings生存后就可以利用Anything LLM调用接口了

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。