ToB企服应用市场:ToB评测及商务社交产业平台

标题: 玩转大语言模型——利用LM Studio在本地部署deepseek R1的零基础）教程 [打印本页]

作者: 立山 时间: 2025-2-20 03:05
标题: 玩转大语言模型——利用LM Studio在本地部署deepseek R1的零基础）教程
系列文章目次

玩转大语言模型——利用langchain和Ollama本地部署大语言模型
玩转大语言模型——三分钟教你用langchain+提示词工程获得猫娘女友
玩转大语言模型——ollama导入huggingface下载的模型
玩转大语言模型——langchain调用ollama视觉多模态语言模型
玩转大语言模型——利用GraphRAG+Ollama构建知识图谱
玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的题目
玩转大语言模型——配置图数据库Neo4j（含apoc插件）并导入GraphRAG生成的知识图谱
玩转大语言模型——本地部署带谈天界面deepseek R1的小白教程
玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
玩转大语言模型——利用Kiln AI可视化情况进行大语言模型微调数据合成

媒介

在前期的几个文章中我们已经介绍了很多带UI的本地化部署方式了，而今天我们要介绍的LM Studio，不但可以实现本机的利用，还可以为其他软件或处于同一局域网下的其他盘算机提供接口的调用，和其他本地部署软件共同起来利用更佳。
下载安装

官网：https://lmstudio.ai/
在官网上找到符合的版本直接下载

下载后根据指引安装，进入到页面后点击Get your first KLM

然后点右上角skip，进入到以下界面

修改配置

设置语言为中文

点击右下角这个标志

然后选择语言为简体中文

修改模型存储位置

点击左下角的Power User或者Developer

选择左侧文件夹的图标，然后更改模型路径。修改路径这一步的原因是，大语言模型占的存储空间一般都比较大，为避免过多占用C盘空间，一般换到其他盘符下，但如果C盘空间足够，可以跳过此步骤。

下载模型

特别注意的是，LM Studio中用到的模型格式均为gguf格式。
模型可以从modelscope或者hf-mirror下载，笔者在本篇中是利用modelscope中下载的deepseek R1-7B模型。
下载链接：https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/files
来到下载页面，发现有多个gguf模型，有满血7B模型和量化到各种程度的模型，发起参照模型大小是稍小于本地显存即可

查看本地显存的方式为：打开任务管理器，点击性能，查看NVIDAI的GPU内存

这里需要注意的是，LM Studio需要的模型需要放到二级目次下，我们需要在刚刚设置的模型目次下新建两级目次。为了方便辨别，笔者保举将下载好的模型放在模型目次/模型名/模型版本路径下，比如笔者将
下载的gguf模型放到目次：模型目次/deepseek/DeepSeek-R1-Distill-Qwen-7B下。
模型加载与运行

点击上侧的按钮选择本地模型运行