Windows环境下部署本地大模子教程

自ChatGPT在2022年爆发式出圈以来，大模子对人类天下产生了重大影响，无论是在生产、工作、写作方面还是自动驾驶领域，大模子发挥了非常重要的作用。
现各大厂，无论是国内大厂还是国外大厂，都纷纷推出了自己的对话大模子供人们免费或付费利用。与此同时，开源大模子的关注度也越来越高。
为什么现在已经有很多可以在线利用的大模子了，我还要在本地部署利用大模子？很简单，我的电脑上有一块还不错的显卡，但是我玩游戏又不多，不想让这份空闲的资源浪费掉，向着“物尽其用”的目的努力，节约资源（doge）。
如果你也和我有一样的想法，或者你是一个喜欢“折腾”的人，又或者你真的有部署本地大模子的需求，都可以跟随这篇教程操作。
没有特别需求，只想让大模子跑起来成为你的生产力的话，这份教程对大多数平凡人来说富足了。
目次
一、下载ollama
二、下载大模子的GGUF文件
三、配置Modelfile文件
四、启动大模子

---

一、下载ollama

如果可以突破网络限制，那可以直接访问ollama的官网，下载Windows版本。如果无法突破网络限制，我把安装包上传到了我的我网盘，ollamasetup.zip ，提取码8vp0，自行下载。
下载之后打开ollamasetup.exe，点击“install”或者“安装”，静待安装完成即可。

二、下载大模子的GGUF文件

无网络限制那就访问huggingface的官方网站去下载。有网络限制的话，可以访问huggingface的镜像网站，可以访问hf-mirrors，网址HF-Mirror。
这里以安装阿里巴巴通义大模子为例进行操作。
不推荐利用微调成中文的大模子，如llama3中文版，体验很差。在此之前我在电脑上部署了llama3中文版8B的大模子，我不知道是出于什么原因，跑起来之后它给的答案真的很人工智障，相比之下7B的通义大模子表现很好。是和训练时用的语言有关吗？是不是说微调解决不了根本标题，只有确保训练时利用的是母语才能表现很出色？这个标题有待探索......
进入网站后，选择“models”：

接着搜刮“qwen”：

对于个人电脑来说，7B就是最好的选择了，选择“Qwen/Qwen2-7B-Instruct-GGUF”。
如果你以为这个过程太繁琐，可以直接点击这个链接（Qwen/Qwen2-7B-Instruct-GGUF at main (hf-mirror.com)）进入列表：

 

博主推荐利用q5_k_m版本，如果你是小白，无脑选q5_k_m就对了。当然也可以根据需求自行选择。
依次根据图中步调下载就行了。
三、配置Modelfile文件

到这里，确保ollma服务在运行，系统托盘区有

此图标，并且在powershell或者命令提示符中输入ollama出现以下界面分析安装成功并且服务正常运行中：

在当前用户目次中新建一个“Modelfile.txt”文件，在文件中输入以下字符串：

1. FROM 文件所在目录\qwen2-7b-instruct-q5_k_m.gguf

复制代码

比如我下载好的gguf文件存放在F盘BigModels文件夹，那我就输入“FROM F:\BigModels\qwen2-7b-instruct-q5_k_m.gguf”然后保存即可。
一样平常来说，当前用户目次在“C:\Users\用户名”下，Modelfile.txt文件保存到这里。
现在打开powershell或者命令提示符，输入

1. ollama create qwen-2 -f Modelfile.txt

复制代码

这里的“qwen-2”是我为本地大模子的定名，可以根据需要自行修改。
等待transferring的过程......
出现success，如下面的界面，分析大模子部署成功！

四、启动大模子

安装完成后，在powershell或者命令提示符中输入

1. ollama run 你自定义的大模型名称

复制代码

 比如我命的名为qwen-2，那我就输入ollama run qwen-2就可以启动大模子了：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。