【Llama】无需GPU轻松当地部署大模型

在AI飞速发展的时代，大模型如雨后春笋拔地而起，部署大模型已不再是什么高科技操作了，只要你的电脑满足根本设置要求利用Ollama就可以轻松在当地部署模型。
利用Ollama，首先了解一下Ollama：
简介

Ollama 是一个开源的大型语言模型（LLM）服务工具，旨在简化在当地运行大语言模型的过程，降低利用门槛，使开发者、研究人员和爱好者能在当地快速实行、管理和部署最新大语言模型，如 Qwen2、Llama3、Phi3、Gemma2等。它提供了一个简洁易用的命令行界面和服务器，让你可以或许轻松下载、运行和管理各种开源 LLM。
Ollama的上风

• 开源免费：Ollama及所支持的模型均开源免费，可自由利用、修改和分发。
  
• 简单易用：无需复杂设置，通过几条命令即可快速启动运行。
  
• 模型丰富：涵盖Llama 3、Mistral、Qwen2等众多热门开源LLM，支持一键下载切换。
  
• 资源占用低：对硬件要求不高，平凡条记本电脑也能流畅运行。
  
• 社区活跃：拥有巨大活跃社区，便于获取资助、分享经验及参与模型开发。
  

Ollama的限定

按照官方的要求，电脑设置至少有 8 GB 可用内存来运行 7 B 型号，16 GB 来运行 13 B 型号，32 GB 来运行 33 B 型号。
怎样利用 Ollama？

只需遵循以下步骤即可开始利用Ollama：

• 安装Ollama：依据操作体系，访问Ollama官网下载并安装最新版。
  
• 启动Ollama：点击Ollama应用直接启动。
  
• 下载模型：前往模型堆栈，选中所需模型，用ollama pull下载，如ollama pull llama3:70b。
  
• 运行模型：利用ollama run启动模型，如ollama run llama3:70b。
  
• 开始聊天：在终端输入问题或指令，Ollama将依模型天生回复。
  
• 网络共享：在一台电脑部署模型，通过IP或服务形式共享给其他装备利用
  

官网

官网地址：ollama.com

进入官网看到这只可爱的羊驼那就对了。

文档

文档地址：github.com/ollama/olla…
官方文档托管在Github，打不开的实验利用科学方式
注册登录

   只是下载及运行模型不注册也可以，如需账号可以利用邮箱注册登录
  

模型广场

模型地址：ollama.com/library
在Ollama首页点击【Models】可以查看Ollama支持的所有模型列表。

点击模型即可看到模型的详细信息，包含先容、安装方式等。

安装Ollama

   安装包托管在Github，如果无法下载请科学上网
  在Ollama官网首页点击【Download】，选择对应平台点击【Download for …】进行安装包下载

以Mac为例，下载完成后直接双击根据提示完成安装(安装过程很简单)，点击 Move to Applications ，按照建议，将其移动到应用步伐文件夹下。Ollama默认会参加启动项，不需要的直接删除即可。

点击【Next】进行安装引导，Ollama需要插入 ollama 指令到命令行（后续直接在终端利用命令行操作），点击【Install】安装，输入电脑密码，点击【Finish】完成引导。

启动后看到状态栏中有Ollama模型表示启动成功，接下来就可以利用Ollama运行模型了

下载运行模型

   官方建议：至少有 8 GB 可用内存来运行 7 B 型号，16 GB 来运行 13 B 型号，32 GB 来运行 33 B 型号。
  在模型广场找到想要的模型，根据自己电脑设置选择满足条件的型号进行下载。

以 qwen2.5:14b 为例，在终端执行命令（如果当地没有对应模型，Ollama会先执行pull拉取，拉取完成后执行run运行）

1. $ ollama run qwen2.5:14b

复制代码

运行成功后效果如下：

Ollama常用命令行操作

查看资助

有任何命令行问题，都可以通过help命令查看资助

1. $ ollama --help

复制代码

举个例子，如想了解怎样运行一个模型，可以这样查看

1. $ ollama run --help

复制代码

最终得知 run 指令后面需要提供模型名称

1. $ ollama run 模型名称
3.                   
4. 如：
5. $ ollama run qwen2.5:1.5b

复制代码

命令行方式启动Ollama

1. $ ollama serve

复制代码

查看已下载模型

1. $ ollama list                  
2. 或                  
3. $ ollama ls

复制代码

打印信息中 NAME 就是模型的名称
查看正在运行的模型

1. $ ollama ps

复制代码

查看模型详情

1. $ ollama show 模型名称

复制代码

运行模型

1. $ ollama run 模型名称

复制代码

停止模型

1. $ ollama stop 模型名称

复制代码

删除模型

1. $ ollama rm 模型名称

复制代码

根本利用

开始对话

模型启动后，在命令行直接输入提示词即可与模型进行对话。

在VSCode中利用

Continue插件设置相对简单一些

当地Ollama启动后默认端标语为 11434，在 Continue 插件中【API Provider】选择【Ollma】,【Base URL】默认为11434可以不填，输入模型名称 qwen2.5:14b，点击【Let’s go!】完成设置

利用Chat UI

如果以为上面方式都不适合你，也可以选择利用像ChatGPT那样的当代聊天窗口工具，现在有许多，可以利用三方的，也自己clone当地运行：

• LobeChat：lobehub.com/zh/features
  
• ChatBox：chatboxai.app/zh
  
• 等等
  

这里以 Chatbox 为例简单实用，进入官网，点击【启动网页版】

进入网页版聊天页面，点击左下角【Settings】，设置完成后即可用利用Chat了。

利用体验

本人利用是Mac mini，无GPU，3.2 GHz 六核Intel Core i7，32G运行内存，500G存储分别跑了 qwen2.5:14b、qwen2.5:7b、qwen2.5:3b、qwen2.5:0.5b，现在为止只体验了模型相应速度：

• 终端模型：在终端直接利用模型聊天，qwen2.5:0.5b 相应速度秒回，qwen2.5:3b 相应速度较快，qwen2.5:7b 相应速度逐行，qwen2.5:14b相应速度较慢和逐词差不多
  
• VS Code：在VS Code中共同 Continue 插件利用，效果体感较差，相应速度都很慢
  
• ChatUI：利用不多，没有深度体验
  

只在VS Code + Continue中体验了qwen2.5:0.5b 的内容天生，提示到一半就死循环了，体感效果很差。
总结

利用Ollama可以轻松在当地部署模型，但是需要选择符合体系设置参数的模型，无GPU的电脑部署了较大的模型可能相应速度较慢，需要肯定的忍耐度，硬件设置不是很好的小伙伴照旧建议利用现有模型服务，模型真的很费存储和算力。
怎样学习AI大模型？

大模型时代，火爆出圈的LLM大模型让步伐员们开始重新评估自己的本领。 “AI会代替那些行业？”“谁的饭碗又将不保了？”等问题热议不停。
不如成为「掌握AI工具的技能人」，究竟AI时代，谁先实验，谁就能占得先机！
想正式转到一些新兴的 AI 行业，不仅需要体系的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增长自己的职场竞争力。
但是LLM相关的内容许多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高
那么我作为一名热心肠的互联网老兵，我意识到有许多经验和知识值得分享给大家，希望可以资助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、佳构AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完备版的大模型 AI 学习资料已经上传CSDN，朋侪们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【包管100%免费】