玩转 AIGC：仅需三步，在 Mac 电脑部署当地大模子，打造私人 ChatGPT ...

今天分享的内容是 玩转 AIGC「2024」 系列文档中的 仅需三步，在 Mac 电脑打造个人 ChatGPT。
本文将详细介绍仅用三条命令在 M1 芯片的 Mac Pro 上部署当地大模子，实现私人的 ChatGPT。
1. 前提介绍

1.1 硬件介绍

• 型号： MacBook Pro
  
• 芯片：Apple M1（M1/M2/M3 任何芯片的都可以，越高端的性能越好）
  
• 内存： 16 G（内存越大越好，8G 也能体验，但是只能用小模子）
  
• 硬盘： 256 G（越大越好）
  

1.2 软件需求

全部软件都需要用 brew 安装，请确保电脑上已经正确安装设置了 brew。
用 Mac 没有用过 brew？请在终端执行下面的命令安装吧，你将开启一扇新的大门。

1. /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

复制代码

  提示： 上面的命令安装成功是有概率的，如果因网络问题导致安装失败，请参考Homebrew 镜像利用资助
  如果不喜欢或是不习惯利用命令行在 Mac 上安装软件，本文介绍的软件都有对应的 App 下载。可自行前去软件官网下载。
1.3 私人 ChatGpt 成员

• Ollama，大模子管理工具，下载运行各种量化后的 GGUF 格式的大模子
  
• 大模子，本文选择 qwen:14b。
  
• ChatBox，利用当地大模子实现谈天对话的工具
  

GGUF 是什么？

• GGUF（GPT-Generated Unified Format）是一种大模子文件格式
  
• 由著名开源项目 llama.cpp 首创人 Georgi Gerganov 提出并定义
  
• 是一种针对大规模呆板学习模子设计的二进制格式文件规范，主要用于高效存储和互换大模子的预训练效果
  

GGUF 的主要优势在于，它能够将原始的大模子预训练效果颠末特定优化后转换成这种格式，从而可以更快地被载入利用，并斲丧更低的资源。
最为关键的一点是，它答应用户利用 CPU 来运行 LLM。 真正做到了，GPU 不够 CPU 来凑，但也不是什么 CPU 都有资格加入的。
2. 第一步:安装当地大模子管理工具

当地大模子的运行、管理工具种类繁多，比较有名且被各种 LLMOps 平台支持的有 Ollama、 LocalAI等。颠末体验对比，我临时选择了 Ollama。
Ollama 在 Mac 上的安装有三种方式：

• 在 Ollama 官网下载 Mac 安装包，手工安装
  

• 用 Docker 运行 Ollama（在 M1 以上芯片的 Mac 上不要用，体验不到 GPU 的快乐）
  
• 用 brew 命令行自动安装（简单方便，剧烈推荐）
  

打开终端工具，执行下面的命令，安装 Ollama。

• 安装命令
  

1. brew install ollama --cask

复制代码

• 正确的安装效果如下
  

[code]MacBook-Pro at ~ ❯ brew install ollama --cask

==> Downloading https://github.com/ollama/ollama/releases/download/v0.1.32/Ollama-darwin.zip==> Downloading from https://objects.githubusercontent.com/github-production-release-asset-2e65be/658928958/3e980350-d263-484d-83b2-765009b8c2c######################################################################################################################################## 100.0%==> Installing Cask ollama==> Moving App 'Ollama.app' to '/Applications/Ollama.app'==> Linking Binary 'ollama' to '/opt/homebrew/bin/ollama'