Llama.cpp 服务器安装指南（使用 Docker，GPU 专用）

前置条件

在开始之前，请确保你的体系满足以下要求：

  

• 操纵体系：Ubuntu 20.04/22.04（或支持 Docker 的 Linux 体系）。  
  
• 硬件：NVIDIA GPU（比方 RTX 4090）。  
  
• 内存：16GB+ 体系内存，GPU 需 12GB+ 显存（RTX 4090 有 24GB）。  
  
• 存储：15GB+ 可用空间（用于源码、镜像和模子文件）。  
  
• 网络：必要互联网毗连以下载源码和依赖。  
  
• 软件：
  
     
  
  • 已安装并运行 Docker。   
    
  • 已安装 NVIDIA Container Toolkit 以支持 GPU。   
    
    
  

<hr> 第一步：安装 Docker 和 NVIDIA Container Toolkit

安装 Docker

  

• 更新软件包列表：
  
  1. sudo

  复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告