llama-cpp-python当地摆设并利用gpu版本

利用带编译的下令安装llama库

1. # 首选 GGML_CUDA  后续LLAMA_CUBLAS将删除
2. CMAKE_ARGS="-DGGML_CUDA=on" FORCE_CMAKE=1 pip install llama-cpp-python --no-cache-dir
5. CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python --no-cache-dir

复制代码

如果仅利用pip install llama-cpp-python会仅利用cpu运行。
而且利用LLAMA_CUBLAS 大概会出现以下错误

1. _*** CMake configuration failed
2. [end of output]
4. note: This error originates from a subprocess, and is likely not a problem with pip.
5. ERROR: Failed building wheel for llama-cpp-python
6. Failed to build llama-cpp-python
7. ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects_

复制代码

下载torch当地很慢，加速本领（linux）：

1. apt install aria2

复制代码

• -x 16 表现利用 16 个连接进行下载。
  
• -s 16 表现将文件分为 16 个部分来同时下载。
  

1. aria2c -x 16 -s 16 https://download.pytorch.org/whl/cu121/torch-2.5.0%2Bcu121-cp312-cp312-linux_x86_64.whl

复制代码

实时查看nvidia显卡占用信息 :

• -n SECONDS：指定刷新间隔（默认是 2 秒）。
  
• -d：高亮表现输出中变化的部分。
  
• -t：不表现顶部的标题信息。
  

1. watch -n 0.5 nvidia-smi

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。