windows编译llama.cpp GPU版本

打印 上一主题 下一主题

主题 863|帖子 863|积分 2589

Build 指南
https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md
一、Prerequire 详细步骤(以及碰到的坑):
如果你要利用CUDA,请确保已安装。
1.安装 最新的 cmake,   git,  anaconda, pip 设置pytorch环境
2.下载llama.cpp源代码,一定要用git clone
     git clone https://github.com/ggerganov/llama.cpp.git
3. 安装 Microsoft Visual C++ Build Tools。 cmake 和 Build Tools共同构成C++编译系统。

参加PATH
C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\MSVC\<版本号>\bin\Hostx64\x64
4. CMake“cmake is not able to compile a simple test program”错误
办理方法  修改文件, 屏蔽掉 cmake 报警
5. No CUDA toolset found.

复制四个文件到BuildTools对应目录。
C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations
prerequire设置结束。
二、编译llama.cpp(GPU版本)
windows 采用Using cmake。设置完成,编译只需要两条指令。
进入llama.cpp目录
cmake -B build -DGGML_CUDA=ON
若 CUDA_ARCHITECTURES is set to "native", but no NVIDIA GPU was detected,利用下面的下令:
cmake -B build -DGGML_CUDA=ON    -DCMAKE_CUDA_ARCHITECTURES=86

cmake --build build --config Release

编译成功。 天生文件列表!把这些文件复制到llama.cpp主目录。


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

没腿的鸟

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表