Build 指南
https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md
一、Prerequire 详细步骤(以及碰到的坑):
如果你要利用CUDA,请确保已安装。
1.安装 最新的 cmake, git, anaconda, pip 设置pytorch环境
2.下载llama.cpp源代码,一定要用git clone
git clone https://github.com/ggerganov/llama.cpp.git
3. 安装 Microsoft Visual C++ Build Tools。 cmake 和 Build Tools共同构成C++编译系统。
参加PATH
C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\MSVC\<版本号>\bin\Hostx64\x64
4. CMake“cmake is not able to compile a simple test program”错误
办理方法 修改文件, 屏蔽掉 cmake 报警
5. No CUDA toolset found.
复制四个文件到BuildTools对应目录。
C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\MSBuild\Microsoft\VC\v160\BuildCustomizations
prerequire设置结束。
二、编译llama.cpp(GPU版本)
windows 采用Using cmake。设置完成,编译只需要两条指令。
进入llama.cpp目录
cmake -B build -DGGML_CUDA=ON
若 CUDA_ARCHITECTURES is set to "native", but no NVIDIA GPU was detected,利用下面的下令:
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86
cmake --build build --config Release
编译成功。 天生文件列表!把这些文件复制到llama.cpp主目录。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |