源码方式安装llama.cpp及调试

llama.cpp源码方式安装和调试配置

构建和编译

• 留意这里是cuda，且要开启debug模式
  

1. cmake -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Debug
2. cmake --build build --config Debug

复制代码

• 正在编译：
  
  
  
  

配置launch.json用于调式：

要根据本身的环境路径做相应修改

1. {
2.     "version": "0.2.0",
3.     "configurations": [
4.         {
5.             "name": "(gdb) 启动",
6.             "type": "cppdbg",
7.             "request": "launch",
8.             "program": "${workspaceFolder}/build/bin/llama-simple", //
9.             "args": [    //
10.                 "-m", "output.gguf",
11.                 "-n", "32",
12.                 "-ngl", "99",
13.                 "Hello my name is"
14.             ],
15.             "stopAtEntry": false,
16.             "cwd": "${workspaceFolder}",
17.             "environment": [],
18.             "externalConsole": false,
19.             "MIMode": "gdb", //
20.             "setupCommands": [
21.                 {
22.                     "description": "为 gdb 启用整齐打印",
23.                     "text": "-enable-pretty-printing",
24.                     "ignoreFailures": true
25.                 },
26.                 {
27.                     "description": "将反汇编风格设置为 Intel",
28.                     "text": "-gdb-set disassembly-flavor intel",
29.                     "ignoreFailures": true
30.                 }
31.             ],
32.             "miDebuggerPath": "/usr/bin/gdb" //
33.         }
35.     ]
36. }

复制代码

转换模子为gguf格式

1. python convert_hf_to_gguf.py --outtype f16 --outfile "output.gguf" "/raid/home/huafeng/models/Meta-Llama-3-8B-Instruct"

复制代码

运行第一个步伐

调试步伐（llama.cpp/examples/simple/simple.cpp）

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。