欺诈文本分类检测（十八）：基于llama.cpp+CPU推理
1. 前言前文我们用Lora训练出自己的个性化模型后，首先面临的问题是：怎样让模型在平凡机器上跑起来？毕竟模型微调时都是在几十G的专用GPU上训练的，假如换到只有CPU的平凡电脑上，大概会面临几秒蹦一个词的尴尬问题。
LLama.cpp项目就是来办理这个问题的，它是由Georgi Gerganov开发的一个开源工具，主要用于将大语言模型（LLM）转换为C++代码，使它们可以在任意的CPU装备上运行。
https://i-blog.csdnimg.cn/direct/49dde7dae9fd48f491ff0ad4bb5b3b86.png
它的上风在于：
[*]无需依靠pytorch和python，而是以c++编译的可实行文件来运行。
[*]支持丰富的硬件装备，包罗Nvidia、AMD、Intel、Apple Silicon、华为昇腾等芯片。
[*]支持f16和f32混合精度，也支持8位、4位甚至1位的量化来加快推理。
[*]无需GPU，可只用CPU运行，甚至可以在Android装备上运行。
本文我们将用llama.
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]