欺诈文本分类检测（十八）：基于llama.cpp+CPU推理

1. 前言

前文我们用Lora训练出自己的个性化模型后，首先面临的问题是：怎样让模型在平凡机器上跑起来？毕竟模型微调时都是在几十G的专用GPU上训练的，假如换到只有CPU的平凡电脑上，大概会面临几秒蹦一个词的尴尬问题。
LLama.cpp项目就是来办理这个问题的，它是由Georgi Gerganov开发的一个开源工具，主要用于将大语言模型（LLM）转换为C++代码，使它们可以在任意的CPU装备上运行。

它的上风在于：

• 无需依靠pytorch和python，而是以c++编译的可实行文件来运行。
  
• 支持丰富的硬件装备，包罗Nvidia、AMD、Intel、Apple Silicon、华为昇腾等芯片。
  
• 支持f16和f32混合精度，也支持8位、4位甚至1位的量化来加快推理。
  
• 无需GPU，可只用CPU运行，甚至可以在Android装备上运行。
  

本文我们将用llama.

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。