[C#]基于C# winform结合llamasharp部署llama3中文的gguf模子

【llmasharp源码】
https://github.com/SciSharp/LLamaSharp
【测试模子】
https://www.modelscope.cn/pooka74/LLaMA3-8B-Chat-Chinese-GGUF.git
【测试通过情况】
vs2019
netframework4.7.2
llamasharp==0.15.0
cuda11.7.1+cudnn8.8.0
注意测试发现使用cpu推理非常卡，因此建议配置有个nvidia显卡电脑举行测试，要求显存>=6GB，我电脑是RTX2070 8GB显存
【界面演示】

【部分实现源码】

1. using System;
2. using System.Collections.Generic;
3. using System.ComponentModel;
4. using System.Data;
5. using System.Drawing;
6. using System.Linq;
7. using System.Text;
8. using System.Threading.Tasks;
9. using System.Windows.Forms;
10. using FIRC;
12. namespace WindowsFormsApp1
13. {
14.     public partial class Form1 : Form
15.     {
16.         LLamaInfer infer = null;
17.         public Form1()
18.         {
19.             InitializeComponent();
20.         }
23.         
25.         private void Form1_Load(object sender, EventArgs e)
26.         {
27.           //模型在https://www.modelscope.cn/pooka74/LLaMA3-8B-Chat-Chinese-GGUF.git下载
28.            infer= new LLamaInfer(@"H:\llama3-8b-chat-chinese-gguf\LLaMA3-8B-Chat-Chinese-Q4_K_M.gguf");
29.             infer.CallBack += Infer_CallBack;
30.         }
32.         private void Infer_CallBack(string msg)
33.         {
34.             tb_output.AppendText(msg);
35.         }
37.         private void btn_input_Click(object sender, EventArgs e)
38.         {
39.             if(string.IsNullOrEmpty(tb_input.Text))
40.             {
41.                 return;
42.             }
43.             infer.GetResult(tb_input.Text);
44.         }
46.         private void button1_Click(object sender, EventArgs e)
47.         {
48.             tb_output.Clear();
49.         }
50.     }
51. }

复制代码

【源码下载所在】
https://download.csdn.net/download/FL1623863129/89628543

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。