.Net 使用OpenAI开源语音辨认模子Whisper

.Net 使用OpenAI开源语音辨认模子 Whisper
前言

Open AI在2022年9月21日开源了号称其英文语音辨识能力已达到人类水准的 Whisper 神经网络，且它亦支持其它98种语言的自动语音辨识。 Whisper系统所提供的自动语音辨识（Automatic Speech Recognition，ASR）模子是被练习来运行语音辨识与翻译任务的，它们能将各种语言的语音酿成文本，也能将这些文本翻译成英文。
whisper的核心功能语音辨认，对于大部分人来说，可以帮助我们更快捷的将会议、讲座、讲堂灌音整理成文字稿；对于影视爱好者，可以将无字幕的资源自动生成字幕，不用再苦苦等候各大字幕组的字幕资源；对于外语口语学习者，使用whisper翻译你的发音练习灌音，可以很好的检验你的口语发音水平。 固然，各大云平台都提供语音辨认服务，但是基本都是联网运行，个人隐私安全总是有隐患，而whisper完全差别，whisper完全在本地运行，无需联网，充分保障了个人隐私，且whisper辨认正确率相当高。
Whisper是C++写的，sandrohanea 对其进行了.Net封装。
本文旨在梳理我在.net web 项目中使用开源语音辨认模子Whisper的过程，方便下次翻阅，如对您有所帮助不胜荣幸~
.Net Web 项目版本为：.Net 6.0

  
安装Whisper.net包

首先我们在Core项目中安装Whisper.net包。在NuGet包管理器中搜索并安装【Whisper.net】和【Whisper.net.Runtime】包，如下图所示:
注意，我们要找的是【Whisper.net】和【Whisper.net.Runtime】，不是、【WhisperNet】、【Whisper.Runtime】。

下载模子文件

前往Hugging Face下载Whisper的模子文件，一共有 ggml-tiny.bin、ggml-base.bin、ggml-small.bin、ggml-medium.bin、ggml-large.bin 5个模子，文件巨细依次变大，辨认率也依次变大。此外，【xxx.en.bin】是英文模子，【xxx.bin】支持各国语言。
我们将模子文件放到项目中即可，我这里是放到Web项目的wwwroot下：

新建Whisper帮助类

WhisperHelper.cs

1. using Whisper.net;
2. using System.IO;
3. using System.Collections.Generic;
4. using Market.Core.Enum;
6. namespace Market.Core.Util
7. {
8.     public class WhisperHelper
9.     {
10.         public static List<SegmentData> Segments { get; set; }
11.         public static WhisperProcessor Processor { get; set; }
13.         public WhisperHelper(ASRModelType modelType)
14.         {
15.             if(Segments == null || Processor == null)
16.             {
17.                 Segments = new List<SegmentData>();
19.                 var binName = "ggml-large.bin";
20.                 switch (modelType)
21.                 {
22.                     case ASRModelType.WhisperTiny:
23.                         binName = "ggml-tiny.bin";
24.                         break;
25.                     case ASRModelType.WhisperBase:
26.                         binName = "ggml-base.bin";
27.                         break;
28.                     case ASRModelType.WhisperSmall:
29.                         binName = "ggml-small.bin";
30.                         break;
31.                     case ASRModelType.WhisperMedium:
32.                         binName = "ggml-medium.bin";
33.                         break;
34.                     case ASRModelType.WhisperLarge:
35.                         binName = "ggml-large.bin";
36.                         break;
37.                     default:
38.                         break;
39.                 }
40.                 var modelFilePath = $"wwwroot/WhisperModel/{binName}";
41.                 var factory = WhisperFactory.FromPath(modelFilePath);
42.                 var builder = factory.CreateBuilder()
43.                                      .WithLanguage("zh") //中文
44.                                      .WithSegmentEventHandler(Segments.Add);
45.                 var processor = builder.Build();
46.                 Processor = processor;
47.             }
48.         }
50.         /// <summary>
51.         /// 完整的语音识别 单例实现
52.         /// </summary>
53.         /// <returns></returns>
54.         public string FullDetection(Stream speechStream)
55.         {
56.             Segments.Clear();
57.             var txtResult = string.Empty;
59.             //开始识别
60.             Processor.Process(speechStream);
62.             //识别结果处理
63.             foreach (var segment in Segments)
64.             {
65.                 txtResult += segment.Text + "\n";
66.             }
67.             Segments.Clear();
68.             return txtResult;
69.         }
70.     }
71. }

复制代码

ModelType.cs

差别的模子名字不一样，需要用一个罗列类作区分：

1. using System.ComponentModel;
3. namespace Market.Core.Enum
4. {
5.     /// <summary>
6.     /// ASR模型类型
7.     /// </summary>
8.     [Description("ASR模型类型")]
9.     public enum ASRModelType
10.     {
11.         /// <summary>
12.         /// ASRT
13.         /// </summary>
14.         [Description("ASRT")]
15.         ASRT = 0,
17.         /// <summary>
18.         /// WhisperTiny
19.         /// </summary>
20.         [Description("WhisperTiny")]
21.         WhisperTiny = 100,
23.         /// <summary>
24.         /// WhisperBase
25.         /// </summary>
26.         [Description("WhisperBase")]
27.         WhisperBase = 110,
29.         /// <summary>
30.         /// WhisperSmall
31.         /// </summary>
32.         [Description("WhisperSmall")]
33.         WhisperSmall = 120,
35.         /// <summary>
36.         /// WhisperMedium
37.         /// </summary>
38.         [Description("WhisperMedium")]
39.         WhisperMedium = 130,
41.         /// <summary>
42.         /// WhisperLarge
43.         /// </summary>
44.         [Description("WhisperLarge")]
45.         WhisperLarge = 140,
47.         /// <summary>
48.         /// PaddleSpeech
49.         /// </summary>
50.         [Description("PaddleSpeech")]
51.         PaddleSpeech = 200,
52.     }
53. }

复制代码

后端接受音频并辨认

后端接口接受音频二进制字节码，并使用Whisper帮助类进行语音辨认。

关键代码如下：

1. public class ASRModel
2. {
3.         public string samples { get; set; }
4. }
6. /// <summary>
7. /// 语音识别
8. /// </summary>
9. [HttpPost]
10. [Route("/auth/speechRecogize")]
11. public async Task<IActionResult> SpeechRecogizeAsync([FromBody] ASRModel model)
12. {
13.     ResultDto result = new ResultDto();
14.     byte[] wavData = Convert.FromBase64String(model.samples);
15.     model.samples = null;   //内存回收
16.     // 使用Whisper模型进行语音识别
17.     var speechStream = new MemoryStream(wavData);
18.     var whisperManager = new WhisperHelper(model.ModelType);
19.     var textResult = whisperManager.FullDetection(speechStream);
20.     speechStream.Dispose();//内存回收
21.     speechStream = null;
22.     wavData = null; //内存回收
23.     result.Data = textResult;
24.     return Json(result.OK());
25. }

复制代码

前端页面上传音频

前端主要做一个音频采集的工作，然后将音频文件转化成二进制编码传输到后端Api接口中
前端页面如下：

页面代码如下：

1. @{
2.     Layout = null;
3. }
4. @using Karambolo.AspNetCore.Bundling.ViewHelpers
5. @addTagHelper *, Karambolo.AspNetCore.Bundling
6. @addTagHelper *, Microsoft.AspNetCore.Mvc.TagHelpers
7. <!DOCTYPE html>
8. <html>
10. <head>
11.     <meta charset="utf-8" />
12.     <title>语音录制</title>
13.     <meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0, minimum-scale=1.0">
14.     <environment names="Development">
15.         <link href="~/content/plugins/element-ui/index.css" rel="stylesheet" />
16.         <script src="~/content/plugins/jquery/jquery-3.4.1.min.js"></script>
17.         <script src="~/content/js/matomo.js"></script>
18.         <script src="~/content/js/slick.min.js"></script>
19.         <script src="~/content/js/masonry.js"></script>
20.         <script src="~/content/js/instafeed.min.js"></script>
21.         <script src="~/content/js/headroom.js"></script>
22.         <script src="~/content/js/readingTime.min.js"></script>
23.         <script src="~/content/js/script.js"></script>
24.         <script src="~/content/js/prism.js"></script>
25.         <script src="~/content/js/recorder-core.js"></script>
26.         <script src="~/content/js/wav.js"></script>
27.         <script src="~/content/js/waveview.js"></script>
28.         <script src="~/content/js/vue.js"></script>
29.         <script src="~/content/plugins/element-ui/index.js"></script>
30.         <script src="~/content/js/request.js"></script>
31.     </environment>
32.     <environment names="Stage,Production">
33.         @await Styles.RenderAsync("~/bundles/login.css")
34.         @await Scripts.RenderAsync("~/bundles/login.js")
35.     </environment>
36.     <style>
37.         html,
38.         body {
39.             margin: 0;
40.             height: 100%;
41.         }
43.         body {
44.             padding: 20px;
45.             box-sizing: border-box;
46.         }
47.         audio {
48.             display:block;
49.         }
50.         audio + audio {
51.             margin-top: 20px;
52.         }
53.         .el-textarea .el-textarea__inner {
54.             color: #000 !important;
55.             font-size: 18px;
56.             font-weight: 600;
57.         }
58.         #app {
59.             height: 100%;
60.         }
61.         .content {
62.             height: calc(100% - 130px);
63.             overflow: auto;
64.         }
65.         .content > div {
66.             margin: 10px 0 20px;
67.         }
68.         .press {
69.             height: 40px;
70.             line-height: 40px;
71.             border-radius: 5px;
72.             border: 1px solid #dcdfe6;
73.             cursor: pointer;
74.             width: 100%;
75.             text-align: center;
76.             background: #fff;
77.         }
78.     </style>
79. </head>
81. <body>
82.     <div id="app">
83.         <div style="display: flex; justify-content: space-between; align-items: center;">
84.             <center>{{isPC? '我是电脑版' : '我是手机版'}}</center>
85.             <center style="margin: 10px 0">
86.                 <el-radio-group v-model="modelType">
87.                     <el-radio :label="0">ASRT</el-radio>
88.                     <el-radio :label="100">WhisperTiny</el-radio>
89.                     <el-radio :label="110">WhisperBase</el-radio>
90.                     <el-radio :label="120">WhisperSmall</el-radio>
91.                     <el-radio :label="130">WhisperMedium</el-radio>
92.                     <el-radio :label="140">WhisperLarge</el-radio>
93.                     <el-radio :label="200">PaddleSpeech</el-radio>
94.                 </el-radio-group>
95.             </center>
96.             <el-button type="primary" size="small" onclick="window.location.href = '/'">返回</el-button>
97.         </div>
98.         <div class="content" id="wav_pannel">
99.             @*{{textarea}}*@
100.         </div>
101.         <div style="margin-top: 20px"></div>
102.         <center style="height: 40px;"><h4 id="msgbox" v-if="messageSatuts">{{message}}</h4></center>
103.         <button class="press" v-on:touchstart="start" v-on:touchend="end" v-if="!isPC">
104.             按住 说话
105.         </button>
106.         <button class="press" v-on:mousedown="start" v-on:mouseup="end" v-else>
107.             按住 说话
108.         </button>
109.     </div>
110. </body>
112. </html>
113. <script>
114.     var blob_wav_current;
115.     var rec;
116.     var recOpen = function (success) {
117.         rec = Recorder({
118.             type: "wav",
119.             sampleRate: 16000,
120.             bitRate: 16,
121.             onProcess: (buffers, powerLevel, bufferDuration, bufferSampleRate, newBufferIdx, asyncEnd) => {
123.             }
124.         });
125.         rec.open(() => {
126.             success && success();
127.         }, (msg, isUserNotAllow) => {
128.             app.textarea = (isUserNotAllow ? "UserNotAllow，" : "") + "无法录音:" + msg;
129.         });
130.     };
131.     var app = new Vue({
132.         el: '#app',
133.         data: {
134.             textarea: '',
135.             message: '',
136.             messageSatuts: false,
137.             modelType: 0,
138.         },
139.         computed: {
140.             isPC() {
141.                 var userAgentInfo = navigator.userAgent;
142.                 var Agents = ["Android", "iPhone", "SymbianOS", "Windows Phone", "iPod", "iPad"];
143.                 var flag = true;
144.                 for (var i = 0; i < Agents.length; i++) {
145.                     if (userAgentInfo.indexOf(Agents[i]) > 0) {
146.                         flag = false;
147.                         break;
148.                     }
149.                 }
150.                 return flag;
151.             }
152.         },
153.         methods: {
154.             start() {
155.                 app.message = "正在录音...";
156.                 app.messageSatuts = true;
157.                 recOpen(function() {
158.                     app.recStart();
159.                 });
160.             },
161.             end() {
162.                 if (rec) {
163.                     rec.stop(function (blob, duration) {
164.                         app.messageSatuts = false;
165.                         rec.close();
166.                         rec = null;
167.                         blob_wav_current = blob;
168.                         var audio = document.createElement("audio");
169.                         audio.controls = true;
170.                         var dom = document.getElementById("wav_pannel");
171.                         dom.appendChild(audio);
172.                         audio.src = (window.URL || webkitURL).createObjectURL(blob);
173.                         //audio.play();
174.                         app.messageSatuts = false;
175.                         app.upload();
176.                     }, function (msg) {
177.                         console.log("录音失败:" + msg);
178.                         rec.close();
179.                         rec = null;
180.                     });
181.                     app.message = "录音停止";
182.                 }
183.             },
184.             upload() {
185.                 app.message = "正在上传识别...";
186.                 app.messageSatuts = true;
187.                 var blob = blob_wav_current;
188.                 var reader = new FileReader();
189.                 reader.onloadend = function(){
190.                     var data = {
191.                         samples: (/.+;\s*base64\s*,\s*(.+)$/i.exec(reader.result) || [])[1],
192.                         sample_rate: 16000,
193.                         channels: 1,
194.                         byte_width: 2,
195.                         modelType: app.modelType
196.                     }
197.                     $.post('/auth/speechRecogize', data, function(res) {
198.                         if (res.data && res.data.statusCode == 200000) {
199.                             app.messageSatuts = false;
200.                             app.textarea = res.data.text == '' ? '暂未识别出来，请重新试试' : res.data.text;
201.                         } else {
202.                             app.textarea = "识别失败";
203.                         }
204.                         var dom = document.getElementById("wav_pannel");
205.                         var div = document.createElement("div");
206.                         div.innerHTML = app.textarea;
207.                         dom.appendChild(div);
208.                         $('#wav_pannel').animate({ scrollTop: $('#wav_pannel')[0].scrollHeight - $('#wav_pannel')[0].offsetHeight });
209.                     })
210.                 };
211.                 reader.readAsDataURL(blob);
212.             },
213.             recStart() {
214.                 rec.start();
215.             },
216.         }
217.     })
218. </script>

复制代码

引用

whisper官网
测试离线音频转文本模子Whisper.net的基本用法
whisper.cpp的github
whisper.net的github
whisper模子下载

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。