ToB企服应用市场:ToB评测及商务社交产业平台

标题: Whisper.cpp 0底子搭建音频文件转笔墨(Windows下C++) [打印本页]
作者: 汕尾海湾    时间: 2024-7-15 05:09
标题: Whisper.cpp 0底子搭建音频文件转笔墨(Windows下C++)
介绍

whisper.cpp是一个开源项目，它是对OpenAI的Whisper模型的C/C++移植实现。
OpenAI的Whisper是一个主动语音识别（ASR）体系，颠末大量多语言和多任务的监督数据练习，可以或许举行多语言语音识别、语音翻译和语言识别等任务。而whisper.cpp项目使得这个模型可以或许在差别的平台上以当地方式运行，包括但不限于Windows、Mac OS、Linux、Android和WebAssembly等。
whisper.cpp的优势主要体如今以下几个方面：
无依靠性： whisper.cpp不需要安装任何第三方的库或框架，只需要一个C/C++编译器就可以编译和运行，这减少了对外部库的依靠。
轻量级： whisper.cpp库非常小巧，只有一个源文件，便于集成到任何项目中，无论是大型还是小型，都不会增长过多的负担。
高性能： 通过使用模板元编程和C++17特性，whisper.cpp在运行时几乎无额外开销。它使用了类型安全的方式，保证了事件处理惩罚的服从。
简单易用： 设计简洁明了，API友好，开发者可以快速上手并开始编写事件驱动的代码。
此外，whisper.cpp还提供了音频转笔墨的功能，但需要注意的是，它现在只支持16khz的wav文件格式的音频文件。在使用前，可能需要使用如ffmpeg这样的工具将音频文件转换成所需的格式。
总的来说，whisper.cpp是一个功能强大且机动的语音识别工具，为开发者提供了在多种平台上举行当地语音识别的新选择。然而，由于技能范畴的快速发展，发起在使用前查阅最新的文档和资料，以确保获取最准确和最新的信息。
关于Whisper.cpp是个什么东西我就不外多解释了，这里主要是说搭建环境的，对于Whisper.cpp的说明网上有一大堆，也有点懒得写了。
参考文档:
​https://blog.csdn.net/weixin_52318459/article/details/139546485
下载

whisper.cpp 的地点

whisper.cpp地点
whisper.cpp github官网关于Models介绍部门
或使用Git下令将项目克隆到当地：
  1. git clone https://github.com/ggerganov/whisper.cpp
复制代码
没有装Git的，可以参考以下链接：
Git安装链接
Model的地点

Model的地点
下完whisper.cpp项目之后还要下载Model,我用的是small Model,关于Model的具体描述请找其他文章，写这个Blog的时候我对whisper.cpp也不是很了解，只是刚刚搭建好环境而已，记录一下。
在whisper.cpp 项目的根目录中有个models文件夹，进去使用下令下载small Model,
下面的是CMD下令，在cmd中执行：
  1. download-ggml-model.cmd small
复制代码
另有一个shell下令：
  1. download-ggml-model.sh medium
复制代码
恣意挑一个，参考下图。
注意：假如两个下令都不成功，那就看一下能不能访问Model的地点（上面的链接），假如访问不了，那就需要使用迅雷下载了，往下看。


迅雷下载Model

迅雷Model下载链接
可根据差别的Model填写差别的链接路径：
  1. https://huggingface.co/ggerganov/whisper.cpp/resolve/main/ggml-small.bin
复制代码

注意Model需要放在Whisper.cpp项目中的Models文件夹中。
make
下令天生Main.exe

上面两步成功之后就在Whisper.cpp项目的根路径下使用Git下令天生main.exe
  1. make
复制代码
假如显示make
下令不存在就参考以下链接安装make
下令：
make
下令参考链接
安装好make
下令后就继承执行，假如执行失败显示GCC不存在的话就参考以下链接:
GCC安装参考链接
继承执行make
下令，假如make
下令成功执行没有报错的话，往下看.
在Whisper.cpp项目的根路径下使用Git下令举行音频文件识别，识别成功后的文件在samples文件夹中的jfk.wav.srt文件中。
  1. ./main -osrt -m ./models/ggml-small.bin -f samples/jfk.wav
复制代码
ffmpeg

whisper.cpp现在只支持16khz的wav文件格式的音频文件,以是其他文件可以使用ffmpeg来转换为.wav文件。
假如还没有安装ffmpeg可以参考以下链接：
ffmpeg安装链接
  1. ffmpeg -i ./repeat.mp3 -ar 16000 -ac 1 -c:a pcm_s16le ./repeat.wav
复制代码
  1. ./main -osrt -m ./models/ggml-medium.bin -f samples/repeat.wav -l zh
复制代码
使用 whispe.cpp 的 demo

参考的文章
whisper 中的几个函数：

whisper_lang_id() :语言支持检测——这里要使用小写，如 chinese 而不能用 Chinese.
whisper_context_default_params() :设置默认的上下文参数
whisper_init_from_file_with_params() :初始化上下文
whisper_is_multilingual() :查抄上下文是否支持多国语言
whisper_full(): 语音识别过程的函数
whisper_full_n_segments(): 获取一共产生了多少段笔墨
whisper_full_get_segments_text(): 获取识别到的一段笔墨
whisper_full_n_token() :一段识别中有多少个 tokern
whisper_full_get_token_id() :获取对应 id 的 token
代码部门

代码写在main.cpp中，然后重新回到根目录whisper.cpp中执行make
下令天生新的main.exe，然后执行main.exe测试新写入的代码功能即可

  1. #include "common.h"
  3. #include "whisper.h"
  4. #include "grammar-parser.h"
  6. #include <cmath>
  7. #include <fstream>
  8. #include <cstdio>
  9. #include <regex>
  10. #include <string>
  11. #include <thread>
  12. #include <vector>
  13. #include <cstring>
  15. bool wav_read(std::string fname, std::vector<float>& pcmf32)
  16. {
  17.     std::vector<std::vector<float>> pcmf32s;
  19.     if (!::read_wav(fname, pcmf32, pcmf32s, false)) {
  20.         fprintf(stderr, "error: failed to read WAV file '%s'\n", fname.c_str());
  21.         return false;
  22.     }
  24.     return true;
  25. }
  27. int whisper_init(struct whisper_context * *ctx, whisper_full_params& wparams)
  28. {
  29.     if (whisper_lang_id("chinese") == -1) {
  30.         fprintf(stderr, "error: unknown language '%s'\n", "Chinese");
  31.         exit(0);
  32.     }
  34.     struct whisper_context_params cparams = whisper_context_default_params();
  35.     cparams.use_gpu = false;
  37.    *ctx = whisper_init_from_file_with_params("models/ggml-small.bin", cparams);
  38.     if (*ctx == nullptr) {
  39.         fprintf(stderr, "error: failed to initialize whisper context\n");
  40.         return 3;
  41.     }
  44.     wparams = whisper_full_default_params(WHISPER_SAMPLING_GREEDY);
  45.     wparams.language         = "chinese";
  47.     return 0;
  48. }
  50. int whisper_exit(struct whisper_context ** ctx)
  51. {
  52.     whisper_free(*ctx);
  53.     return 0;
  54. }
  56. int whisper_identify(struct whisper_context **ctx, whisper_full_params& wparams, std::vector<float> pcmf32, std::string& result)
  57. {
  58.     if(whisper_full(*ctx, wparams, pcmf32.data(), pcmf32.size()) != 0){
  59.         return -1;
  60.     }
  62.     const int n_segments = whisper_full_n_segments(*ctx);
  63.     for (int i = 0; i < n_segments; ++i) {
  64.         const char * text = whisper_full_get_segment_text(*ctx, i);
  66.         result += text;
  67.     }
  69.     return 0;
  70. }
  72. int main(int argc, char ** argv) {
  73.     std::vector<float> pcmf32;
  74.     struct whisper_context *ctx = nullptr;
  75.     whisper_full_params wparams;
  76.     std::string text;
  78.     if(!wav_read("output.wav", pcmf32)){
  79.         fprintf(stderr, "wave read failed !\n");
  80.         return -1;
  81.     }
  83.     if(whisper_init(&ctx, wparams)){
  84.         fprintf(stderr, "whisper init error !\n");
  85.         return -1;
  86.     }
  88.     if(whisper_identify(&ctx, wparams, pcmf32, text)){
  89.         fprintf(stderr, "identify error !\n");
  90.         return 0;
  91.     }
  93.     whisper_exit(&ctx);
  95.    fprintf(stdout, "text is : %s\n", text.c_str());
  97.     return 0;
  98. }
复制代码
好了，临时到这了。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4