AI超强语音转文本SenseVoice，本地化摆设教程！

模型先容

SenseVoice专注于高精度多语言语音识别、情感辨识和音频事件检测

• 多语言识别： 采用超过40万小时数据练习，支持超过50种语言，识别效果上优于Whisper模型。
  
• 富文本识别：
  
  
  
  • 具备优秀的情感识别，能够在测试数据上到达和超过现在最佳情感识别模型的效果。
    
  • 支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。
    
  
  
• 高效推理： SenseVoice-Small模型采用非自回归端到端框架，推理延迟极低，10s音频推理仅耗时70ms，15倍优于Whisper-Large。
  
• 微调定制： 具备便捷的微调脚本与策略，方便用户根据业务场景修复长尾样本题目。
  

SenseVoice在线预览链接

• SenseVoice 在线预览：https://www.modelscope.cn/studios/iic/SenseVoice
  

本地化摆设

这里使用autodl 呆板学习平台，官网地址：https://www.autodl.com/market/list
直接到算力市场，选择按量计费，地区随便选择一个，这里使用4090显卡。

如图选择PyTorch 版本，最后点击创建。

创建好以后就来到了控制台，点击AutoPanel 面板，设置默以为清华源。

点击选择清华源，因为清华源下载依赖包比较快。

接着回到控制台，点击进入JupyterLab。

进入到autodl-tmp 目次下，然后打开终端。

然后克隆项目，输入如下命令：

1. git clone https://github.com/FunAudioLLM/SenseVoice.git

复制代码

假如提示网络超时等，输入如下命令，完了重新拉取代码就好。

1. source /etc/network_turbo

复制代码

继续打开一个条记本，下载模型。

键入如下代码后运行：

1. !pip install modelscope

复制代码

继续键入如下代码下载模型：

1. from modelscope.hub.snapshot_download import snapshot_download
3. model_dir = snapshot_download("iic/SenseVoiceSmall", cache_dir='ai_models')
4. print(model_dir)
5. model_dir = snapshot_download("iic/speech_fsmn_vad_zh-cn-16k-common-pytorch", cache_dir='ai_models')
6. print(model_dir)

复制代码

出现进度条说明模型开始下载了。

然后回到终端，进入SenseVoice目次。

1. cd SenseVoice/

复制代码

创建虚拟环境

1. # 创建一个名为venv 的虚拟环境。
2. python -m venv venv

复制代码

接着激活虚拟环境。

1. source ./venv/bin/activate

复制代码

安装依赖

1. pip install -r requirements.txt

复制代码

安装好依赖以后，我们更新pip

1. pip install --upgrade pip

复制代码

VsCode 远程连接

回到控制台，复制ssh配置。

打开Vsocode，远程连接。

粘贴登录信息

选择第一个默认配置。

选择第一个链接。

复制密码

粘贴密码

接着打开文件夹，选择/root/autodl-tmp/

选择信托

点击打开终端

接着激活虚拟环境。

1. source ./venv/bin/activate

复制代码

接着回到条记本模型哪里，复制下载的模型路径。

回到VsCode ，编辑SenseVoice/webui.py,设置模型的路径为如下：

最后，见证古迹的时候到了，运行我们的Python代码。

1. python webui.py

复制代码

选择在浏览器打开。

接着，就可以快乐的玩耍了。

当我们上传音频时遇到了错误如下错误：

针对安装ffmpeg时遇到的题目,按以下步调操作:

• 首先更新软件包列表:
  

1. sudo apt update

复制代码

• 假如更新后仍无法安装,可能需要添加universe仓库:
  

1. sudo add-apt-repository universe
2. sudo apt update

复制代码

• 然后再次尝试安装ffmpeg:
  

1. sudo apt install ffmpeg -y

复制代码

假如还是不行,可能是ffmpeg所在的仓库没有启用。那么可以尝试:

• 启用multiverse仓库:
  

1. sudo add-apt-repository multiverse
2. sudo apt update

复制代码

• 安装ffmpeg:
  

1. sudo apt install ffmpeg

复制代码

本文由博客一文多发平台 OpenWrite 发布！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。