智能语音问答机器人本地摆设win10--2024最新版（faster-whisper + Qwen1.5
目录一、整体介绍
1.主要模块介绍
2.摆设步骤概述
二、语音识别-faster-whisper
1.安装faster-whisper
2.下载模型
3.预备一段语音文件
4.调用faster-whisper完成语音识别
5.接口分析（输入输出）
三、大模型-Qwen1.5/Llama3
1.下载ollama
2.修改环境变量
3.下载模型
4.调用大模型实现聊天机器人
5.接口分析
四：语音合成-ChatTTS
1.下载ChatTTS源码
2.下载模型文件
3.调用ChatTTS完成语音合成
4.接口分析（输入输出）
五、实时语音聊天机器人
1.固定ChatTTS音色
2.通过langchain调用ollama实现对话
3.封装函数
4.效果展示
六、总结
<hr> 一、整体介绍
本项目旨在实现一个智能语音问答机器人的本地摆设，接纳Windows 10操纵系统，并集成了最新的语音识别和天生技能。通过结合faster-whisper、Qwen1.5和ChatTTS三大模块，整体能够高效地进行语音识别、天然语言处置处罚和语音合成，为用户提供流畅的语音问答体验。
1.主要模块介绍
1.1.faster-whisper
[*]用于实时语音识别，将用户的语音输入快速转换为文本。
[*]接纳先进的语音识别算法，包管了高准确率和低耽误。
1.2.Qwen1.5
[*]作为天然语言处置处罚模块，负责明白和天生回答。
[*]基于最新的语言模型技能，能够明白复杂的用户问题并天生精准的回答。
1.3.ChatTTS
[*]语音合成模块，将Qwen1.5天生的文本回答转换为天然流畅的语音。
[*]支持多种语音效果和情感表达，提升用户的交互体验。
2.摆设步骤概述
2.1.环境设置
[*]参考超具体win安装深度学习环境2024最新版（cuda11.8+torch2.2）完成基础环境设置
[*]在之后的步骤中设置faster-whisper、Qwen1.5和ChatTTS所需的运行环境。
2.2.模块集成
[*]下载并加载faster-whisper模型，用于实时语音识别。
[*]集成Qwen1.5模型，实现天然语言处置处罚和回答天生。
[*]设置ChatTTS，完成文本到语音的转换，并实现语音播放功能。
二、语音识别-faster-whisper
whisper是OpenAI公司出品的AI语音识别神器，开源且支持本地摆设，支持多种语言识别。而faster-whisper 是通过Transformer模型的快速推理引擎对OpenAI的Whisper模型的重新实现，这种实现比whisper快 4 倍，在雷同的精度下，使用更少的内存。
1.安装faster-whisper
pip install faster-whisper
2.下载模型
进入魔搭社区faster-whisper-small · 模型库 (modelscope.cn)，下载模型文件到本地目录。
3.预备一段语音文件
打开网址在线免费文字转语音 - TTSMaker官网 | 马克配音，任意输入一段文字并免费天生语音，将语音复制到本地目录。
https://i-blog.csdnimg.cn/direct/860d7bef04724c519e09ef043732110c.png
4.调用faster-whisper完成语音识别
import time
from faster_whisper import WhisperModel
# 指定模型
model_size = "faster-whisper-small"
# 创建一个Whisper模型，指定模型大小、设备类型和计算类型
model = WhisperModel(model_size, device="cuda", compute_type="int8_float16")
start_time = time.time()
segments, info = model.transcribe("1.mp3", beam_size=5)
end_time = time.time()
elapsed_time = end_time - start_time
print("[识别用时]%.2fs" % elapsed_time)
for segment in segments:
print("[识别结果] %s" % (segment.text)) 识别结果：
https://i-blog.csdnimg.cn/direct/a161dbc4ed6247c7b24e02b033759d81.png
PS：faster-whisper最新版只支持cuda12版本，对于cuda11.x的版本，会报错：
RuntimeError: Library cublas64_12.dll is not found or cannot be loaded，请参考RuntimeError: Library cublas64_12.dll is not found or cannot be loaded-CSDN博客完成修改。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]