智能语音问答机器人本地摆设win10--2024最新版（faster-whisper + Qwen1.5 ...

目录

一、整体介绍
1.主要模块介绍
2.摆设步骤概述
二、语音识别-faster-whisper
1.安装faster-whisper
2.下载模型
3.预备一段语音文件
4.调用faster-whisper完成语音识别
5.接口分析（输入输出）
三、大模型-Qwen1.5/Llama3
1.下载ollama
2.修改环境变量
3.下载模型
4.调用大模型实现聊天机器人
5.接口分析
四：语音合成-ChatTTS
1.下载ChatTTS源码
2.下载模型文件
3.调用ChatTTS完成语音合成
4.接口分析（输入输出）
五、实时语音聊天机器人
1.固定ChatTTS音色
2.通过langchain调用ollama实现对话
3.封装函数
4.效果展示
六、总结
<hr> 一、整体介绍

         本项目旨在实现一个智能语音问答机器人的本地摆设，接纳Windows 10操纵系统，并集成了最新的语音识别和天生技能。通过结合faster-whisper、Qwen1.5和ChatTTS三大模块，整体能够高效地进行语音识别、天然语言处置处罚和语音合成，为用户提供流畅的语音问答体验。
1.主要模块介绍

1.1.faster-whisper

• 用于实时语音识别，将用户的语音输入快速转换为文本。
  
• 接纳先进的语音识别算法，包管了高准确率和低耽误。
  

1.2.Qwen1.5

• 作为天然语言处置处罚模块，负责明白和天生回答。
  
• 基于最新的语言模型技能，能够明白复杂的用户问题并天生精准的回答。
  

1.3.ChatTTS

• 语音合成模块，将Qwen1.5天生的文本回答转换为天然流畅的语音。
  
• 支持多种语音效果和情感表达，提升用户的交互体验。
  

2.摆设步骤概述

2.1.环境设置

• 参考超具体win安装深度学习环境2024最新版（cuda11.8+torch2.2）完成基础环境设置
  
• 在之后的步骤中设置faster-whisper、Qwen1.5和ChatTTS所需的运行环境。
  

2.2.模块集成

• 下载并加载faster-whisper模型，用于实时语音识别。
  
• 集成Qwen1.5模型，实现天然语言处置处罚和回答天生。
  
• 设置ChatTTS，完成文本到语音的转换，并实现语音播放功能。
  

二、语音识别-faster-whisper

         whisper是OpenAI公司出品的AI语音识别神器，开源且支持本地摆设，支持多种语言识别。而faster-whisper 是通过Transformer模型的快速推理引擎对OpenAI的Whisper模型的重新实现，这种实现比whisper快 4 倍，在雷同的精度下，使用更少的内存。
1.安装faster-whisper

1. pip install faster-whisper

复制代码

2.下载模型

         进入魔搭社区faster-whisper-small · 模型库 (modelscope.cn)，下载模型文件到本地目录。
3.预备一段语音文件

         打开网址在线免费文字转语音 - TTSMaker官网 | 马克配音，任意输入一段文字并免费天生语音，将语音复制到本地目录。

4.调用faster-whisper完成语音识别

1. import time
2. from faster_whisper import WhisperModel
4. # 指定模型
5. model_size = "faster-whisper-small"
7. # 创建一个Whisper模型，指定模型大小、设备类型和计算类型
8. model = WhisperModel(model_size, device="cuda", compute_type="int8_float16")
10. start_time = time.time()
11. segments, info = model.transcribe("1.mp3", beam_size=5)
12. end_time = time.time()
13. elapsed_time = end_time - start_time
15. print("[识别用时]%.2fs" % elapsed_time)
17. for segment in segments:
18.     print("[识别结果] %s" % (segment.text))

复制代码

        识别结果：

PS：faster-whisper最新版只支持cuda12版本，对于cuda11.x的版本，会报错：
RuntimeError: Library cublas64_12.dll is not found or cannot be loaded，请参考RuntimeError: Library cublas64_12.dll is not found or cannot be loaded-CSDN博客完成修改。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。