ToB企服应用市场:ToB评测及商务社交产业平台
标题:
深度剖析 Whisper：深度学习驱动下的超智能语音处理神器
[打印本页]
作者:
慢吞云雾缓吐愁
时间:
2024-12-21 18:52
标题:
深度剖析 Whisper：深度学习驱动下的超智能语音处理神器
Whisper 是 OpenAI 的一项语音处理项目，旨在实现语音的识别、翻译和生成使命。作为基于深度学习的语音识别模子，Whisper 具有高度的智能化和准确性，可以大概有效地转换语音输入为文本，并在多种语言之间进行翻译。通过不断的优化和更新，Whisper 致力于提供更加优质和高效的语音处理办理方案，以满足不同场景和需求下的语音交互应用。
官网所在：https://openai.com/research/whisper
github 所在：https://github.com/openai/whisper?tab=readme-ov-file
Whisper 的优点
Whisper 借助丰富多样的数据集，这些数据集中的语音数据与互联网上的文本纪录相匹配，并结合了一种名为“注意力机制”的技术。这项技术使得 Whisper 在处理语音时，可以大概更加有效地捕获到语音中的关键信息。
这种综合运用数据和先进技术的方式，使得 Whisper 提高了其在各种情况下的健壮性和准确性，可以大概实现更为精确、智能的语音识别和翻译，为用户提供更加精彩的语音处理体验。
多使命
Whisper 并不仅仅是预测给定音频的单词，固然这是是语音识别的核心，但它还包含很多其他附加的功能组件，例如语言活动检测、说话人二值化和逆文本正态化。
采用 Transformer 序列到序列模子可以实现针对不同的语言处理使命。包括以下几种：
语音识别
语音翻译
口语识别
语音活动检测
这些使命的输出由模子预测的令牌序列表示，使得单个模子可以代替传统的语音处理管道中的多个组件，如下所示：
应用
安装
openai-whisper
openai-whisper 与 python 3.8-3.11 和最新的 PyTorch 版本兼容。 使用 pip 下令安装：pip install -U openai-whisper
ffmpeg
openai-whisper 需要 ffmpeg 的情况，ffmpeg 是一个开源的跨平台音视频处理工具和框架，可以用来录制、转换和流式传输音视频内容 。
官网：https://ffmpeg.org/
MAC
安装：brew install ffmpeg
验证：ffmpeg -version 出现版本信息且无报错表示安装乐成。
Windows
安装：进入下载链接：https://www.gyan.dev/ffmpeg/builds/#release-builds，选择版本下载安装:
情况设置：下载解压完成后，需要将 Ffmpeg 的实行文件坐在目录添加到系统的情况变量中。
验证：在 cmd 中输入 ffmpeg -version 出现版本信息且无报错表示安装乐成。
示例用法
demo1 音频素材: 下载(https://v3-ai.tutorial.hogwarts.ceshiren.com/ai/aigc/v3/L1/tutorial/assets/demo1.mp3)
demo2 音频素材: 下载(https://v3-ai.tutorial.hogwarts.ceshiren.com/ai/aigc/v3/L1/tutorial/assets/demo2.mp3)
下令行
# 将音频的内容转为文本，使用base模型whisperdemo1.mp3--modelbase--tasktranscribe
复制代码
下令行常用参数
Python 代码
import whisper# 初始化一个 base 模型model = whisper.load_model("base")# 传入音频文件，并得到音频输出的文本内容res = model.transcribe("demo.mp3")print(res["text"])
复制代码
模子调用
安装 openai 第三方库，本篇教程使用 1.16.1 版本的 openai:pip in
stall openai
def test_openai_whisper(): # 初始化OpenAI对象 client = OpenAI(base_url="xxx",api_key="xxx") # 打开一个音频文件 audio_file1 = open("demo1.mp3", 'rb') audio_file2 = open("demo2.mp3", 'rb') # 选择模型，并且转录音频的内容 res1 = client.audio.transcriptions.create(model="whisper-1", file=audio_file1) res2 = client.audio.transcriptions.create(model="whisper-1", file=audio_file2) # 翻译为英文 res3 = client.audio.translations.create(model="whisper-1", file=audio_file2) print(f"audio1转录结果为：{res1.text}") print(f"audio2转录结果为：{res1.text}") print(f"audio2翻译结果为：{res1.text}")
复制代码
总结
相识 Whisper 相关概念。
完成情况安装。
学会基础示例训练。
推荐学习
人工智能测试开发训练营，为大家提供全方位的人工智能测试知识和技能培训。行业专家授课，实战驱动，并提供人工智能答疑福利。内容包含ChatGPT与私有大语言模型的多种应用，人工智能应用开发框架 LangChain，视觉与图像识别自动化测试，人工智能产品质量保障与测试，知识图谱与模型驱动测试，深度学习应用，带你一站式掌握人工智能测试开发必备核心技能，快速提升核心竞争力！
复制代码
推荐阅读
黑盒测试方法—等价类划分法_输入条件等价类-CSDN博客
大学毕业后转行软件测试我后悔了_转行软件测试后悔了-CSDN博客
【霍格沃兹测试开发】7 天软件测试快速入门 带你从零基础/ 转行/ 小白/ 就业/ 测试用例设计实战
软件测试的测试方法及测试流程_测试流程、测试方法和测试工具的使用-CSDN博客
【霍格沃兹测试开发】最新版！Web 自动化测试从入门到精通/ 电子商务产品实战/Selenium （上集）
【霍格沃兹测试开发】明星讲师经心打造最新Python 教程软件测试开发从业者必学（上集）
【霍格沃兹测试开发】明星讲师经心打造最新Python 教程软件测试开发从业者必学（下集）
【霍格沃兹测试开发】精品课合集/ 自动化测试/ 性能测试/ 精准测试/ 测试左移/ 测试右移/ 人工智能测试
【霍格沃兹测试开发】腾讯/ 百度/ 阿里/ 字节测试专家技术沙龙分享合集/ 精准化测试/ 流量回放/Diff 【霍格沃兹测试开发】Pytest 用例布局/ 编写规范 / 免费分享
【霍格沃兹测试开发】JMeter 实时性能监控平台/ 数据分析展示系统Grafana/Docker 安装
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)
Powered by Discuz! X3.4
