Whisper-Finetune 项目使用教程

Whisper-Finetune 项目使用教程

    Whisper-Finetune Fine-tune the Whisper speech recognition model to support training without timestamp data, training with timestamp data, and training without speech data. Accelerate inference and support Web deployment, Windows desktop deployment, and Android deployment  

项目地点: https://gitcode.com/gh_mirrors/whi/Whisper-Finetune   
1. 项目先容

Whisper-Finetune 是一个基于 OpenAI 的 Whisper 语音辨认模子的微调项目。该项目旨在通过 Lora 技能对 Whisper 模子进行微调，支持无时间戳数据训练、偶然间戳数据训练以及无语音数据训练。此外，项目还支持加速推理和多种摆设方式，包括 Web 摆设、Windows 桌面摆设和 Android 摆设。
2. 项目快速启动

2.1 环境准备

首先，确保你已经安装了 Anaconda 和 Python 3.10。然后，安装 Pytorch 2.1.0 GPU 版本。以下是使用 Anaconda 安装 Pytorch 的命令：

1. conda install pytorch==2.1.0 torchvision==0.14.1 torchaudio==2.1.0 pytorch-cuda=11.6 -c pytorch -c nvidia

复制代码

2.2 克隆项目

使用 Git 克隆项目到本地：

1. git clone https://github.com/shuaijiang/Whisper-Finetune.git
2. cd Whisper-Finetune

复制代码

2.3 安装依靠

安装项目所需的依靠库：

1. pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

2.4 准备数据

准备训练数据集。项目提供了一个制作 AIShell 数据集的步伐 aishell.py，实行该步伐可以自动下载并生成训练集和测试集。

1. python aishell.py

复制代码

2.5 微调模子

使用以下命令进行单卡训练：

1. CUDA_VISIBLE_DEVICES=0 python finetune.py --base_model=openai/whisper-tiny --output_dir=output/

复制代码

3. 应用案例和最佳实践

3.1 语音辨认

Whisper-Finetune 可以用于各种语音辨认使命，包括但不限于：

• 实时语音转文字
  
• 语音命令辨认
  
• 语音翻译
  

3.2 最佳实践

• 数据准备：确保数据集的质量和多样性，以进步模子的泛化本领。
  
• 模子选择：根据使命需求选择合适的 Whisper 模子进行微调。
  
• 多卡训练：使用多卡训练可以明显进步训练速率和服从。
  

4. 典型生态项目

4.1 CTranslate2

CTranslate2 是一个用于加速 Transformer 模子推理的工具，Whisper-Finetune 支持将模子转换为 CTranslate2 格式，以进步推理速率。
4.2 GGML

GGML 是一个用于在移动设备和嵌入式体系上运行机器学习模子的库，Whisper-Finetune 支持将模子转换为 GGML 格式，以便在 Android 和 Windows 桌面应用中使用。
4.3 Hugging Face Transformers

Hugging Face Transformers 是一个广泛使用的天然语言处置处罚库，Whisper-Finetune 可以直接使用 Hugging Face 提供的 Whisper 模子进行微调。
通过以上步调，你可以快速上手 Whisper-Finetune 项目，并将其应用于各种语音辨认使命中。
    Whisper-Finetune Fine-tune the Whisper speech recognition model to support training without timestamp data, training with timestamp data, and training without speech data. Accelerate inference and support Web deployment, Windows desktop deployment, and Android deployment  

项目地点: https://gitcode.com/gh_mirrors/whi/Whisper-Finetune   

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。