ubuntu利用whisper和funASR-语者分离-二值化

一、选择体系

这个镜像可以

1.1 更新情况

python -m pip install --upgrade pip

二、安装利用whisper

我在另一篇博客也写道，互相交流学习
whisper-深入-语者分离
2.1 创建情况

1. # ssh登录系统
2. # 切换到root用户
3. mkdir /opt/tools/
4. cd /opt/tools/
5. # 安装miniconda
6. wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
7. chmod +x Miniconda3-latest-Linux-x86_64.sh
8. ./Miniconda3-latest-Linux-x86_64.sh
9. #按提示操作，安装目录建议选择/opt/miniconda3
10. #创建软链接
11. ln -s /opt/miniconda3/bin/conda /usr/local/bin/conda
12. #退出shell重新登陆，然后后续操作
13. #创建环境
14. conda create -n whisper python=3.9
15. conda activate whisper

复制代码

2.1 安装

2.1.1安装底子包

1. pip install -U openai-whisper
2. 或者
3. pip install git+https://github.com/openai/whisper.git
4. 或者
5. pip install -i https://pypi.tuna.tsinghua.edu.cn/simple openai-whisper

复制代码

2.1.2安装依靠

1. pip install tiktoken
2. pip install setuptools-rust
3. #在conda whisper环境外执行，安装ffmpeg
4. sudo apt update && sudo apt install ffmpeg

复制代码

3测试1

1. whisper audio.mp3 --model medium --language Chinese

复制代码

代码调用

1. import whisper
2. import arrow
4. # 定义模型、音频地址、录音开始时间
5. def excute(model_name,file_path,start_time):
6.     model = whisper.load_model(model_name)
7.     result = model.transcribe(file_path)
8.     for segment in result["segments"]:
9.         now = arrow.get(start_time)
10.         start = now.shift(seconds=segment["start"]).format("YYYY-MM-DD HH:mm:ss")
11.         end = now.shift(seconds=segment["end"]).format("YYYY-MM-DD HH:mm:ss")
12.         print("【"+start+"->" +end+"】："+segment["text"])
14. if __name__ == '__main__':
15.     excute("base","1001.mp3","2022-10-24 16:23:00")

复制代码

3测试2 语着分离

创建key

https://huggingface.co/settings/tokens
创建代码

• cache_dir:模型啥的下载后存放位置
  
• use_auth_token ：创建的key
  

2. import os
3. import whisper
4. from pyannote.audio import Pipeline
5. from pyannote_whisper.utils import diarize_text
6. import concurrent.futures
8. pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization", use_auth_token="你申请的key",cache_dir="/root/autodl-tmp/whisper/env")
9. output_dir = '/root/autodl-tmp/pyannote-whisper'
11. def process_audio(file_path):
12.     model = whisper.load_model("large")
13.     asr_result = model.transcribe(file_path, initial_prompt="语音转换")
14.     diarization_result = pipeline(file_path)
15.     final_result = diarize_text(asr_result, diarization_result)
17.     output_file = os.path.join(output_dir, os.path.basename(file_path)[:-4] + '.txt')
18.     with open(output_file, 'w') as f:
19.         for seg, spk, sent in final_result:
20.             line = f'{seg.start:.2f} {seg.end:.2f} {spk} {sent}\n'
21.             f.write(line)
23. if not os.path.exists(output_dir):
24.     os.makedirs(output_dir)
26. wave_dir = '/root/autodl-tmp/pyannote-whisper'
27. # 获取当前目录下所有wav文件名
28. wav_files = [os.path.join(wave_dir, file) for file in os.listdir(wave_dir) if file.endswith('.wav')]
31. # 处理每个wav文件
32. with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
33.     executor.map(process_audio, wav_files)
35. print('处理完成！')

复制代码

报错ModuleNotFoundError: No module named 'pyannote'

解决方案

1. pip install  pyannote.audio

复制代码

报错No module named 'pyannote_whisper'

如果你利用利用AutoDL平台，你可以利用学术代理加速

1. source /etc/network_turbo

复制代码

1. git clone https://github.com/yinruiqing/pyannote-whisper.git
2. cd pyannote-whisper
3. pip install -r requirements.txt

复制代码

这个错误可能是由于缺少或不正确安装了所需的 sndfile 库。sndfile 是一个用于处理音频文件的库，它提供了多种格式的读写支持。
你可以尝试安装 sndfile 库，方法如下：
在 Ubuntu 上，利用以下命令安装：sudo apt-get install libsndfile1-dev
在 CentOS 上，利用以下命令安装：sudo yum install libsndfile-devel
在 macOS 上，利用 Homebrew 安装：brew install libsndfile
然后重新执行如上指令
在项目内里写代码就可以了,大概复制代码内里的pyannote_whisper.utils模块代码

三、安装利用funASR

1 安装

官网
1.1 安装 Conda（可选）

1. wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
2. sh Miniconda3-latest-Linux-x86_64.sh
3. source ~/.bashrc
4. conda create -n funasr python=3.8
5. conda activate funasr

复制代码

1.2 安装 Pytorch（版本 >= 1.11.0）

1. pip3 install torch torchaudio

复制代码

如果您的情况中存在CUDA，您应该安装与CUDA匹配的版本的pytorch。匹配列表可以在docs中找到。
1.3 安装funASR

从 pip 安装

1. pip3 install -U funasr
2. # 对于中国的用户，您可以使用以下命令进行安装：
3. # pip3 install -U funasr -i https://mirror.sjtu.edu.cn/pypi/web/simple

复制代码

大概从源码安装funASR

1. git clone https://github.com/alibaba/FunASR.git && cd FunASR
2. pip3 install -e ./

复制代码

1.4 安装 modelscope（可选）

如果您想利用 ModelScope 中的预练习模型，您应该安装 modelscope：

1. pip3 install -U modelscope
2. # 对于中国的用户，您可以使用以下命令进行安装：
3. # pip3 install -U modelscope -i https://mirror.sjtu.edu.cn/pypi/web/simple

复制代码

1.5 如何从当地模型路径推断（可选）

通过 modelscope-sdk 将模型下载到当地目录

1. from modelscope.hub.snapshot_download import snapshot_download
3. local_dir_root = "./models_from_modelscope"
4. model_dir = snapshot_download('damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch', cache_dir=local_dir_root)

复制代码

大概通过 git lfs 将模型下载到当地目录

1. git lfs install
2. # git clone https://www.modelscope.cn/<namespace>/<model-name>.git
3. git clone https://www.modelscope.cn/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch.git

复制代码

利用当地模型路径举行推断

1. local_dir_root = "./models_from_modelscope/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch"
2. inference_pipeline = pipeline(
3.     task=Tasks.auto_speech_recognition,
4.     model=local_dir_root,
5. )

复制代码

2 利用funASR

2.1 利用funASR

1. from modelscope.pipelines import pipeline
2. from modelscope.utils.constant import Tasks
4. inference_pipeline = pipeline(
5.     task=Tasks.auto_speech_recognition,
6.     model='damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch',
7.     model_revision="v1.2.4")
9. rec_result = inference_pipeline(audio_in='1001.wav')
11. print(rec_result['sentences'])
13. with open('result.txt', 'w', encoding='utf-8') as f:
14.     print(rec_result, file=f)
16. print(rec_result)

复制代码

2.2 利用 pyannote.audio 举行语者分离

第一步：安装依靠

1. pip install pyannote.audio

复制代码

第二步：创建key

https://huggingface.co/settings/tokens

第三步：测试pyannote.audio

2. from pyannote.audio import Pipeline
3. pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization", use_auth_token="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")
5. # send pipeline to GPU (when available)
6. import torch
7. pipeline.to(torch.device("cuda"))
9. # apply pretrained pipeline
10. diarization = pipeline("1002.wav")
11. print(diarization)
12. # print the result
13. for turn, _, speaker in diarization.itertracks(yield_label=True):
14.     print(f"start={turn.start:.1f}s stop={turn.end:.1f}s speaker_{speaker}")
15. # start=0.2s stop=1.5s speaker_0
16. # start=1.8s stop=3.9s speaker_1
17. # start=4.2s stop=5.7s speaker_0
18. # ...

复制代码

2.3 funAS整合pyannote.audio

1.1编写算法

1. from pyannote.core import Segment, Annotation, Timeline
4. def get_text_with_timestamp(transcribe_res):
5.     timestamp_texts = []
6.     for item in transcribe_res['segments']:
7.         start = item['start']
8.         end = item['end']
9.         text = item['text']
10.         timestamp_texts.append((Segment(start, end), text))
11.         
12.     print(timestamp_texts)
13.     return timestamp_texts
16. def get_text_with_timestampFun(transcribe_res):
18.     print(transcribe_res['sentences'])
19.     timestamp_texts = []
20.     for item in transcribe_res['sentences']:
21.         start = item['start']/1000.0
22.         end = item['end']/1000.0
23.         text = item['text']
24.         timestamp_texts.append((Segment(start, end), text))
25.     return timestamp_texts
29. def add_speaker_info_to_text(timestamp_texts, ann):
30.     spk_text = []
31.     for seg, text in timestamp_texts:
32.         #这行代码的作用是在给定的时间段 seg 中根据说话人分离结果 ann 获取出现次数最多的说话人。
33.         spk = ann.crop(seg).argmax()
34.         spk_text.append((seg, spk, text))
35.     return spk_text
38. def merge_cache(text_cache):
39.     sentence = ''.join([item[-1] for item in text_cache])
40.     spk = text_cache[0][1]
41.     start = text_cache[0][0].start
42.     end = text_cache[-1][0].end
43.     return Segment(start, end), spk, sentence
46. PUNC_SENT_END = ['.', '?', '!', '。', '？', '！']
49. def merge_sentence(spk_text):
50.     merged_spk_text = []
51.     pre_spk = None
52.     text_cache = []
53.     for seg, spk, text in spk_text:
54.         if spk != pre_spk and pre_spk is not None and len(text_cache) > 0:
55.             merged_spk_text.append(merge_cache(text_cache))
56.             text_cache = [(seg, spk, text)]
57.             pre_spk = spk
59.         elif text[-1] in PUNC_SENT_END:
60.             text_cache.append((seg, spk, text))
61.             merged_spk_text.append(merge_cache(text_cache))
62.             text_cache = []
63.             pre_spk = spk
64.         else:
65.             text_cache.append((seg, spk, text))
66.             pre_spk = spk
67.     if len(text_cache) > 0:
68.         merged_spk_text.append(merge_cache(text_cache))
69.     return merged_spk_text
72. def diarize_text(transcribe_res, diarization_result):
73.     timestamp_texts = get_text_with_timestampFun(transcribe_res)
74.     spk_text = add_speaker_info_to_text(timestamp_texts, diarization_result)
75.     res_processed = merge_sentence(spk_text)
76.     return res_processed
79. def write_to_txt(spk_sent, file):
80.     with open(file, 'w') as fp:
81.         for seg, spk, sentence in spk_sent:
82.             line = f'{seg.start:.2f} {seg.end:.2f} {spk} {sentence}\n'
83.             fp.write(line)

复制代码

1.2调用

1. import os
2. import whisper
3. from pyannote.audio import Pipeline
4. from pyannote_funasr.utils import diarize_text
5. import concurrent.futures
6. from modelscope.pipelines import pipeline
7. from modelscope.utils.constant import Tasks
10. # 输出位置
11. output_dir = '/root/autodl-tmp/pyannote-whisper'
14. from modelscope.pipelines import pipeline
15. from modelscope.utils.constant import Tasks
17. # 语音转文字的模型
18. inference_pipeline = pipeline(
19.     task=Tasks.auto_speech_recognition,
20.     model='damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch',
21.     model_revision="v1.2.4")
23. # rec_result = inference_pipeline(audio_in='1002.wav')
25. # with open('result.txt', 'w', encoding='utf-8') as f:
26. #     print(rec_result, file=f)
28. # # print(rec_result)
32. def process_audio(file_path):
33.     print("----------1")
34.     asr_result = inference_pipeline(audio_in=file_path)  
35.     print("-----------2.2")
36.     # 语者分离pipeline
37.     pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization", use_auth_token="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")
38.     # 使用显卡加速
39.     import torch
40.     pipeline.to(torch.device("cuda"))
41.     #num_speakers 几个说话者，可以不带
42.     diarization_result = pipeline(file_path, num_speakers=2)
43.     # 转文字结果
44.     print(diarization_result)
45.     # 进行语着分离
46.     final_result = diarize_text(asr_result, diarization_result)
47.     print("-----------5")
48.     # 输出结果
49.     output_file = os.path.join(output_dir, os.path.basename(file_path)[:-4] + '.txt')
50.     with open(output_file, 'w') as f:
51.         for seg, spk, sent in final_result:
52.             line = f'{seg.start:.2f} {seg.end:.2f} {spk} {sent}\n'
53.             f.write(line)
54.             print(line)
56. # 判断输出文件夹是否存在
57. if not os.path.exists(output_dir):
58.     os.makedirs(output_dir)
59. wave_dir = '/root/autodl-tmp/pyannote-whisper'
60. # 获取当前目录下所有wav文件名
61. wav_files = [os.path.join(wave_dir, file) for file in os.listdir(wave_dir) if file.endswith('.wav')]
64. # 处理每个wav文件
65. with concurrent.futures.ThreadPoolExecutor() as executor:
66.     executor.map(process_audio, wav_files)
68. print('处理完成！')

复制代码

3.微调

微调.py

1. import os
2. from modelscope.metainfo import Trainers
3. from modelscope.trainers import build_trainer
4. from modelscope.msdatasets.audio.asr_dataset import ASRDataset
6. def modelscope_finetune(params):
7.     if not os.path.exists(params.output_dir):
8.         os.makedirs(params.output_dir, exist_ok=True)
9.     # dataset split ["train", "validation"]
10.     ds_dict = ASRDataset.load(params.data_path, namespace='speech_asr')
11.     kwargs = dict(
12.         model=params.model,
13.         data_dir=ds_dict,
14.         dataset_type=params.dataset_type,
15.         work_dir=params.output_dir,
16.         batch_bins=params.batch_bins,
17.         max_epoch=params.max_epoch,
18.         lr=params.lr)
19.     trainer = build_trainer(Trainers.speech_asr_trainer, default_args=kwargs)
20.     trainer.train()
23. if __name__ == '__main__':
24.     from funasr.utils.modelscope_param import modelscope_args
25.     params = modelscope_args(model="damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch")
26.     params.output_dir = "./checkpoint"                      # 模型保存路径
27.     params.data_path = "speech_asr_aishell1_trainsets"      # 数据路径，可以为modelscope中已上传数据，也可以是本地数据
28.     params.dataset_type = "small"                           # 小数据量设置small，若数据量大于1000小时，请使用large
29.     params.batch_bins = 2000                                # batch size，如果dataset_type="small"，batch_bins单位为fbank特征帧数，如果dataset_type="large"，batch_bins单位为毫秒，
30.     params.max_epoch = 50                                   # 最大训练轮数
31.     params.lr = 0.00005                                     # 设置学习率
32.    
33.     modelscope_finetune(params)

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。