多语言声音克隆，CosyVoice模型最强部署

CosyVoice是由阿里通义实行室开源的一款多语言语音理解模型，它主要聚焦于高质量的语音合成，可以大概生成自然且传神的语音。
CosyVoice模型经过凌驾15万小时的数据训练，支持中文、英语、日语、粤语和韩语多种语言的合成，且在多语言语音生成、零样本语音生成、跨语言声音合成和指令执行能力方面体现杰出。
CosyVoice支持one-shot音色克隆技能，仅需3~10秒的原始音频即可生成模拟音色，包罗韵律、情感等细节。
CosyVoice展现了零样本学习的能力，可以大概通过一个简短的参考语音样本复制恣意声音，实现内容同等性和语言者相似度的高度还原。
CosyVoice可以大概对生成的语音进行细粒度的情感、语调、语速和音调控制，使合成的语音更加丰富和具有体现力。
github项目地点：https://github.com/FunAudioLLM/CosyVoice。
一、情况安装

1、python情况
建议安装python版本在3.10以上。
2、pip库安装
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
3、CosyVoice-300M模型下载：
git lfs install
git clone https://www.modelscope.cn/iic/CosyVoice-300M.git CosyVoice-300M
4、CosyVoice-300M-SFT模型下载：
git lfs install
git clone https://www.modelscope.cn/iic/CosyVoice-300M-SFT.git CosyVoice-300M-SFT
5、CosyVoice-300M-Instruct模型下载：
git lfs install
git clone https://www.modelscope.cn/iic/CosyVoice-300M-Instruct.git CosyVoice-300M-Instruct
当使用自然语音控制推理模式时，需要采用该模型。
6、CosyVoice-ttsfrd模型下载：
git lfs install
git clone https://www.modelscope.cn/iic/CosyVoice-ttsfrd.git CosyVoice-ttsfrd
二、功能测试

1、调用测试：
（1）调用接口测试代码

1. from cosyvoice.cli.cosyvoice import CosyVoice  
2. from cosyvoice.utils.file_utils import load_wav  
3. import torchaudio
5. #初始化CosyVoice模型
6. cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M-SFT')
8. #列出可用的发音人
9. print(cosyvoice.list_available_spks())
11. #使用SFT（Supervised Fine-Tuning）模式生成语音
12. output = cosyvoice.inference_sft(
13.     text='你好，我是通义生成式语音大模型，请问有什么可以帮您的吗？',
14.     speaker='中文女'
15. )
16. #将生成的语音保存为wav文件
17. torchaudio.save('sft.wav', output['tts_speech'], 22050)
19. #再次初始化CosyVoice模型，这次加载的是基础模型CosyVoice-300M
20. cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M')
22. #加载用于Zero-Shot和Cross-Lingual任务的提示语音
23. prompt_speech_16k = load_wav('zero_shot_prompt.wav', 16000)
25. #使用Zero-Shot模式生成语音，此模式不需要特定的训练数据
26. output = cosyvoice.inference_zero_shot(
27.     main_text='收到好友从远方寄来的生日礼物，那份意外的惊喜与深深的祝福让我心中充满了甜蜜的快乐，笑容如花儿般绽放。',
28.     additional_text='希望你以后能够做的比我还好呦。',
29.     prompt_speech=prompt_speech_16k
30. )
31. #将生成的语音保存为wav文件
32. torchaudio.save('zero_shot.wav', output['tts_speech'], 22050)
34. #加载用于Cross-Lingual任务的提示语音
35. prompt_speech_16k = load_wav('cross_lingual_prompt.wav', 16000)
37. #使用Cross-Lingual模式生成语音，该模式支持跨语言语音合成
38. output = cosyvoice.inference_cross_lingual(
39.     text='<|en|>And then later on, fully acquiring that company. So keeping management in line, interest in line with the asset that\'s coming into the family is a reason why sometimes we don\'t buy the whole thing.',
40.     prompt_speech=prompt_speech_16k
41. )
42. #将生成的语音保存为wav文件
43. torchaudio.save('cross_lingual.wav', output['tts_speech'], 22050)
45. #最后，再次初始化CosyVoice模型，这次加载的是指令模型CosyVoice-300M-Instruct
46. cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M-Instruct')
48. #使用Instruct模式生成语音，支持情感和语气的指令标签
49. output = cosyvoice.inference_instruct(
50.     text='在面对挑战时，他展现了非凡的<bold>勇气</bold>与<bold>智慧</bold>。',
51.     speaker='中文男',
52.     style='Theo \'Crimson\', is a fiery, passionate rebel leader. Fights with fervor for justice, but struggles with impulsiveness.'
53. )
54. #将生成的语音保存为wav文件
55. torchaudio.save('instruct.wav', output['tts_speech'], 22050)

复制代码

（2）web端测试代码
未完......
更多具体的内容接待关注：杰哥新技能

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。