本地搭建ChatTTS WebUi

声明

声明：本教程基于modelscope.cn的演示站举行本地搭建，情况为Windows
作者GitHub地点：https://github.com/2noise/ChatTTS
Webui体验地点：https://modelscope.cn/studios/AI-ModelScope/ChatTTS-demo/summary
第一步 克隆代码

先在终端输入以下内容，克隆modelscope的文件到本地

1. git clone https://www.modelscope.cn/studios/AI-ModelScope/ChatTTS-demo.git

复制代码

克隆好之后进入文件目录

到了目录之后直接实行安装txt中的内容太慢了，换成国内源很快就能下好

1. pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

第二步 安装库

下好之后也不能立马实行，必要在手动安装一些库

依此实行以下命令

1. pip install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple
2. pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

上面安装没有题目，实行以下代码

1. python app.py

复制代码

启动期待步伐下载完成（白条可能会卡住不动，因为他是一次显示很多的，看一下网络宽带有占用就行了，不要暂停步伐!）

错误解决

我就碰到一个错误，说什么Windows不支持，然后我根据错误修改了一些代码我就能运行了，由于我第一次搭建是拿物理电脑搭建的，解决运行之后想着写一篇文章，然后用虚拟机继续搭建，碰到的错误又不一样了，烦死了，于是我直接把我物理机的core.py中的内容复制到虚拟机中的core.py就能运行了，直接复制以下代码覆盖克隆下来的core.py
core.py在ChatTTS目录下面

2. import os
3. import logging
4. from omegaconf import OmegaConf
6. import platform
7. import torch
8. from vocos import Vocos
9. from .model.dvae import DVAE
10. from .model.gpt import GPT_warpper
11. from .utils.gpu_utils import select_device
12. from .utils.infer_utils import count_invalid_characters, detect_language
13. from .utils.io_utils import get_latest_modified_file
14. from .infer.api import refine_text, infer_code
16. from huggingface_hub import snapshot_download
18. logging.basicConfig(level = logging.INFO)
21. class Chat:
22.     def __init__(self, ):
23.         self.pretrain_models = {}
24.         self.normalizer = {}
25.         self.logger = logging.getLogger(__name__)
26.         
27.     def check_model(self, level = logging.INFO, use_decoder = False):
28.         not_finish = False
29.         check_list = ['vocos', 'gpt', 'tokenizer']
30.         
31.         if use_decoder:
32.             check_list.append('decoder')
33.         else:
34.             check_list.append('dvae')
35.             
36.         for module in check_list:
37.             if module not in self.pretrain_models:
38.                 self.logger.log(logging.WARNING, f'{module} not initialized.')
39.                 not_finish = True
40.                
41.         if not not_finish:
42.             self.logger.log(level, f'All initialized.')
43.             
44.         return not not_finish
45.         
46.     def load_models(self, source='huggingface', force_redownload=False, local_path='<LOCAL_PATH>', **kwargs):
47.         if source == 'huggingface':
48.             hf_home = os.getenv('HF_HOME', os.path.expanduser("~/.cache/huggingface"))
49.             try:
50.                 download_path = get_latest_modified_file(os.path.join(hf_home, 'hub/models--2Noise--ChatTTS/snapshots'))
51.             except:
52.                 download_path = None
53.             if download_path is None or force_redownload:
54.                 self.logger.log(logging.INFO, f'Download from HF: https://huggingface.co/2Noise/ChatTTS')
55.                 download_path = snapshot_download(repo_id="2Noise/ChatTTS", allow_patterns=["*.pt", "*.yaml"])
56.             else:
57.                 self.logger.log(logging.INFO, f'Load from cache: {download_path}')
58.         elif source == 'local':
59.             self.logger.log(logging.INFO, f'Load from local: {local_path}')
60.             download_path = local_path
62.         self._load(**{k: os.path.join(download_path, v) for k, v in OmegaConf.load(os.path.join(download_path, 'config', 'path.yaml')).items()}, **kwargs)
63.         
64.     def _load(
65.         self,
66.         vocos_config_path: str = None,
67.         vocos_ckpt_path: str = None,
68.         dvae_config_path: str = None,
69.         dvae_ckpt_path: str = None,
70.         gpt_config_path: str = None,
71.         gpt_ckpt_path: str = None,
72.         decoder_config_path: str = None,
73.         decoder_ckpt_path: str = None,
74.         tokenizer_path: str = None,
75.         device: str = None,
76.         compile: bool = True,
77.     ):
78.         if not device:
79.             device = select_device(4096)
80.             self.logger.log(logging.INFO, f'use {device}')
81.             
82.         if vocos_config_path:
83.             vocos = Vocos.from_hparams(vocos_config_path).to(device).eval()
84.             assert vocos_ckpt_path, 'vocos_ckpt_path should not be None'
85.             vocos.load_state_dict(torch.load(vocos_ckpt_path))
86.             self.pretrain_models['vocos'] = vocos
87.             self.logger.log(logging.INFO, 'vocos loaded.')
88.         
89.         if dvae_config_path:
90.             cfg = OmegaConf.load(dvae_config_path)
91.             dvae = DVAE(**cfg).to(device).eval()
92.             assert dvae_ckpt_path, 'dvae_ckpt_path should not be None'
93.             dvae.load_state_dict(torch.load(dvae_ckpt_path, map_location='cpu'))
94.             self.pretrain_models['dvae'] = dvae
95.             self.logger.log(logging.INFO, 'dvae loaded.')
96.             
97.         if gpt_config_path:
98.             cfg = OmegaConf.load(gpt_config_path)
99.             gpt = GPT_warpper(**cfg).to(device).eval()
100.             assert gpt_ckpt_path, 'gpt_ckpt_path should not be None'
101.             gpt.load_state_dict(torch.load(gpt_ckpt_path, map_location='cpu'))
102.             if platform.system() != 'Windows':
103.                 gpt.gpt.forward = torch.compile(gpt.gpt.forward, backend='inductor', dynamic=True)
104.             self.pretrain_models['gpt'] = gpt
105.             spk_stat_path = os.path.join(os.path.dirname(gpt_ckpt_path), 'spk_stat.pt')
106.             assert os.path.exists(spk_stat_path), f'Missing spk_stat.pt: {spk_stat_path}'
107.             self.pretrain_models['spk_stat'] = torch.load(spk_stat_path).to(device)
108.             self.logger.log(logging.INFO, 'gpt loaded.')
109.             
110.         if decoder_config_path:
111.             cfg = OmegaConf.load(decoder_config_path)
112.             decoder = DVAE(**cfg).to(device).eval()
113.             assert decoder_ckpt_path, 'decoder_ckpt_path should not be None'
114.             decoder.load_state_dict(torch.load(decoder_ckpt_path, map_location='cpu'))
115.             self.pretrain_models['decoder'] = decoder
116.             self.logger.log(logging.INFO, 'decoder loaded.')
117.         
118.         if tokenizer_path:
119.             tokenizer = torch.load(tokenizer_path, map_location='cpu')
120.             tokenizer.padding_side = 'left'
121.             self.pretrain_models['tokenizer'] = tokenizer
122.             self.logger.log(logging.INFO, 'tokenizer loaded.')
123.             
124.         self.check_model()
125.    
126.     def infer(
127.         self,
128.         text,
129.         skip_refine_text=False,
130.         refine_text_only=False,
131.         params_refine_text={},
132.         params_infer_code={'prompt':'[speed_5]'},
133.         use_decoder=True,
134.         do_text_normalization=False,
135.         lang=None,
136.     ):
137.         
138.         assert self.check_model(use_decoder=use_decoder)
139.         
140.         if not isinstance(text, list):
141.             text = [text]
142.         
143.         if do_text_normalization:
144.             for i, t in enumerate(text):
145.                 _lang = detect_language(t) if lang is None else lang
146.                 self.init_normalizer(_lang)
147.                 text[i] = self.normalizer[_lang].normalize(t, verbose=False, punct_post_process=True)
148.             
149.         for i in text:
150.             invalid_characters = count_invalid_characters(i)
151.             if len(invalid_characters):
152.                 self.logger.log(logging.WARNING, f'Invalid characters found! : {invalid_characters}')
153.                
154.         if not skip_refine_text:
155.             text_tokens = refine_text(self.pretrain_models, text, **params_refine_text)['ids']
156.             text_tokens = [i[i < self.pretrain_models['tokenizer'].convert_tokens_to_ids('[break_0]')] for i in text_tokens]
157.             text = self.pretrain_models['tokenizer'].batch_decode(text_tokens)
158.             if refine_text_only:
159.                 return text
160.             
161.         text = [params_infer_code.get('prompt', '') + i for i in text]
162.         params_infer_code.pop('prompt', '')
163.         result = infer_code(self.pretrain_models, text, **params_infer_code, return_hidden=use_decoder)
164.         
165.         if use_decoder:
166.             mel_spec = [self.pretrain_models['decoder'](i[None].permute(0,2,1)) for i in result['hiddens']]
167.         else:
168.             mel_spec = [self.pretrain_models['dvae'](i[None].permute(0,2,1)) for i in result['ids']]
169.             
170.         wav = [self.pretrain_models['vocos'].decode(i).cpu().numpy() for i in mel_spec]
171.         
172.         return wav
173.    
174.     def sample_random_speaker(self, ):
175.         
176.         dim = self.pretrain_models['gpt'].gpt.layers[0].mlp.gate_proj.in_features
177.         std, mean = self.pretrain_models['spk_stat'].chunk(2)
178.         return torch.randn(dim, device=std.device) * std + mean
179.    
180.     def init_normalizer(self, lang):
181.         
182.         if lang not in self.normalizer:
183.             from nemo_text_processing.text_normalization.normalize import Normalizer
184.             self.normalizer[lang] = Normalizer(input_case='cased', lang=lang)

复制代码

运行结果

实行app.py之后会得到一个地点，访问即可

访问就可以天生了

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。