西河刘卡车医 发表于 2024-6-22 16:40:48

腾讯开源人像照片天生视频模型V-Express

网址



[*]https://github.com/tencent-ailab/V-Express
下面是github里的翻译:
在人像视频天生领域,利用单张图像天生人像视频变得越来越普遍。一种常见的方法是利用天生模型来加强受控发电的适配器。
但是,控制信号的强度可能会有所差别,包罗文本、音频、图像参考、姿势、深度图等。此中,较弱的条件往往由于较强条件的干扰而难以有效,这对平衡这些条件构成了挑衅。
在人像视频天生方面,我们发现音频信号特殊弱,常常被姿势和原始图像等较强的信号所掩盖。然而,利用弱信号进行直接训练往往会导致收敛困难。
为相识决这个标题,我们提出了V-Express,这是一种简朴的方法,通过一系列渐进式丢弃操纵来平衡差别的控制信号。
我们的方法逐渐实现了弱条件下的有效控制,从而实现了同时思量姿势、输入图像和音频的天生本领。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 腾讯开源人像照片天生视频模型V-Express