EchoMimic：蚂蚁开源传神数字人框架，心情口型更生动天然，当地摆设包获取

EchoMimic：传神的音频驱动人像动画

EchoMimic简介

克日蚂蚁开源了一款名为：EchoMimic 数字人的框架。EchoMimic可以或许通过单独的音频文件和一张静态面部标志点的图像天生数字人像视频，也可以通过音频和选定的面部标志点的组合来天生。

由音频输入推动的人像图像动画范畴，在天生传神和动态的人像方面取得了显着盼望。传统方法仅限于使用音频或面部关键点来驱动图像转视频，固然可以得到满足的结果，但存在一些题目。比方，仅由音频驱动的方法偶然会由于音频信号相对较弱而不稳固；而完全由面部关键点驱动的方法，只管在驱动上更稳固，但大概会由于关键点信息的太过控制而导致结果不天然。为了应对前述挑衅，研究团队先容了一种名为EchoMimic的新方法。EchoMimic同时使用音频和面部标志点举行训练。通过实行一种新奇的训练计谋，EchoMimic不光可以或许单独通过音频和面部标志点天生人像视频，还可以或许通过音频和选定的面部标志点的组合来天生。EchoMimic已经在多个公共数据集和网络的数据集上与更换算法举行了全面比力，在定量和定性评估中显现出更良好的性能。

• • Github地点：https://github.com/BadToBest/EchoMimic
  
• • 项目主页：https://badtobest.github.io/echomimic.html
  

官方视觉演示案例

更多演示案例，请拜见官方主页：https://badtobest.github.io/echomimic.html 。
EchoMimic使用指南

当前官方给出的代码库中，只包罗CLI下令行运行方式。思量到方便各人的使用，笔者已创建了WebUI版本，接待各人提供更多发起。

• • 代码地点：https://github.com/greengerong/EchoMimic/tree/main
  

同时笔者也提供了国内网盘包，文末已放置网盘下载口令。
运行下令：安装依赖并启动服务

1. # window 双击运行该批处理文件，或在命令提示符中导航到文件所在目录并运行 run.bat  
2. ./run.bat  
3.   
4. # Linux 在终端中运行如下命令  
5. chmod +x run.sh && ./run.sh。

复制代码

仅运行：也可使用仅启动服务，使用已有情况依赖，不独立安装依赖

1. # 服务启动  
2. python -u app.py

复制代码

假如遇见touch题目，确保正在上网重新安装：

1. pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 -U

复制代码

WebUI界面

EchoMimic体验

本文中使用的是可图（Kolors） 天生输入图像，克制肖像隐私。

• • Kolors模子地点（国内哩布镜像）：https://www.liblib.art/modelinfo/c10a365bbdff40edb3f18b9fdfb694f8
  
• • Kolors模子地点（huggingface）：https://huggingface.co/Kwai-Kolors/Kolors/tree/main
  
• • 在线画图地点：https://klingai.kuaishou.com/
  

Kolors示例

1. 这位身着天蓝色和银色服装的美丽女子，她的黑色虹膜看起来就像中国神话中的年兽。这张照片是用手机相机在TikTok上拍摄的，可以看到她美丽的眼睛。她有金色的刘海，似乎化了妆，脸上有美丽的金色图案。她皮肤上的纹路也清晰可见。逼真的风格，全身外观，丰富的背景，4k超高清

复制代码

EchoMimic体验

在WebUI界面中，仅需按照界面指引利用上传一张人物图片和一段音频文件，点击天生，耐烦等候任务实行完成，即可望见输出视频结果。默认生存在当地文件目次**/EchoMimic/output/tmp** 下。每次会天生两个视频，一个为无声视频和一个配音视频。
注：在测试体验履历，输入图像须要保持1:1，同时包管高清质量和人物脸部可辨认，脸部不要有复杂遮挡物，否则会无法辨认报错。
写在末了

感爱好的小搭档，赠送全套AIGC学习资料，包罗AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技能的将来发展远景广阔，随着人工智能技能的不停发展，AIGC技能也将不停进步。将来，AIGC技能将在游戏和盘算范畴得到更广泛的应用，使游戏和盘算体系具有更高效、更智能、更机动的特性。同时，AIGC技能也将与人工智能技能细密联合，在更多的范畴得到广泛应用，对步伐员来说影响至关紧张。将来，AIGC技能将继承得到进步，同时也将与人工智能技能细密联合，在更多的范畴得到广泛应用。
 

一、AIGC全部方向的学习蹊径
AIGC全部方向的技能点做的整理，形成各个范畴的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，包管本身学得较为全面。

二、AIGC必备工具
工具都帮各人整理好了，安装就可直接上手！

三、最新AIGC学习条记
当我学到肯定底子，有本身的明确本领的时间，会去阅读一些先辈整理的册本大概手写的条记资料，这些条记具体记录了他们对一些技能点的明确，这些明确是比力独到，可以学到不一样的思绪。

四、AIGC视频教程合集
观看全面零底子学习视频，看视频学习是最快捷也是最有用果的方式，跟着视频中老师的思绪，从底子到深入，照旧很容易入门的。

五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才气将本身的所学运用到现实当中去，这时间可以搞点实战案例来学习。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金