SD-WebUI视频重绘:TemporalKit+EbsynthUtility避坑指南

农民  论坛元老 | 2024-6-20 16:10:52 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 1003|帖子 1003|积分 3009

各人好,我是步伐员晓晓
AI视频重绘,在当下各人并不陌生。我们的实现方式大致可以分为三种:
第三方平台和discord上转绘,如DomoAI ,GoEnhance AI 等。


  • 优点:效果佳,门槛低。
  • 缺点:需要科学上网,和付出肯定的利用费用。
ComfyUI转绘工作流,通过animateDiff 团结CN控制网生成视频。


  • 优点:当地部署,可控性高,根据本身的配置机动取舍。
  • 缺点:门槛高,安装麻烦,需要下载大量的模子。
SD-WebUI通过TemporalKit和EbsynthUtility插件插件生成视频。


  • 优点:当地部署,不需要网络。
  • 缺点:门槛中,操作也很多。
那么我们今天就详细地讲解一下SD-WebUI下重绘视频的详细生成步骤,假如你也想生成AI视频转绘高清视频,请继续往下看。
测试的视频资源我用的是GoEnhance.Al 官方上的视频。


怎样利用:
1. 安装ffmpeg:
下载ffmpeg软件包,将其解压到C盘。

然后将其完整路径添加到系统环境变量,注意是bin目录。

然后我们可以“win+r” 输出“cmd”

调出控制台输入“ffmpeg -version” 出现详细信息就体现ffmpeg安装成功。
2. 安装transparent-background:
在开始“运行” 输入“cmd” (或者键盘Win+R,输入“cmd”)
在弹出的命令行内里输出“pip install transparent-background”

等待输入提示符闪耀,安装完成。
3. 安装SD插件:
起首我们需要有绘世SD webUI软件(如没有AI绘画软件SD,请看文末扫描获取),然后双击启动“A绘世启动器.exe”,在启动器面板左边“版本管理中”找到“安装新扩展”
搜索一下“Ebsynth ” 点击后面的“安装”,(如无法安装,请看文末获取当地插件安装包)

再搜索“Temporal” 点击安装。(如无法安装,请看文末获取当地插件安装包)

然后我们来到首页点击“一键启动” ,启动SD-WebUI。

它会自动下载安装插件,安装完成后会自动弹出URL网页链接。

此时我们需要的插件和环境都安装完成了,接下来看看怎样利用。
4. 分割视频:
起首,我们找一个要转绘的视频,将其拖拽入WebUI中。设置如下,每1帧都采样,动作幅度较大就设置成每3帧提取一个关键帧。

分辨率我们可以在视频上右键“属性”-详细信息中查看,填写入视频的高度点击“保存设置”。

然后,我们需要在当地恣意地方创建一个纯英文路径的文件夹。我在C:\Users\75691\Videos\test创建了个文件夹用于接收渲染的文件。
将这个路径填入设置,勾选“批量处理” 和“分割视频” 选项,然后我们就可以点击右边的“运行”了。

我们会看到刚创建的目录下面,会存放分割的视频文件图片。

0~6是刚刚每隔3帧取一个关键帧的储存文件夹。
input是原始视频逐帧图存放的文件夹。
output是一会儿要重绘的图的存放文件夹。
main_video.mp4是原始视频文件。
5. 确定风格:
然后我们需要确认我们转换的风格,比如是转换成卡通,还是3D又或者是真人,这些取决于我们选择的大模子的风格。我们这里选择卡通二次元。
将刚刚input路径下的图片拖入图生图,跑图测试。

修改提示词,先用DeepBooru 反推提示词。将赤色背景,改成简单背景。加入LCM加速,提升出图速度。(我还加了个添加细节的lora这个随意)选择一个二次元模板。

假如你没有DeepBooru ,也可以用“WD 1.4标签器”反推提示词。

随后,我启用了“ADetailer”用于面部和手部修复。

加入了ControlNet 设置了两个单元,分别控制形态和前景。


渲染确定风格,这里风格主要取决于我们选择的大模子。

比如我选择的是tmndMix,你也可以选择写实的麦橘,那样出的风格就是写实的啦。

6. 批量渲染:
我们来到图生图的窗口,点击“批量处理”,将之前的输入输出目录的路径填入其中。

接下来,再将下面的“ControlNet ”的“批量处理” 页签打开,路径不用填写,它会继续图生图的路径设置。


注意上面是两个“ControlNet ”都要设置,完成后我们就可以点击“生成” 按钮了。

因为有lcm加速,以是速度要比以前快很多。显示约莫需要的时间。

增补:这里有个bug注意一下,就是输出目录output填入了显示正常,但是跑图的时间无效。

我们会看见后台正常在跑图,但是填写的路径下目录里没东西。这时间我们需要“停止” 渲染。
将输出目录的地址清空不填写地址,用sd默认的地址。

然后我们点击“文件夹”图标,来到sd默认的img2img-images文件夹。

在弹出的目录里,选择今天日期的文件夹,将内里的图片清空。

回到SD,后面就会正常输出在这个默认的目录下了。将这些图片复制到之前的output目录中,但是这些图片是无法构建key的,因为input下的图片命名要和output下的图片命名同等。
以是我们需要利用批量修改命名工具行止理output下的图片命名。

左边是修改计谋,右边是图片文件和预览修改后的样子。工具文末获取。

统一资源命名后,我们来到“Temporal-kit” 页签将视频和路径都填入设置。

填写完成后,点击“预处理 Ebsynth” 让其为我们的0-6文件跑“frames”和“keys”

后台完成后,我们即将进入自动生成补间帧环节。
7. 生成补间帧:
解压EbSynth-Beta-Win.zip压缩包到恣意位置,这是一个exe执行步伐,处理我们之宿世成的0-6文件夹内的关键帧。资源可以在文末获取。
双击运行“EbSynth.exe”

将“frames”文件夹拖拽到,“Video:” 后面的路径内里。
将“keys”文件夹拖拽到,“Keyframes:” 后面的路径内里。

然后运行“EbSynth” 面板最下面的“Run AII” ,步伐会开始自动生成补帧。

我们可以多开几个同时对0-6的文件夹处理,
注意每次利用,最好关掉重开!因为它不会自动更新最上级的路径。

完成后,我们将6个文件全部用上面一样的操作,执行一边。
8. 生成视频:
最后,我们再次回到“Temporal-Kit” 页签下“Ebsynth-流程” 页签,点击“重组 Ebsynth”来生成视频。



OK啦生成完成,流程部分到这里就结束了。但我一想其实还可团结之前的工具对视频进行放大处理。SD也有放大功能但是要重新渲染,下面的方式更简单。

工具获取看下方扫描获取

总结:
在本文中,我们详细探讨了利用SD-WebUI进行AI视频重绘的整个过程。这一过程涉及多个步骤,包括安装必要的软件和插件、分割视频、确定风格、批量渲染以及最终的视频生成。虽然这一流程相对复杂,需要肯定的技能知识和耐心,但它提供了高度的自定义本领和当地化处理的优势,使得用户可以根据本身的需求和偏好来生成独特的视频内容。
总的来说,尽管SD-WebUI的视频重绘流程存在肯定的门槛,但它提供了一个强盛的平台,让用户可以或许创造出个性化的视频内容。通过本文的引导,即使是初学者也可以或许逐步掌握这一技能,享受到AI视频重绘带来的兴趣和创造力。
写在最后

感爱好的小伙伴,赠送全套AIGC学习资料,包罗AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。


AIGC技能的未来发展前景广阔,随着人工智能技能的不断发展,AIGC技能也将不断提高。未来,AIGC技能将在游戏和盘算领域得到更广泛的应用,使游戏和盘算系统具有更高效、更智能、更机动的特性。同时,AIGC技能也将与人工智能技能紧密团结,在更多的领域得到广泛应用,对步伐员来说影响至关重要。未来,AIGC技能将继续得到提高,同时也将与人工智能技能紧密团结,在更多的领域得到广泛应用。


一、AIGC所有方向的学习路线
AIGC所有方向的技能点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证本身学得较为全面。


二、AIGC必备工具
工具都帮各人整理好了,安装就可直接上手!

三、最新AIGC学习笔记
当我学到肯定基础,有本身的理解本领的时间,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记录了他们对一些技能点的理解,这些理解是比力独到,可以学到不一样的思路。


四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有用果的方式,跟着视频中老师的思路,从基础到深入,还是很轻易入门的。

五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才气将本身的所学运用到实际当中去,这时间可以搞点实战案例来学习。

若有侵权,请接洽删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

农民

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表