ControlNet 是 Stable Diffusion Web UI 中功能最强大的插件。基于 ControlNet 的各种控制类型让 StableDiffusion 成为 AI画图工具中最可控的一种。
IP Adapter 就是此中的一种非常有效的控制类型。它不但能够实现像 Midjourney 一样的“垫图”功能,还能用来给肖像人物换脸。
IP Adapter 的很多老的模型都可以用来换脸,如 Plus Face。然而,IP Adapter不停推出了更新的模型,连续为我们带来惊喜。通过我的亲身测试,我发现新的 Face ID Plus V2 模型在换脸效果上远胜以往。
我实验将好莱坞女星 Angelina Jolie的脸部特性融合到了由Midjourney 生成的多个图片中,包罗一名中世纪女战士、一幅文艺复兴时期的玉人肖像,以及一位女王的形象,效果都非常令人满意。
怎么样?效果还不错吧?接下来我来介绍如安在 Web UI 中安装并使用这个模型。 如果你喜欢看视频教程,那么我非常欢迎你观看本文所对应的视频(B站同名帐号):
www.bilibili.com/video/BV16A…
准备工作
我们主要使用 Control Net 中的 IP Adapter 来举行换脸,同时使用 OpenPose 保持原图人物的头部姿势。
相对于 Control Net 的其他控制类型,IP Adapter 是后来才有的。如果你的 Control Net 版本较旧,可能必要更新以支持 IP
Adapter 功能。
我们必要下载以下内容:
Open Pose 模型
IP-Adapter FaceID Plus V2 模型和 Lora
此中 IP Adapter 用来换脸,Open Pose 用来保持住原图人物的头部姿势。Lora 可以提升面部 ID 的一致性。
这些文件都可以在 Hugging Face 上找到,接下来我将介绍如何下载和安装。