ControlNet 是 Stable Diffusion Web UI 中功能最强盛的插件。基于 ControlNet 的各种控制类型让 StableDiffusion 成为 AI绘图工具中最可控的一种。
IP Adapter 就是其中的一种非常有用的控制类型。它不仅能够实现像 Midjourney 一样的“垫图”功能,还能用来给肖像人物换脸。
IP Adapter 的许多老的模型都可以用来换脸,如 Plus Face。然而,IP Adapter不断推出了更新的模型,持续为我们带来惊喜。通过我的亲身测试,我发现新的 Face ID Plus V2 模型在换脸结果上远胜以往。
我尝试将好莱坞女星 Angelina Jolie的脸部特性融合到了由Midjourney 天生的多个图片中,包罗一名中世纪女兵士、一幅文艺复兴时期的玉人肖像,以及一位女王的形象,结果都非常令人满足。
怎么样?结果还不错吧?接下来我来先容如安在 Web UI 中安装并使用这个模型。 如果你喜欢看视频教程,那么我非常欢迎你观看本文所对应的视频(B站同名帐号):
https://www.bilibili.com/video/BV16A4m1V7Sq/
准备工作
我们重要利用 Control Net 中的 IP Adapter 来举行换脸,同时使用 OpenPose 保持原图人物的头部姿势。
相对于 Control Net 的其他控制类型,IP Adapter 是后来才有的。如果你的 Control Net 版本较旧,可能需要更新以支持 IP
Adapter 功能。
我们需要下载以下内容:
Open Pose 模型
IP-Adapter FaceID Plus V2 模型和 Lora
其中 IP Adapter 用来换脸,Open Pose 用来保持住原图人物的头部姿势。Lora 可以提拔面部 ID 的划一性。
这些文件都可以在 Hugging Face 上找到,接下来我将先容如何下载和安装。