【Stable Diffusion】最新替换 人脸模型：IP-Adapter Face ID Plus V2 WebU ...

ControlNet 是 Stable Diffusion Web UI 中功能最强大的插件。基于 ControlNet 的各种控制类型让 Stable
Diffusion 成为 AI
绘图工具 中最可控的一种。
IP Adapter 就是其中的一种非常有用的控制类型。它不光可以或许实现像 Midjourney 一样的“垫图”功能，还能用来给肖像人物换脸。
IP Adapter 的许多老的模型都可以用来换脸，如 Plus Face。然而，IP Adapter
不停推出了更新的模型，持续为我们带来惊喜。通过我的切身测试，我发现新的 Face ID Plus V2 模型在换脸效果上远胜以往。
我实验将好莱坞女星 Angelina Jolie
的脸部 特性融合 到了由
Midjourney 天生的多个图片中，包括一名中世纪女战士、一幅文艺复兴时期的美女肖像，以及一位女王的形象，效果都非常令人满足。

怎么样？效果还不错吧？接下来我来先容如何在 Web UI 中安装并使用这个模型。
准备工作

我们紧张利用 Control Net 中的 IP Adapter 来举行换脸，同时使用 OpenPose 保持原图人物的头部姿势。

相对于 Control Net 的其他控制类型，IP Adapter 是后来才有的。如果你的 Control Net 版本较旧，可能需要更新以支持 IP
Adapter 功能。
我们需要下载以下内容：

• Open Pose 模型
  
• IP-Adapter FaceID Plus V2 模型和 Lora
  

其中 IP Adapter 用来换脸，Open Pose 用来保持住原图人物的头部姿势。Lora 可以提升面部 ID 的一致性。
这些文件都可以在 Hugging Face 上找到，接下来我将先容如何下载和安装。
下载模型和Lora

获取 Open Pose 模型

1️⃣ 起首，访问 HuggingFace 网页 ，定位到 Control Net 模型的下载页面。这里列出了所有 Control Net
的基础模型及其配置文件。
2️⃣ 在页面中向下滚动，搜索包含“Open Pose”关键词的文件。
3️⃣ 你会发现有两种文件类型：以 .pth 结尾的是模型文件，而以 .yaml 结尾的则是模型的配置文件。通常，.yaml 配置文件已经在
Control Net 安装时包含在内，因此我们紧张关注的是下载 .pth 结尾的模型文件。

4️⃣ 点击下载按钮开始下载所需的 .pth 文件。
5️⃣ 下载完成以后，放在 stable-diffusion-webui\extensions\sd-webui- controlnet\models文件夹。
下载 IP Adapter 需要的 Face ID 模型和 Lora

1️⃣ 继续访问另一个HuggingFace 下载页面 ，寻找 IP Adapter Face ID Plus sd15 和 sd15 lora
文件。这些文件专为 sd 1.5 的模型设计，提供了良好的性能和对 Control Net 其他控制类型的支持。
2️⃣点击下载按钮，开始下载这些文件。注意，sd15 代表这些文件适用于 sd 1.5 版本的模型，而不是 sdxl 版本。

3️⃣Lora 文件特殊用于提升面部 ID 的一致性，对于提高换脸效果的自然度非常关键。
4️⃣下载完成以后，以.bin结尾的模型文件放在 stable-diffusion-webui\extensions\sd-webui- controlnet\models文件夹。
5️⃣ 以.safetensors结尾的Lora文件放在 stable-diffusion-webui\models\Lora文件夹。
安装 InsightFace

如果你在使用FaceID的过程中可能会碰到终端提示No module named 'insightface'的错误，如下图所示。

这时候你需要安装 InsightFace。Stable Diffusion 许多换脸的插件都会用到它，比如 Reactor。
GitHub 上有个 Issue专门讨论这个问题。用户MMoneer给出了如下办理方案：
1️⃣下载预编译的 Insightface 软件包
2️⃣下载后将其放入 stable-diffusion-webui 的根文件夹（"webui-user.bat "文件地点文件夹）
3️⃣在 WebUI的根目次分别运行CMD和.\venv\Scripts\activate。
4️⃣ 升级一下Pip：python -m pip install -U pip。
5️⃣取决于你的Python版本，运行下面两个代码的其中一个：pip install
insightface-0.7.3-cp310-cp310-win_amd64.whl (对于3.10) 或者 pip install
insightface-0.7.3-cp311-cp311-win_amd64.whl (对于3.11)。
换脸实操

在开始换脸操纵之前，准备工作是必不可少的。这不光包括了模型的下载和安装，也涉及到被换脸图片的预处置惩罚。接下来，我会详细先容从准备头像到在 Web UI
中举行换脸的整个流程。
准备头像

1️⃣选择了好莱坞明星 Angelina Jolie 的头像作为换脸的源图片。但发现原图偏亮，这可能会导致换脸后的图像在脸部区域过亮。
2️⃣为了办理这个问题，我使用 PS 对头像的亮度举行了调解，将其降至平均程度，并对脸部的高光区域举行了调暗处置惩罚。

选择模型

1️⃣图片处置惩罚完毕后，进入 Stable Diffusion 的 Web UI 界面。
2️⃣在这里，需要选择一个适合举行写实风格天生的 SD 1.5 模型。我个人选择的是 cyber realistic
模型，但各人可以根据自己的需求选择其他模型，比力不同模型的效果。
3️⃣在提示词区域暂时不输入任何内容，直接转向我们之前下载的 Lora 文件，这个文件用于增强脸部的一致性。
4️⃣ 点击“Lora”选项，选择我们下载的 face_id_plus_v2_sd15_lora 文件。选中后，Lora 将会被添加到提示词输入框中。
5️⃣接着，通过按住 Ctrl 键并使用向下方向键，调解 Lora 的权重，发起设置在 0.5 到 0.7 的范围内。

局部绘制设置

1️⃣接下来的步骤是点击“局部绘制”选项，这一功能允许 Stable Diffusion 专注于重绘特定的面部区域。
2️⃣上传想要被换脸的图片，然后使用画笔工具在人物的脸部区域举行标志。为了更好地实现融合效果，标志的区域可以适当大一些。

通过上述步骤，我们完成了换脸操纵的所有准备工作，包括头像的预处置惩罚和在 Web UI 中的设置。下一步，我们将进入实际的天生过程，利用 Stable
Diffusion 的强大功能，为 Angelina Jolie 创建全新的面孔。
局部重绘的参数设置

举行局部重绘时，正确的参数设置可以显著提升换脸效果的自然度和细节。以下是详细的参数调解指南：

• 蒙版模糊度 ：增长蒙版模糊度有助于减少换脸后图像中可能出现的生硬接缝。这一步骤是为了确保脸部与原图更加平滑地融合。
  
• 采样方法 ：选择与写实模型相匹配的采样方法，以便天生的图像贴合预期风格。
  
• 采样步数 ：适当增长采样步数可以改善天生图像的质量，使细节更加丰富和准确。
  
• 宽度和高度 ：保持与原图相同的宽度和高度，以确保图像的一致性。
  
• 提示词引导系数 ：设置在6到8之间，以平衡图像内容与天生的一致性。
  
• 重绘强度 ：调解到0.4-0.6之间，控制重绘区域的强度，以达到理想的换脸效果。
  

设置第一个ControlNet: IP-Adapter

接下来是 IP-Adapter 的配置，这一步骤确保了换脸操纵可以准确地辨认和应用面部特性。

• 启用 Control Net ：在 Web UI 中找到 Control Net 设置并睁开，勾选“启用”选项。
  
• 完美匹配像素 ：选择此项以提高天生图像的准确度。
  
• 上传独立控制图像 ：点击上传区域，从文件浏览器中选择 Angelina Jolie 的头像作为控制图像。
  
• 选择控制网络类型 ：在“控制网络类型”选项中选择 IP Adapter。
  
• 预处置惩罚和模型选择 ：确保预处置惩罚选择为“ip_adapter_face_id_plus”，并选择相应的“ip_adapter_face_id_plus_v2_sd”模型。这一步骤关键在于包管预处置惩罚器与模型相匹配，以免 IP Adapter 功能失效。
  
• 预览效果 ：点击外形像爆炸一样的按钮，预览 IP Adapter 的效果，确认没有问题。
  

设置第二个 Control Net: OpenPose

在完成了首个 Control Net 的配置后，我们进入到设置第二个 Control Net 的步骤，这次是为了利用 OpenPose
保持人物头部姿势的自然和一致性。这一步骤对于确保换脸后的图像在姿势上与原始图像保持一致非常关键。

• 启用 Control Net Unit 1 ：在 Web UI 中找到并睁开“Control Net Unit 1”的设置部分，确保勾选“启用”以激活此单元。
  
• 上传独立控制图像 ：点击上传区域，从文件浏览器中选择要被换脸的图片作为控制图像。
  
• 选择控制网络类型为 Open Pose ：在“控制网络类型”中选择 OpenPose，这是为了捕捉并保持原始人物的头部姿势。
  
• 预处置惩罚和模型选择 ：对于预处置惩罚，选择最基础的“openpose”选项。对于模型，选择与 Open Pose 相关的“sd15 openpose”模型。
  
• 预览 Open Pose 效果 ：点击预览按钮（外形像爆炸一样的图标），检察 OpenPose 的效果，确保骨骼图正确天生，没有问题。
  

天生图片

完成两个 Control Net 的设置之后，我们准备好天生终极的图片了：

• 向上滚动页面，找到并点击“Generate”按钮开始天生过程。
  
• 期待过程完成，你将看到换脸效果出现出来，其中包括面部的角度和光线的自然融合。
  

效果评估与调解

• 天生的图像中，Angelina Jolie 的特性——如弯曲的睫毛、蓝绿色的眼睛和性感的嘴唇——都得到了精准的出现。
  
• 如果在终极的图像中仍存在一些渺小的问题，我们可以使用 Photoshop 举行进一步的调解，以达到完美的效果。
  

通过仔细配置 Open Pose 和 IP Adapter 的 Control
Net，我们可以或许确保换脸效果不光在视觉上令人满足，而且在姿势和表情上也与原图保持高度一致，从而实现了高质量的换脸效果。
关于AI绘画技能储备

学好 AI绘画 不论是就业还是做副业赢利都不错，但要学会 AI绘画 还是要有一个学习规划。最后各人分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点资助！
对于0基础小白入门：
   如果你是零基础小白，想快速入门AI绘画是可以考虑的。
  一方面是学习时间相对较短，学习内容更全面更会合。
二方面是可以找到适合自己的学习方案
  包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

零基础AI绘画学习资源先容