IT评测·应用市场-qidao123.com技术社区

标题: AI绘画SD中，如何保持生成人物角色脸部一致？Stable Diffusion精准控制AI人 [打印本页]
作者: 忿忿的泥巴坨    时间: 2024-9-27 04:58
标题: AI绘画SD中，如何保持生成人物角色脸部一致？Stable Diffusion精准控制AI人
大家好，程序员晓晓
在AI绘画StableDiffusion中，一直都有一个比较困难的问题，就是如何包管每次出图都是同一个人。本日就这个问题分享一些个人实践，大家和我一起来看看吧。
一. 有哪些实现方式
方式1：固定Seed种子值。
固定Seed种子值出来的图片人物确实可以做到一致，但Seed种子值是相对整个画面的，导致这种方式生成的新图片效果差别太小，大概除了人物的脸生存了一致，人物的姿势也保持了一致，甚至画面的配景也保持了一致，出来的图片太过单调。
此时我们虽然可以通过ContolNet来控制人物的姿势，但是效果并不可控。
方式2：使用Reactor换脸插件
Reactor插件是我们常见的换脸插件，将生成的图片中人物都使用一张人脸图片去替换，可以很好地做到图片中人脸一致。Reactor换脸操纵可以看看我的往期入门教程：最新SD换脸工具ReActor（附插件），比Roop更强的存在！一键换脸！流畅丝滑！
方式3：直接使用已有的人物LORA模子
直接使用C站提供的LORA模子，我们也可以生成人脸基本一致的图片。这里的基本一致，不能百分百一致。因为每个人物Lora的训练数据集不愿定很全面，主要包括数量、质量、角度等因素不同，出的图很难包管人脸完全一致。
方式4：使用ControlNet预处理处罚Reference only
下面我们重点看一下方式3和方式4，尤其是方式4，是目前实现人脸一致效果的最好方式，不仅适用于人，而且还适用于动物和二次元形象。
教程实操演示

1、LORA模子实现人脸一致的效果
在本期教程开始之前，我们需要安装好AI绘画工具StableDiffusion，如果你还没有使用过这款目前世上最强大的AI绘画工具，那么可以看看我的往期入门安装教程：AI绘画 Stable Diffusion【SD入门】：如何体验AI绘画工具Stable Diffusion，附SD安装教程和三种体验方式！
本期教程中所使用到的AI绘画大模子、Lora模子、插件等可以看下方或文末扫描免费获取哦
我们先通过一个实例看看如何通过LORA实现人脸一致效果。
大模子：majicmixRealistic_v6.safetensors
   正向提示词：a beautiful girl, very delicate features, very detailed eyes and mouth, long hair, delicate skin, big eyes,red sweater, necklace,standing in the classroom, upper body photos,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper,lora:cuteGirlMix4\_v10:1
    反向提示词：(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error
  这里我们选择LORA模子cuteGirlMix4 （模子下载请看文末扫描免费获取哦），权重设置为1

生成效果：

是不是感觉还不错？似乎是比较相似，那接下来我把LORA模子 cuteGirlMix4的权重调整到0.6，我们再看一下效果。

4张美女的脸差别有些明显了。
关于LORA模子cuteGirlMix4，官网推荐搭配的模子是Chilloutmix。它的训练集来自国外抖音(tiktok)网红，而不是任何特定的真人，权重建议值是0.4-0.7。我们看到当权重设置为1时，人物的效果照旧比较好。
可见，将LORA模子cuteGirlMix4的权重设置为1，可以实现最简单的人脸一致。
2、使用ControlNet预处理处罚Reference only实现人脸一致
使用Reference Only时，需要安装好ControlNet插件，如果你还没有安装过，那么可以看下方扫描免费获取ControlNet插件安装包，包罗内置的各种组件和模子文件！

Reference only是客岁5月份ControlNet庞大更新中推出的新功能。它不需要任何控制模子即可实现直接使用一张图片作为参考来引导扩散。
我们来使用看一下效果。
大模子：majicmixRealistic_v6.safetensors
   正向提示词：a beautiful girl, very delicate features, very detailed eyes and mouth, long hair, delicate skin, big eyes,red sweater, necklace,standing in the classroom, upper body photos,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper, lora:cuteGirlMix4\_v10:0.6
  采样器：DPM++ SDE Karras
采样迭代步数：28
我们先直接生成一张图片，效果如下：

我们使用这张图作为底图，使用ControlNet的预处理处罚

我们修改一下正向提示词：将配景换为海边，衣服换为皮夹克。
   a beautiful girl, very delicate features, very detailed eyes and mouth, long hair, delicate skin, big eyes,leather jacket, necklace, standing by the sea, upper body photos,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper,
  生成图片的效果如下：

我们修改一下大模子，改变一下画面风格，比方换成anything-v4.5-pruned-fp16.ckpt，提示词和参数设置都保持稳定。我们看一下生成图片的效果。

我们再看一个实例：一只奔驰的狗
大模子：majicmixRealistic_v6.safetensors
正向提示词：best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper,a running dog
采样器：DPM++ SDE Karras
采样迭代步数：28
生成的图片效果如下：

我们使用这张图作为底图，使用ControlNet的预处理处罚。

重新生成效果如下：

通过上面的实例，可以看到通过使用ControlNet的预处理处罚reference-only实现人物（动物）的一致效果照旧相当不错的。然后我们再通过配景的改变，实现同一个人物在不同场景下的图片效果了。
感兴趣的小伙伴，赠予全套AIGC学习资料，包罗AI绘画、AI人工智能等前沿科技教程和软件工具，详细看这里。


AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算体系具有更高效、更智能、更机动的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，包管本身学得较为全面。


二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记
当我学到肯定基础，有本身的明白能力的时候，会去阅读一些前辈整理的册本或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的明白，这些明白是比较独到，可以学到不一样的思路。


四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有用果的方式，跟着视频中老师的思路，从基础到深入，照旧很容易入门的。

五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将本身的所学运用到现实当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/) Powered by Discuz! X3.4