Stable Diffusion【应用篇】【角色一致性】:怎样从差异视角创造一致的人物
您是否必要从差异的视角创建一致的AI 角色?例如下面的图片效果。https://img-blog.csdnimg.cn/img_convert/b6ea57bde43b20a3926d04dd5511b746.png
https://img-blog.csdnimg.cn/img_convert/efe25f6a775c43eea8feeaad5beb42e5.png
https://img-blog.csdnimg.cn/img_convert/93a2b03b369b8f65af3220d74ed02b17.png
一. 实现原理
制作一张同一个人物角色差异的视角网格图片,如下图所示。
https://img-blog.csdnimg.cn/img_convert/da833f775ae2dc4376fe1e0070798d7a.png
使用ControlNet的Canny SDXL控制模型生成人物角色表面,如下图所示。
https://img-blog.csdnimg.cn/img_convert/7b8c9a2ff864faab3aea60d84c03e05d.png
然后使用 IP ApadterFaceID Plus v2 从另一个参考图像复制面部。由于IP ApadterFaceID仅复制面部。它可以从参考图像中精确提取面部特性,因此可以正确地将面部转移到差异的视角。
二. 制作方法
【第一步】:大模型的选择
这里保举使用:ProtoVision XL-High Fidelity-No Refiner,版本v6.6.0。
模型下载地址(文末网盘地址也可获取)
LiblibAI
:https://www.liblib.art/modelinfo/3a3d10aa7fe644158c08a5a43da358db
【第二步】:提示词的编写
我们以上图中第一张图片为例来举行阐明。
正向提示词
Prompt :character sheet,
color photo
of woman, white background, blonde long hair, beautiful eyes, black shirt
提示词 :人物表,女人的彩色照片,白色配景,金发长发,漂亮的眼睛,黑色衬衫
反向提示词
disfigured, deformed, ugly, text, logo
https://img-blog.csdnimg.cn/img_convert/9b7d11bea8fe59e3ae4fa7555038fa93.png
相关参数设置
[*] 采样器:DPM++ 2M Karras
[*] 采样迭代步数:20
[*] 图片宽高:1024*1024。
[*] 提示词引导系数(CFG):7
【第三步】:ControlNet的设置
这里我们必要设置2个ControlNet单位。
ControlNet单位0 :canny控制模型设置
https://img-blog.csdnimg.cn/img_convert/0031a6e1d235092724fd605882e2a37e.png
相关参数设置如下:
[*] 控制类型:选择"Canny(硬边沿)"
[*] 预处置处罚器:canny
[*] 模型:diffusers_xl_canny_mid
[*] 控制权重:0.4
[*] 引导参与时机:0
[*] 引导终止时机:0.5
ControlNet单位1 :Ip-Adapter控制模型设置
https://img-blog.csdnimg.cn/img_convert/8930beb7b91306b18a7519d922611589.png
相关参数设置如下:
[*] 控制类型:选择"IP-Adapter"
[*] 预处置处罚器:ip-adapter_face_id_plus
[*] 模型:ip-adapter-faceid-plusv2_sdxl
[*] 控制权重:0.7
[*] 引导参与时机:0
[*] 引导终止时机:1
【第四步】:使用 ADetailer 主动修复脸部
由于图片中人脸较多,必要开启ADetailer修复脸部。模型选择:face_yolov8n.pt
https://img-blog.csdnimg.cn/img_convert/dbe5d481886d7667c6368e2d6dfc013e.png
【第五步 】图片的生成
点击【生成】按钮,我们来看一下最终生成的图片效果。
https://img-blog.csdnimg.cn/img_convert/91119da07afad22f50affb9b37bca530.png
https://img-blog.csdnimg.cn/img_convert/2fc4ccc6dea1cafa9d3835b3f0cd2b27.png
三. 相关阐明
(1) 这里使用的ControlNet canny和Ip Adapter控制器都是基于SDXL的,所以大模型的选择必须是基于SDXL的大模型。
(2)由于网格呈现的主要是人物头像,所以上传的图片最好也是人物肖像照片。满身照出来的效果大概并不是特别抱负。
(3)自由定制化:在上面的制作过程中,我们只必要更改Ip Adapter的图片即可,也可以结合自己的需求修改正向提示词。
(4)如果脸部与图片不符
[*] 增加IP Adapter的控制器权重
[*] 降低 Canny ControlNet 的控制权重和引导终止时机
好了,今天的分享就到这里了,希望今天分享的内容对大家有所资助。
文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有必要的小伙伴文末扫码自行获取。
写在末了
感爱好的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,详细看这里。
https://img-blog.csdnimg.cn/direct/464fd805b0b34deab99a78ca719fb6ae.png#pic_center
AIGC技能的未来发展前景广阔,随着人工智能技能的不停发展,AIGC技能也将不停提高。未来,AIGC技能将在游戏和计算领域得到更广泛的应用,使游戏和计算体系具有更高效、更智能、更机动的特性。同时,AIGC技能也将与人工智能技能精密结合,在更多的领域得到广泛应用,对步伐员来说影响至关紧张。未来,AIGC技能将继续得到提高,同时也将与人工智能技能精密结合,在更多的领域得到广泛应用。
https://img-blog.csdnimg.cn/direct/e6a8b48b8024497daecb9d6652c72bb7.png#pic_center
一、AIGC所有方向的学习路线
AIGC所有方向的技能点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,包管自己学得较为全面。
https://img-blog.csdnimg.cn/direct/af6e2f485a4f485d9b76a93afa81a02f.png
https://img-blog.csdnimg.cn/direct/7d91365d8b3a45aba258f4603c71dc5c.png#pic_center
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
https://img-blog.csdnimg.cn/direct/01a2ea000b474fef83abfd18888b2e38.png
三、最新AIGC学习条记
当我学到一定基础,有自己的理解本领的时候,会去阅读一些前辈整理的册本大概手写的条记资料,这些条记详细记载了他们对一些技能点的理解,这些理解是比力独到,可以学到不一样的思绪。
https://img-blog.csdnimg.cn/direct/9e597a6fae9344cea8f4a9caf30ecc55.png
https://img-blog.csdnimg.cn/direct/f2619de95125425d8a19b85ce2ff1894.png
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有用果的方式,跟着视频中老师的思绪,从基础到深入,照旧很容易入门的。
https://img-blog.csdnimg.cn/direct/ce803d0289b84736b059293d696429b6.png
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才华将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
https://img-blog.csdnimg.cn/direct/373dd1f17ed14db1a2fa4dfec03c0559.png
https://img-blog.csdnimg.cn/direct/464fd805b0b34deab99a78ca719fb6ae.png#pic_center
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]