各人好，本日我们来具体先容一下ControlNet的预处理惩罚器IP-Adapter。简朴来说它就是一个垫图的功能，我们在ControlNet插件上传一张图片，然后颠末这个预处理惩罚器，我们的图片就会在这张上传的图片的底子上举行天生。该预处理惩罚器提供的垫图功能，让SD的实用性再上一个新的台阶，在许多方面将彻底改变SD的使用流程。
一.Ip-Adapter是什么
IP-Adapter，它的全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models，翻译成中文就是：用于文本到图像扩散模子的文本兼容图像提示适配器，名字有些长，读起来也很拗口。不外我们可以简朴的明白就是图片提示大概垫图。
IP-Adapter是腾讯研究院出品的一个新的ControlNet模子，旨在使预练习的文本到图像扩散模子可以大概天生具有图像提示的图像。使用Stable Diffusion的同砚深知提示词的告急性，无论是文生图照旧图生图，我们都必要撰写相应的提示词以显现特定元素。为了制止天生不符合渴望的内容，我们还需编写反向提示词。提示词可以说是图片的魂魄。
然而，Stable Diffusion 自己支持的提示词都是文本提示词，仅使用文本提示天生所需的图像好坏常棘手的，由于它通常涉及复杂的提示工程。笔墨提示的另一种选择是图片提示，俗话说:“一张图片赛过千言万语”。
IP-Adapter是一种有用的轻量级适配器，用于实现预练习文本到图像扩散模子的图像提示本领。IP-Adapter的关键计划是分离文本特性和图像特性的交织注意层的解耦交织注意机制。仅具有 22M 参数的 IP-Adapter 就可以到达与微调图像提示模子相当以致更好的性能。
IP-Adapter由两部门构成:图像编码器从图像提示中提取图像特性，以及具有解耦交织注意机制的自顺应模块将图像特性嵌入到预练习的文本到图像扩散模子中。
如果想深入研究IP-Adapter可以参照以下文档。
论文资料：https://ip-adapter.github.io/
项目地点：https://github.com/tencent-ailab/IP-Adapter
二. Ip-Adapter的安装
ControlNet中的IP Adapter控制模子相对较新，必要把ControlNet的模子更新到1.1.400以上的版本才可以。升级完成后在预处理惩罚器里找到IP-Adapter的选项了。
不外预处理惩罚器里没有模子也会报错的。
您必要下载这2个预处理惩罚器模子放到/extensions/sd-webui-controlnet/annotator/downloads/clip_vision/目次下面即可。
控制模子的下载
地点：https://huggingface.co/h94/IP-Adapter/tree/main
此中，models文件夹下面是实用于SD1.5模子的，下面红框中的2个是现在我们使用最多的。
sdxl_models文件夹下面是实用于SDXL模子的。
下载完成后放到/extensions/sd-webui-controlnet/models/目次下面即可。
三. IP-Adapter的使用（官网）
在IP-Adapter官网有许多使用效果实例，我们先直观的看一下，以便对IP-Adapter的应用有一个直观的相识和感受。
（1）一张图片在差异大模子下的差异效果。
（2）图生图
（3）局部重绘
（4）图像提示+文本提示
（5） IP_Adapter与T2I-Adapter团结使用
（6）SDXL1.0
IP-Adapter不但在图像质量方面优于其他方法，而且天生的图像与参考图像能更好地对齐。
四. Ip-Adapter的初体验
下面我们使用一个最简朴的实例来体验一下IP-Adapter的具体使用。
这里我们不使用任何正向提示词和反向提示词。
文生图相干参数设置
- 采样器：DPM++2M Karras
- 采样迭代步数：30
- 图片宽高：保持和上传图片的宽高划一即可
ControlNet参数设置如下：
相干参数设置如下：
- 控制范例：选择"IP-Adapter"
- 预处理惩罚器：ip-adapter_clip_sd15
- 模子：ip-adapter_sd15_plus(最大程度的还原原参考图,发起选择该模子)
- 控制权重：设置为0.5。
这里我们选择差异的大模子看一下天生图片的效果。
原图：
下面是差异真人模子下天生图片的效果图。
主体的脸型、发型、服装、姿势和参考图都挺像的，配景也根本都是雷同的内容，只是差异的大模子也会有大模子各自的特色。
我们将IP-Adapter控制模子为ip-adapter_sd15。
主体的脸型、发型与参考图挺像的，配景，人物姿势和服装在差异的大模子下发生了一些变革，可见ip-adapter_sd15天生图片的相似度不如ip-adapter_sd15_plus。
我们将IP-Adapter控制模子为ip-adapter-plus-face_sd15。该控制器只能生存脸型和发型的划一，服装、人物姿势和图片配景变革就非常大了。究竟从控制器的名称就可以看出来，该控制器只保持脸部相干的划一。
IP-Adapter控制器是SD中实现垫图效果的一个非常告急的功能，有许多的差异的玩法和应用场景，背面的文章中还会继承分享，各人可以继承保持关注。
好了，本日的分享就到这里了，盼望本日禀享的内容对各人有所资助。 文章使用的AI绘画SD整合包、各种模子插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有必要的小搭档文末扫码自行获取。
写在末了
AIGC技能的将来发展远景广阔，随着人工智能技能的不停发展，AIGC技能也将不停进步。将来，AIGC技能将在游戏和盘算范畴得到更广泛的应用，使游戏和盘算体系具有更高效、更智能、更机动的特性。同时，AIGC技能也将与人工智能技能精密团结，在更多的范畴得到广泛应用，对步伐员来说影响至关告急。将来，AIGC技能将继承得到进步，同时也将与人工智能技能精密团结，在更多的范畴得到广泛应用。
感爱好的小搭档，赠送全套AIGC学习资料和安装工具，包罗AI绘画、AI人工智能等前沿科技教程，模子插件，具体看下方。
一、AIGC全部方向的学习蹊径
AIGC全部方向的技能点做的整理，形成各个范畴的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，包管自己学得较为全面。
二、AIGC必备工具
工具都帮各人整理好了，安装就可直接上手！
三、最新AIGC学习条记
当我学到肯定底子，有自己的明白本领的时间，会去阅读一些先辈整理的册本大概手写的条记资料，这些条记具体纪录了他们对一些技能点的明白，这些明白是比力独到，可以学到不一样的思绪。
四、AIGC视频教程合集
观看全面零底子学习视频，看视频学习是最快捷也是最有用果的方式，跟着视频中老师的思绪，从底子到深入，照旧很容易入门的。
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才气将自己的所学运用到实际当中去，这时间可以搞点实战案例来学习。
如有侵权，请接洽删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金 |
发表于 2026-2-23 06:36:13