Stable Diffusion底子：ControlNet之线稿成图

今天继承给大家分享Stable Diffusiion的底子能力：ControlNet之线稿成图。
所谓线稿就是由一条条的线段组成的图形，重要用于绘画和设计领域的打底稿、表达构想和预见最终效果。
所谓线稿成图就是利用 Stable Diffusion + ControlNet 的能力，依照线稿中的图形设计生成创意图片。借助ControlNet，我们可以直接利用线稿图生成图片，也可以先从别的图片中提取线稿，然后再生成图片。
下面我将介绍ControlNet中四个优秀的线稿模子，以及它们的利用方法和注意事项。
安装ControlNet

工欲善其事必先利其器，ControlNet 还是先要安装好的，已经安装好的请跳过这一步。
利用方法

Canny

基于精致的边沿检测，准确还原图片的结构和特征。Canny边沿图中的线条没有粗细、深浅的区分。

由于是真人图片，所以这里选择了一个现实视觉的大模子：realisticVisionV51，提示词可以手写，也可以找个反推工具反推。

如果是生成真人图片，建议把“面部修复”勾选上。

ControlNet的设置是重点：
1、展开ControlNet控制面板。
2、在Unit 0中上传一张需要提取边沿的图片。
3、勾选“启用”，启用当前ControlNet Unit。
4、勾选“完美匹配像素”，自动设置预处理器的分辨率。
5、勾选“允许预览”，如许就可以预览边沿检测的效果。

6、选择“Canny”
7、预处理器和模子会自动加载，暂时不更改它们。
预处理器可以检测图片中人物和物体的边沿，绘制出边沿图。点击预处理器后边的星火图标可以在预览区看到预处理的效果图。
预处理器器另有两个选项：

• 无：不利用预处理器，直接在ControlNet中上传一张线稿图。
  
• 颜色反转：ControlNet中能够处理的线稿图需要线条是白色， 别的区域是黑色，这和现实中的线图颜色是相反的。所以通过这个预处理器，我们可以直接反转一张现实世界的线稿图，供ControlNet模子进行生图处理。不适合普通的彩色图片。
  

8、控制权重：ControlNet模子在生成图片时的权重，低沉这个权重，线稿对画图的约束就会变弱。
启动控制的步数：Canny介入的机遇。介入机遇越早，越能保证构图依照边沿图，一般从0开始。
结束控制的步数：Canny退出的机遇。退出机遇越晚，细节保留程度越大，如果要多变换一些细节，可以提前退出。
9、这两个阈值是canny预处理器提取线稿图时利用的，通过调解阈值可以控制边沿图中保留细节的多少。
Canny Low Threshold：去掉过细的线段。大于低阈值的线段被认定为边沿。
Canny High Threshold：去掉零星的线段。大于高阈值的线段被认定为强边沿，全部保留；高阈值和低阈值之间的线段认定为弱边沿，只保留强边沿相邻的弱边沿。
10、控制模式：ControlNet的通用设置，以提示词为主，还是以ControlNet模子为主。
11、缩放模式：ControlNet的通用设置，参考图与要生成的图片尺寸不同等时如那边理。拉伸有变形的题目，一般利用裁剪和填充。

Lineart

利用线条艺术生成训练，通常用于黑线白底图的上色，也可以从各种图片中提取线条，然后再生成图片。
Lineart的线条有粗细深浅的区别，相比Canny，除了能够控制构图，还可以更好的还原图片深度。

下图的几个设置和上面Canny控制器的设置差不多，只是上传的图片换成了一张黑白线稿图。

重点看下这几个设置：

• Lineart：线稿控制网络。
  
• 预处理器：从图片提取线稿图的处理器。这里有多个预处理器，简单介绍下：
  
• 
  
  
  
  • none：不利用预处理器，需要直接上传一张处理好白线黑景线稿图。
    
  • lineart_anime：适合从动漫图片中提取线稿图。
    
  • lineart_anime_denoise：适合从动漫图片中提取线稿图，并去掉噪音点。
    
  • lineart_coarse：从图片中大略提取线稿图，忽略不突出的细节，生图时自由度更高。
    
  • lineart_realistic：从真实视觉的图片中提取线稿图。
    
  • lineart_standard：从图片提取线稿图的尺度版处理器。
    
  • 颜色反转：反色图片，适合从白色配景、黑色线条的图片中提取线稿图。
    
  
  

• 模子：根据线稿图生成图片的ControlNet模子。
  
• 
  
  
  
  • control_v11p_sd15_lineart_fp16：通用线稿图生成模子。
    
  • control_v11p_sd15s2_lineart_anime_fp16：二次元线稿图生成模子。
    
  
  

SoftEdge

利用软边沿图像生成训练，平滑的边沿、更好的深度，忽略内部细节，方便创作更具绘画特征或艺术风格的图片。
相比Canny、Lineart，SoftEdge除了稳定构图，更好的图片深度控制，还拥有了更多的自由度。

重点看下ControlNet的这几个设置：

预处理器：从图片中提取软边沿图。
softedge_hed：合成柔边图。
softedge_hedsafe：安全的合成柔边图，边沿更清楚，稳定性更高。
softedge_pidinet：简笔柔边图，描绘的细节更少，出图的细节更自由，姿势更稳定。
softedge_pidinet：安全的简笔柔边图，边沿更清楚，稳定性更高。

模子：control_v11p_sd15_softedge_fp16，参与生成图片的软边沿模子，只有这一个。
Scribble

这是一个称之为涂鸦成图的ControlNet，生成图片的自由度更高。
丁老头大家都画过吧，我这里把它生成一个毛绒玩具的图片。

注意这几个参数：

预处理器：
无：不对参考图进行预处理，需要自己上传处理好的涂鸦图，白色代表线条。
scribble_hed: 粗线合成涂鸦图，用来生成随机性较强的图。
scribble_pidinet: 粗线简笔合成涂鸦图，生成图片的自由度比 scribble_hed 弱。
scribble_xdog：从图片中提取更多的细节生成涂鸦图，结构和外貌的限制更多。
颜色反转：简单的反转图片中的黑白色，适合黑白图的处理。

模子：control_v11p_sd15_scribble_fp16，参与生成图片的涂鸦模子，只有这一个。
Scribble 也可以用来处理真实的图片，与Canny、Lineart、SoftEdge相比，最大的变化就是，构图会发生一些变化，而且它没有对图片深度的处理。

效果对比

考虑到 Scribble 对原图的变化过大，这里只对比前三个：
可以看到 SoftEdge 对构图和深度处理的最好，当然细节上也更自由。

资源下载

本文利用的模子、插件，生成的图片，都已经上传到了我整理的SD绘画资源中，后续也会连续更新，如有需要，请添加下方领取！

---

写在末了

感爱好的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，详细看这里。
​

AIGC技术的未来发展远景广阔，随着人工智能技术的不绝发展，AIGC技术也将不绝提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算体系具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密联合，在更多的领域得到广泛应用，对程序员来说影响至关紧张。未来，AIGC技术将继承得到提高，同时也将与人工智能技术紧密联合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习条记
当我学到肯定底子，有自己的理解能力的时间，会去阅读一些前辈整理的册本或者手写的条记资料，这些条记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集
观看全面零底子学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从底子到深入，还是很容易入门的。

五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才华将自己的所学运用到实际当中去，这时间可以搞点实战案例来学习。

​

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。