IC-Light-在stable diffusion中实现图像的光影控制新方法 - 技能原理篇

👨配景与泉源

近来在stable diffusion的粉丝群看到光影控制又有了新的玩法，是controlnet的作者lllyasviel，发了一款名为IC-Light的模子，而且已经被别的一位名为huchenlei的朋侪实现了comfyui和webUI（forge ）版的插件，而且在github上提到automatic1111 webui的插件也在举行过程中了。 
   ✨ComfyUI and Forge versions are available:
  

• GitHub - huchenlei/ComfyUI-IC-Light-Native: ComfyUI native implementation of IC-Light
  
• GitHub - huchenlei/sd-forge-ic-light: SD Forge extension for IC-Light
  

这篇文章我们就先简单相识下原作者制作模子的底子思绪，下一篇我们一起看下comfyui里边实现的方法，看看有没有哪些潜伏的坑帮各人先踩一踩。
🎠模子原作者链接：https://github.com/lllyasviel/IC-Light
🥽模子简介与结果

IC-Light 是一个用于控制图像光源结果的项目。
名称 "IC-Light" 代表 "Imposing Consistent Light"（直白翻译是，保持图像的光源同等性）。
现在，我们（原作者哈，不是我）发布了两种范例的模子：文本条件重照明模子和配景条件模子。两种范例的模子都继承远景图像作为输入。
先看下原作者给出的测试结果：
起首是给出远景图，然后联合提示词和光源方向的标签选择，主动天生场景和大抵的光源：

（其他更多案例略）
其次是给出原图和光源图，然后联合简单的提示词，让模子自行混淆远景和光源；

然后作者贴了一张更全面的对比图，左侧第一列是原图，右侧是在输入差别的景致图像作为光源控制的环境下，实现的图像结果：

团体来说，在保持了图像自己布局稳定的环境下，很大程度上实现了远景和配景更好的融合，看起来是可以很好的用在拍照写真类工作流中去的，可以肯定程度上把人从繁重的后期ps中解放出来。
🍳技能实现部门

在 HDR 空间中，照明具有全部光传输都是独立的属性。
在HDR的天下里，光的流传就像是小朋侪们玩传球游戏。每个小朋侪（光线）都可以独立地把球（光）传给其他小朋侪，而不须要担心球会消散大概变得看不清。如许，不管球传到那边，各人都能看得清清楚楚，就像真实天下里光是怎样流传的一样。 以是，HDR让电脑游戏里的光和影看起来更真实，更靠近我们用眼睛看到的天下。
联合下图来表现，差别光源的表面混淆相称于混淆光源的表面：

将每一束光源先照射到物体上，然后将物体的图像举行归并，和将光源先组合再同一照射到物体上，结果是一样的。
在练习重新照明模子时，作者强加了这种同等性（在潜伏空间中使用 MLP）。
因此，该模子可以或许产生高度同等的重新光照 -云云同等，乃至可以将差别的重新光照归并为法线贴图！只管究竟上这些模子是潜伏扩散的。

从左到右依次是原图像输入、模子输出重新照明结果、分割的阴影图像和归并的法线贴图。请注意，该模子未使用任何法线贴图数据举行练习。末了的这张法线贴图的估算结果，来自于重新同等性照明的图像。
各人也可以到作者提供的在线试验平台去玩玩，反正是完全免费的：
https://huggingface.co/spaces/lllyasviel/IC-Light

🍡模子阐明

模子下载所在：https://huggingface.co/lllyasviel/ic-light/tree/main

• iclight_sd15_fc.safetensors - 默认的重新打光模子，通过笔墨和远景来控制天生结果，你可以控制潜空间的初始化来影响天生结果；
  
• iclight_sd15_fcon.safetensors -这个模子和"iclight_sd15_fc.safetensors"很像，但是在练习的时间参加了一些偏移噪声（offset noise）。不外，在一个用户研究中，没有参加偏移噪声的"iclight_sd15_fc.safetensors"模子表现得稍微好一些。这就是为什么默认的模子是谁人没有偏移噪声的版本。
  
• iclight_sd15_fbc.safetensors - 支持笔墨+远景+配景一起控制天生的结果的重新打光模子；
  

好了，到这里这篇文章的紧张内容就竣事了，假如以为有效，记得帮助点个赞哦~ 
下期我们一起看下comfyui里边怎样使用这个模子，安装的过程中有没有一些坑，以及现实测试的结果怎样，假如你也感爱好，记得关注我哦~
🎉写在末了~

客岁的时间写了两门比力底子的Stable Diffuison WebUI的底子笔墨课程，各人假如喜好的话，可以按需购买，在这里起首感谢各位老板的支持和厚爱~
✨StableDiffusion体系底子课（得当啥也不会的朋侪，但是得有块Nvidia显卡）：

https://blog.csdn.net/jumengxiaoketang/category_12477471.html

​​​​​🎆综合案例课程（得当有一点底子的朋侪）：

https://blog.csdn.net/jumengxiaoketang/category_12526584.html

​​​​​
这里是聚梦小讲堂，就算不买课也不要紧，点个关注，交个朋侪😄

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金