Datawhale X 魔搭 第四期AI夏令营-AIGC方向 task3笔记

  最后一个阶段——task3，本次AI夏令营终于也是要完结了，那么话不多说让我们直接进入笔记部分吧。本次的学习内容是:ComfyUI和Lora微调的解说
Part 1：Hello ComfyUI

  什么是ComfyUI呢？根据学习手册的介绍，它是主流GUI的此中一种，GUI的意思是"Graphical User Interface"（图形用户界面），也就是一种人机交互方式，可以理解为转为AI生图所设计的特种UI。那么我们使用ComfyUI的目标就很明显了——它可以辅佐我们对AI生图做出更多细节的调整，而不必面对整串整串的代码犯晕。
  那么ComfyUI详细而言是如何运作的呢？我们在这里引用一放学习手册中提供的图解

   可以看到它的运行流程与我们先前直接在PAI实例中实验文生图的流程是大差不差的，不过这也正阐明了它只起到便于操纵的作用，究竟只是一种UI嘛。拿编程来举例的话，你可以直接用记事本来写程序，但用vsc之类来写的更加先进便利。
  好了，如今再让我们来一窥ComfyUI的真面貌吧

  呜哇，黑漆麻乌的，还全是英文，也不怎么很悦目嘛
  不管如何，这就是ComfyUI,你可以在此中举行各种操纵，来生成你想要的图案
………………我是分割线…………………
收返来，ComgyUI的内核到底是什么呢？我认为b站up-Zho-说的很好

                                                           （BV1ch4y1B7vp）
  ComfyUI 其实就像搭积木一样，是由最基础的部分一步一步搭建上来的，这里继承给出视频截图

  通过这张图，我们可以直观地感受到ComfyUI的基础框架。其实有很多程序也以雷同的框架搭建的，大概某天我们在学习编程的过程中，也会遇见雷同的项目。
Part2：Lora微调

  关于Lora：说实在的我如今也不是很懂Lora是怎样运转的。如果不强求理解的话，我们只必要把它当做是文生图精细化的组件就好了。
  学习手册中列出了Lora微调的三点上风：
1.快速适应新任务
在特定领域有少量标注数据的情况下，也可以有效地对模子举行个性化调整，可以迅速适应新的领域或特定任务。
2.保持泛化能力
LoRA通过微调模子的一部分，有助于保持模子在未见过的数据上的泛化能力，同时还能学习到特定任务的知识。
3.资源效率
LoRA旨在通过仅微调模子的部分权重，而不是整个模子，从而减少所需的盘算资源和存储空间。
  还介绍了一些相关参数，以及UNet、VAE和文本编码器三者间的协作关系。这些内容都挺抽象的，比较难理解，这里就不多介绍了。
  在Lora的最后一末节，学习手册向我们介绍了如何获取高质量的数据集（也就是去找各种图片炼丹啦）。此中比较方便的是用爬虫去各类图站获取，不过当然的，关于图片的权益问题很难保证，这也是AI生图面临的一个难题。
结语：

  到这里，本期夏令营的打卡任务就竣事了，啊，感觉心情像写完暑假作业般舒畅（不对吧为什么大学前的暑假还要写暑假作业啊！）总之有关AIGC的大部分内容都挺风趣的，信赖学到的这些东西必可活用于下次。那么就此打住。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。