Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 task02笔记
一、探探前沿：了解一下 AI生图技术 的本事&范围1. 为什么要了解AI生图前沿？
AIGC(AI-Generated Content)是通过人工智能技术主动天生内容的生产方式，很早就有专家指出，AIGC将是将来人工智能的重点方向，也将改造相关行业和领域生产内容的方式。
AI生图则是其中最早被大众所熟知并广泛被承认的AIGC领域，首先我们来看一个新闻(原文入口)——
https://i-blog.csdnimg.cn/direct/8ca8476e9d724461ae61167914cac354.png
AI天生图片的快速发展，使诸多领域措手不及，如：拍照、美术等艺术领域正在面对前所未有的颠覆。我们所认为的“有图有真相”，甚至理解的实际也将不绝被挑战...
https://i-blog.csdnimg.cn/direct/c0691e306fb04958acd3aa7188ba8a84.png
插入一段小知识，提示大家鉴戒Deepfake技术
Deepfake是一种使用人工智能技术天生的伪造媒体，特别是视频和音频，它们看起来或听起来非常真实，但实际上是由盘算机天生的。这种技术通常涉及到深度学习算法，特别是天生对抗网络（GANs），它们能够学习真实数据的特征，并天生新的、逼真的数据。
https://i-blog.csdnimg.cn/direct/d38da3788c974a83bdc4cdf396d271d5.png
Deepfake技术固然在多个领域显现出其创新潜力，但其滥用也带来了一系列严峻的危害。在政治领域，Deepfake大概被用来制造假新闻或利用舆论，影响选举结果和政治稳定。经济上，它大概粉碎企业形象，引发市场恐慌，甚至利用股市。法律体系也面对挑战，因为伪造的证据大概误导司法判断。此外，深度伪造技术还大概加剧身份偷窃的风险，成为可怕分子的新工具，煽惑暴力和社会动荡，威胁国家安全。
对全部人来说，定期关注AI生图的最新本事情况都非常重要：
[*] 对于普通人来说，可以制止被常见的AI生图场景欺骗，偶尔也可以通过相关工具绘图
[*] 对于创作者来说，通过AI生图的工具可以提效，快速制作自己所必要的内容
[*] 对于技术人来说，了解AI生图的本事的玩法，可以更好地针对自己的业务举行开发和使用，甚至攻克难题开发更实用的工具
2. 再从工具视角回顾一下AI生图的历史
最早的AI生图可追溯到20世纪70年代，当时由艺术家哈罗德·科恩（Harold Cohen）发明AARON，可通过机器臂输出作画。
https://i-blog.csdnimg.cn/direct/7c1d25a13c724ba9b2742abc4b28062f.pnghttps://i-blog.csdnimg.cn/direct/dfb8ded1072a461e8986a2d9572f59fe.png
现代的AI生图模子大多基于深度神经网络基础上训练，最早可追溯到2012年吴恩达训练出的能天生“猫脸”的模子。
https://i-blog.csdnimg.cn/direct/80181bcf47bb42fab09066eae2d56338.png
它使用卷积神经网络（CNN）训练，证明确深度学习模子能够学习到图像的复杂特征。
2015年，谷歌推出了“深梦”（Deep Dream）图像天生工具，类似一个高级滤镜，可以基于给定的图片天生梦幻版图片——
https://i-blog.csdnimg.cn/direct/b0c808675694451fa0b4d75967e3b706.png
2021 年 1 月 OpenAI 推出DALL-E模子（一个深度学习算法模子，是GPT-3 语言处理模子的一个衍生版本），能直接从文本提示“按需创造”风格多样的图形设计——
https://i-blog.csdnimg.cn/direct/c24661ad1b424c3dbd1934302bb678a7.png
在当时，就已经被一些媒体评价为：“ 秒杀50%的设计行业打工人应该是没有问题的，而且是质量和速度双重意义上的“秒杀” ”。
一般来说，AI生图模子属于多模态机器学习模子，通过海量的图库和文本描述的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何)天生符合语义的图片。
插入一个小八卦
AI生图在很长一段时间很难被人们所广泛采取，一方面是天生的内容没有可用的生产场景，还有很大程度大概是由于“可怕谷效应”——
https://i-blog.csdnimg.cn/direct/3c8ec32580504fcea29c50b3b5c60e96.png
其核心观点是：随着仿真物(如机器人、玩偶等)模拟真实性程度的变化，人们对其亲和力也会产生变化，一般规律是亲和力随着仿真程度增高而增高，但当仿真程度达到一个临界点时，人的亲和反应会陡然跌入谷底，忽然产生排斥、恐惧、狐疑等负面心理。
通过学习大量画家的作品，AI生图模子 往往可以照猫画虎绘制出类似的画作，在2022年8月，AI生图真正走进了大众的视野，让各个领域无法忽视。
当时让AI生图破圈的是AI绘画作品《太空歌剧院》，该作品在美国科罗拉多州举办的新兴数字艺术家竞赛中获得了比赛“数字艺术/数字修饰照片”种别一等奖，引起了当时“艺术家们 Not Happy”的社会舆论。
https://i-blog.csdnimg.cn/direct/f14548a25c9c47a1bd794a5178f3c9c5.png
3. AI生图的难点和挑战还有哪些？
往前一年，AI绘画还不会画“手”——
https://i-blog.csdnimg.cn/direct/049e12b0507e4deebf0d5e77d15d4742.png
也因为当时这个情况，产生了许多解决这个问题的相关技术，如：给图片里的人手打上标记，像把手掌、拇指、食指啥的，都给清楚地标出来；
https://i-blog.csdnimg.cn/direct/7d3d7c2d9e384161975ab9a4574949db.png
我们现在还可以经常在各类自媒体的文章中看到“AI翻车”的案例，那些往往也是必要解决的难点，某些“翻车”征象，也许在业界已有相关的解决方案。
https://i-blog.csdnimg.cn/direct/a3a360ce2a774b0f931423a2fbef5c6a.png
通俗来说，AI生图模子获得图片天生本事重要是通过 学习 图片描述 以及 图片特征，尝试将这两者举行一一对应，存储在自己的记忆里。
在我们必要的时间，通过输入的笔墨，复现出来对应的图片特征，从而天生了我们必要的图片。
关于AI是否真正理解了图片背后所代表的天下的特征，是否理解了图片的寄义，这个不绝是科研界和产业界存在争议的话题，我们唯一可以确定的是——
由于每个模子用于训练的数据是有限的且不一定相同的，它们能匹配的描述和特征也是有限的，所以在风格、具体事物上，不同的模子会有很大的天生差异，且大概存在诸多与实际不符的情况。
而这些问题，就是业界和科研界持续在想办法解决的问题。
目前已经应用AI生图的行业重要有电商、游戏、设计等，大家感兴趣可以去查察相关研报，下图是在微信公众号搜索的结果——
https://i-blog.csdnimg.cn/direct/5ed81df8765a4bc5a575fdf1958ad5d7.png
在大部分生图场景下，我们大概经常会觉得图片存在“AI味”，这很长一段时间也是科研界和相关从业人员非常头大的问题。
*AI味：AI天生的图片和实际生活场景/艺术家创作的绘画/拍照/三维作品 相比，存在强烈的违和感，或是细节处理，或是画面逻辑性存在问题，一言就能被看出是“AI出品”
目前大部分的模子，已经具备了去除 “AI味” 的本事，且大概存在轻易误导他人的情况，这时间我们想辨别大概必要非常细致地——
[*] 观察图片的细节。细致查抄人物的面部特征，尤其是眼睛和嘴巴
[*] 查抄光线和阴影。分析图片中的光源是否一致，阴影的方向是否与光源符合，是否存在不自然的光线或阴影
[*] 分析像素。放大图片，寻找是否有暗昧或像素化的部分。
[*] 注意背景。查抄背景中是否有不协调的元素，比如物体边缘是否平滑，背景中是否有不自然的重复模式。
而这些细节上的AI特性，也许就是我们在某些特定场景下必要解决的挑战。
4. 开始探索AI生图前沿
回到主题，我们要探索AI生图的前沿，就必须有一个持续更新，且我们持续愿意跟进和投入时间的“主线”引导，比方，可以从这次学习活动、可图Kolors-LoRA风格故事挑战赛、魔搭社区的各类AIGC工具 开始，持续探索、尝试、思考总结、实践，甚至开始持续创作自己的作品/工具。
https://i-blog.csdnimg.cn/direct/5cf39b1953c24d7db3718dadec1da835.png
AI生图自破圈以来，被科研界、业界广泛关注，且引发了各大厂商的模子之战，如我们这次学习活动所必要用到的Kolors（可图）模子(点击即可跳转魔搭模子介绍页)，就是其中的一个产物——
https://i-blog.csdnimg.cn/direct/c68659c6fef640049c04ceedd7508f6b.png
Kolors（可图）模子(点击即可跳转魔搭模子介绍页)是快手开源的文本到图像天生模子，该模子具有对英语和汉语的深刻理解，并能够天生高质量、逼真的图像。
代码开源链接：https://github.com/Kwai-Kolors/Kolors
模子开源链接：https://modelscope.cn/models/Kwai-Kolors/Kolors
技术陈诉链接：https://github.com/Kwai-Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf
魔搭研习社最佳实践说明：https://www.modelscope.cn/learn/575?pid=543
过去文生图重要以 SD 系列基础模子为主，仅支持英文的prompt，但可图是支持中文的文生图模子，文生图的prompt格式较为固定，魔搭社区还开源了专门的各种风格的可图优质咒语书(点击即可跳转)，可以针对600+种不同风格，美满prompt，天生各种风格图片，可以在我们的学习当中使用——
https://i-blog.csdnimg.cn/direct/18e0a755cfd949b0b9a0492910c5ebf7.png
5. 通过魔搭社区持续探索AI生图前沿
在某些设计的场景中，我们还盼望AI能为我们将特定的笔墨天生在图片当中，比如下面这种海报——
https://i-blog.csdnimg.cn/direct/761b674a173f44bdadb135616887d3bf.png
但实际上，这种固定笔墨天生，往往难度较大，一是具体天生在哪些位置，往往必要人为设定，为了更方便地制作类似如许的海报还产生了PS等图片编辑工具，才气实现相应的结果，想要让AI稳定天生相似结果的图片可想而知难度之大。
像我们Task1中介绍的 创意海报天生 工具，早已在代码中固定了相应的笔墨位置和对应的字体，才气举行相应的天生，且大概率是举行了两个步骤——
[*] 一个步骤是AI天生背景，
[*] 另一个步骤是通过代码将对应的笔墨显示到对应位置，
[*] 然后渲染，合成图片，给到我们。
https://i-blog.csdnimg.cn/direct/69e4697c4b844f77ac193669e4b8f06d.png
事实上，我们可以通过魔搭社区上感兴趣的工具，尝试思考——
[*] 可以用在哪些业务里？有哪些行业在使用？
[*] 用的是哪个 AI 模子？
[*] 是自己部署的AI模子，还是用的API？
[*] 使用到了哪些 AI 本事？
[*] 假如要复现，必要做哪些额外的设置和开发？
[*] 还可以有哪些优化点？
最方便的是，我们还可以直接点到空间文件，举行相关代码的查察甚至下载在 本地/云服务器 复现，以验证思考 & 学习相关的设计开发：
https://i-blog.csdnimg.cn/direct/a2bbde7e0ba04f829dac267230718c5e.pnghttps://i-blog.csdnimg.cn/direct/bd118268a5114ce6bdca8351e4f46bf2.png
魔搭社区还有各种资料，可以供我们学习&探索AI生图的前沿——
https://i-blog.csdnimg.cn/direct/0f7728bf6e5f411381bc859ae9872ac7.png
比如图像天生的技术的前沿你还可以查察魔搭社区出品这个视频：
1.2最新图像天生技术研究方向-介绍与分析_哔哩哔哩_bilibilihttps://i-blog.csdnimg.cn/blog_migrate/003a2ce7eb50c2e24a8c624c260c5930.pnghttps://www.bilibili.com/video/BV1vT421k7Qc/?spm_id_from=333.1350.jump_directly&vd_source=f7aed0ed253c3539eaa0f998457a345b
二、精读代码，实战进阶
1. 磨刀准备——认识通义千问
学习说明：
我们操持使用通义千问大语言模子来告诉大家如何借助AI智能助手帮我们阅读代码。工欲善其事必先利其器，现在让我们请出本日的主角，通义千问（点击直达）。
页:
[1]