Datawhale X 魔搭 AI夏令营第四期 AIGC方向 Task01笔记

第一次任务比力简单，只须要配置好情况，简单运行一次
项目配景

赛题任务

可图Kolors-LoRA风格故事挑衅赛
1.参赛者需在可图Kolors 模子的基础上练习LoRA 模子，生成无穷风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格......
2.基于LoRA模子生成 8 张图片组成连贯故事，故事内容可自界说；基于8图故事，评估LoRA风格的美感度及连贯性 样例：偶像少女养成日记
文生图基础知识

文生图重要以SD系列基础模子为主，以及在其基础上微调的lora模子和人物基础模子等。
提示词
提示词prompt很紧张，一样寻常写法：主体形貌，细节形貌，修饰词，艺术风格，艺术家
Lora
LoRA模子，全称Low-Rank Adaptation of Large Language Models，是一种用于微调大型语言模子的低秩适应技术。它最初应用于NLP范畴，特殊是用于微调GPT-3等模子。LoRA通过仅练习低秩矩阵，然后将这些参数注入到原始模子中，从而实现对模子的微调。这种方法不仅减少了计算需求，而且使得练习资源比直接练习原始模子要小得多，因此非常适合在资源有限的情况中使用。
在Stable Diffusion（SD）模子的应用中，LoRA被用作一种插件，允许用户在不修改SD模子的情况下，利用少量数据练习出具有特定画风、IP或人物特性的模子。这种技术在社区使用和个人开辟者中非常受接待。例如，可以通过LoRA模子改变SD模子的生成风格，或者为SD模子添加新的人物/IP。
ComfyUI
ComfyUI 是一个工作流工具，重要用于简化和优化 AI 模子的配置和练习过程。通过直观的界面和集成的功能，用户可以轻松地进行模子微调、数据预处置惩罚、图像生成等任务，从而进步工作服从和生成效果。
参考图控制
ControlNet是一种用于准确控制图像生成过程的技术组件。它是一个附加到预练习的扩散模子（如Stable Diffusion模子）上的可练习神经网络模块。扩散模子通常用于从随机噪声渐渐生成图像的过程，而ControlNet的作用在于引入额外的控制信号，使得用户能够更具体地指导图像生成的各个方面（如姿势关键点、分割图、深度图、颜色等）。
Task01实践过程

搭建情况

开通阿里云PAI-DSW试用
链接：阿里云免费试用 - 阿里云
按照以下步调开通3个月试用PAI-DSW

在魔搭社区进行授权
链接：https://www.modelscope.cn/my/mynotebook/authorization
进入链接中的页面一步步进行授权即可，授权后方便在魔搭社区进行后续实践

报名赛事

赛事链接：https://tianchi.aliyun.com/competition/entrance/532254
可以选择报名角逐
创建实例

在魔搭社区创建PAI实例
假如前面成功进行魔搭社区授权，可以在魔搭社区上进行操纵，否则须要在阿里云平台上操纵
这里在魔搭社区上完成的以下操纵

运行baseline

下载baseline文件
打开实例中的Jupyter Lab，在终端运行git指令下载baseline文件

1. git lfs install
2. git clone https://www.modelscope.cn/datasets/maochase/kolors.git

复制代码

打开baseline文件，安装情况，重启

调整prompt，设置想要的图片风格
因为这里只是简单的初步测试，所以仅对第一张图片的prompt进行了调整

 依次次序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片，过程较长，耐烦期待
结果上传

通过终端移动并生存结果文件，在魔搭社区创建并发布自己的简单模子

1. #移动结果文件终端指令
2. mkdir /mnt/workspace/kolors/output & cd
3. cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
4. cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

复制代码

文件生存当地

上传模子链接：魔搭社区
模子成功发布

关闭PAI实例

运行完成后，牢记回到魔搭，关闭实例，否则试用额度不知不觉就消耗殆尽了
个人感悟

本次Task01初步体验了一下AIGC的运行，但对于各个代码块功能尚不了解，对于其后的原理和相关知识也不是很了解，还须要进一步去学习和实践

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。