Datawhale AI夏令营第四期 魔搭-AIGC方向 task02-小白条记-精读baseline
一、精读代码积极利用市面上的各种AI大模型（chatgpt、Kimi、星火讯飞、文心一言、通义千问等)分析代码框架，将代码分块拆分开来进行阅读，最后到达对整个代码的布局和功能的熟悉。只要你把握到一些提问本事，它们有时比你直接在浏览器上反复键入好频频问题来得快和精准。
二、数据准备
场景描述由自己给出，通过询问AI如（你是一个文生图专家，我们如今要做一个实战项目，就是要编排一个文生图话剧 话剧由8张场景图片生成，你需要输出每张图片的生图提示词）得出大致的提示词，最后再根据生成的效果进行微调。
最后的场景表格如下：
图片编号
场景描述
正向提示词
反向提示词
图片1
一个小男孩抱着一个篮球，露出向往的模样形状
日漫，一个黑色头发的小男孩，双手牢牢抱着篮球，向往的目光望向远方，满身，站在夕阳下的篮球场
貌寝，变形，嘈杂，模糊，低对比度
图片2
他看着电视上科比在NBA的赛场上疯狂表演，一颗篮球梦在他心中徐徐发芽
日漫，一个黑色头发的小男孩，上半身，坐在客堂的沙发上，专注地盯着电视屏幕，电视里播放着科比在NBA赛场上的精彩刹时
貌寝，变形，嘈杂，模糊，低对比度
图片3
于是他日复一日的在篮球场训练根本功
日漫，一个黑色头发的小男孩，身穿24号球衣，满身，正在篮球场上反复训练运球和投篮，配景是黄昏的篮球场
貌寝，变形，嘈杂，模糊，低对比度
图片4
在长大的过程中，他一直接收着偶像科比的激励
日漫，一个黑色头发的少年，上半身，身穿24号球衣，手持篮球，站在房间内，墙上贴满了科比的照片和海报
貌寝，变形，嘈杂，模糊，低对比度
图片5
无数个夜晚，他对着天空中的星星许愿
日漫，一个黑色头发的少年，上半身，抬头仰望着星空，手合十许愿，配景是夜空中闪烁的星星
貌寝，变形，嘈杂，模糊，低对比度
图片6
他在角逐最后时刻惨遭绝杀，失去了想要的冠军
日漫，一个黑色头发的少年，身穿24号球衣，满身，正在进行激烈的篮球角逐，配景是充满观众的篮球场
貌寝，变形，嘈杂，模糊，低对比度
图片7
但是他没有放弃，在接下来的训练和角逐中更加努力认真，突破极限
日漫，一个黑色头发的年轻人，身穿24号球衣，满身，在角逐中上篮得分
貌寝，变形，嘈杂，模糊，低对比度
图片8
他没有放弃，继续追逐空想，终于，他登上了NBA的舞台
日漫，一个黑色头发的年轻人，身穿24号球衣，满身，站在NBA的球场上，正准备投篮，配景是NBA标志性的场地和热情的观众
貌寝，变形，嘈杂，模糊，低对比度
三、执行Task1的速通baseline
有了提示词就可以按照之前的方法跑baseline，最后经过对提示词及一些模型参数如 Classifier-Free Guidance Scale(cfg_scale)较高的 cfg_scale值使图像更接近正向提示，较少变革。较低的 cfg_scale值图使像更具创造性，可能与正向提示有所偏差。 num_inference_steps,字如其名，它是一个用于控制文本到图像生成过程中的迭代次数的参数，在像Stable Diffusion这样的扩散模型中。这个参数直接影响了生成图像的质量和细节程度。举例来说，较少的steps可能生成更快的效果，但是细节和质量可能会不如较多的steps，而较多的steps可能生成更细节和高质量的图像，但是会斲丧更多的时间。在训练模型中的参数有lora_rank（指定 LoRA 的秩，控制额外可训练矩阵的大小）,lora_alpha（指定 LoRA 的缩放因子），max_epochs（指定最大训练轮次），use_gradient_checkpointing（启用梯度检查点，以节省内存）等紧张参数可根据实际需要调解。
四、效果展示
一个小男孩抱着一个篮球，露出向往的模样形状他看着电视上科比在NBA的赛场上疯狂表演，一颗篮球梦在他心中徐徐发芽于是他日复一日的在篮球场训练根本功在长大的过程中，他一直接收着偶像的激励https://i-blog.csdnimg.cn/direct/2b571a6ccc5a4bfe9db78f6a731cbf5c.jpeghttps://i-blog.csdnimg.cn/direct/e06c7119610e457e9ddf62532a31541d.jpeghttps://i-blog.csdnimg.cn/direct/687d5d62d3424bfc8ac5e35f0750d595.jpeghttps://i-blog.csdnimg.cn/direct/18e44a096d764a9485172ab8a7a2245b.jpeg 无数个夜晚，他对着天空中的星星许愿他在角逐最后时刻惨遭绝杀，失去了想要的冠军但是他没有放弃，在接下来的训练和角逐中更加努力认真，突破极限继续追逐空想的他终于登上了NBA的舞台https://i-blog.csdnimg.cn/direct/c4f971792e8146b3907081e6c2102d40.jpeghttps://i-blog.csdnimg.cn/direct/a57b65d849f7498ab39de230a2438c1f.jpeghttps://i-blog.csdnimg.cn/direct/d0d150c58c5049c2b4c8bc8ddb583fa7.jpeghttps://i-blog.csdnimg.cn/direct/8427e96773cb488a982a382c72f700cd.jpeg
五、浅尝scepter webui
魔搭体验网址：https://www.modelscope.cn/studios/iic/scepter_studio
Scepter支持使用创建的数据集进行微调来获取定制化模型。
你可以选择自己想要的模型：
https://i-blog.csdnimg.cn/direct/d46c7b8aa614420096662cdb8b6a1819.png
进行生成选项的控制如：模型微调、LAR-Gen(多模态融合编辑算法)-可以大概对生成图像的局部区域进行更换，支持文本控制其变体等操作。还有StyleBooth（风格编辑模型）-完成例如前段时间爆火的粘土殊效的功能
https://i-blog.csdnimg.cn/direct/9ed4337bfb7f4aa0b61a74ab807ce71d.png
https://i-blog.csdnimg.cn/direct/c2b5fbe3066c4f97abe9d275060df06b.png
你也可以通过调解生成参数来生成自己想要的风格的图片。
https://i-blog.csdnimg.cn/direct/3bff818789554efba76714cf3d94539b.png
使用图像预处理器：
https://i-blog.csdnimg.cn/direct/d54ea04e4cc045ad91002890b66e104a.png
https://i-blog.csdnimg.cn/direct/8e91e00b23d64695add28d798ad96716.jpeghttps://i-blog.csdnimg.cn/direct/5dbb0627f48b42e1be53adc7f176acfb.webp
最后将自界说的模型保存
https://i-blog.csdnimg.cn/direct/28b7cb62546f456680443bc3e6d5d18a.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]