Datawhale X 魔搭 AI夏令营第四期 AIGC方向 Task02笔记

一.熟悉通义千问

通义千问是一款具有信息查询、语言明白、文本创作等多能力的AI助手。其中，编程与技术支持能力是它的强项之一。
我们可以使用通义千问帮助辅助分析代码结构和功能
二.精读baseline

文生图代码的框架结构：

可以看到，这段代码主要分为以下几个部分：

• 安装和卸载依靠包：使用 !pip 下令来安装或卸载 Python 包
  
• 加载数据集：使用 ModelScope 的 MsDataset 类加载名为 AI-ModelScope/lowres_anime 的数据集，并指定子集名称为 default 和分割为 train，缓存目录设置为 /mnt/workspace/kolors/data。
  
• 数据预处置惩罚：将数据会合的图像转换模式，并生存到指定目录，同时创建包含图像路径和文本描述的元数据文件，并编写配置文件
  
• 使用 Data-Juicer 举行数据处置惩罚：使用 dj-process 下令根据配置文件对数据举行过滤和处置惩罚，生成 result.jsonl 文件。
  
• 数据整理与练习：读取数据，下载模子，使用lora举行微调练习，最后加载微调后的模子
  
• 图像生成：根据所给的prompt提示词生成图像
  
• 合并图像：将生成的多个图像合并成一个大图像，并调整大小。
  

三.基于话剧的连环画制作

1.原提示词：

你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧 话剧由8张场景图片生成，你必要输出每张图片的生图提示词
具体的场景图片 ：1、女主是一个小萝莉，十分开心的走在回家的路上 2、女主放学回抵家，发现家里一个人也没有 3、女主拨打电话，但无人接听 4、女主十分伤心，开始哭泣 5、女主走向自己的房间 6、门铃响了，女主走向大门口 7、打开房门，门口放着一个大蛋糕 8、女主由悲转喜
生图提示词要求 1、风格为现代 2、根据场景确定是使用满身照旧上半身 3、人物描述 4、场景描述 5、做啥事情
例子： 动漫风，二次元，一个粉色头发萝莉，在漫展上，脸红，摆手​​​​​​​
2.AI生成提示词：

场景1：现代风格，满身构图，一个开心的小萝莉背着书包走在回家的路上，手里拿着一朵花

场景2：现代风格，上半身构图，小萝莉放学回家后发现家里没有人，脸上带着疑惑的心情

场景3：现代风格，上半身构图，小萝莉坐在客堂的沙发上，手持电话，心情焦虑地尝试接洽家人

场景4：现代风格，上半身构图，小萝莉坐在沙发上，低头哭泣，手里捏着未接通的电话

场景5：现代风格，满身构图，小萝莉从客堂渐渐走向自己的房间，脚步沉重

场景6：现代风格，满身构图，小萝莉听到门铃声后从走廊走向大门口，步伐加速

场景7：现代风格，满身构图，小萝莉打开大门，惊喜地发现门外放着一个装饰精致的大蛋糕

场景8：现代风格，上半身构图，小萝莉站在门口，脸上从伤心渐渐转变为惊喜和开心的笑容

3.个人调整后提示词：

场景1：二次元，满身构图，一个双马尾小萝莉，白色连衣裙，背着书包，走在回家的路上，开心，手里拿着一朵花

场景2：二次元，上半身构图，一个双马尾小萝莉，白色连衣裙，在家中，坐在沙发上，脸上带着疑惑的心情

场景3：二次元，上半身构图，一个双马尾小萝莉，白色连衣裙，坐在沙发上，手持电话，心情焦虑

场景4：现代风格，上半身构图，小萝莉坐在沙发上，白色连衣裙，低头哭泣，手里捏着未接通的电话

场景5：二次元，满身构图，一个双马尾小萝莉，白色连衣裙，在家中，准备打开自己房间的房门

场景6：二次元，满身构图，一个双马尾小萝莉，白色连衣裙，在家中，走向家门口

场景7：二次元，动漫风，家门外的地上放着一个草莓小蛋糕

场景8：二次元，满身构图，一个双马尾小萝莉，白色连衣裙，捧着草莓小蛋糕，在家门口，开心的

四.实行Baseline(复用Task01的步骤)

修改prompt提示词，运行程序

生成如下图片：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。