Datawhale AI 夏令营【AIGC文生图】
一、赛事介绍
1、配景知识
https://i-blog.csdnimg.cn/direct/7285ebf5744d46d6a4de96bae6cac45b.png#pic_center
2、角逐任务
需在可图Kolors 模子的基础上训练LoRA 模子，生成无限风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格等，基于LoRA模子生成 8 张图片构成连贯故事，故事内容可自界说
3、文生图简介
文生图（Text-to-Image Generation）是一种通过文本生成图像的技术，其发展历程可以追溯到早期的盘算机视觉和自然语言处理研究。文生图主要以SD系列基础模子为主，以及在其基础上微调的lora模子和人物基础模子等。
4、数据集介绍
使用MsDataset类从modelscope的数据集中加载名为AIModelScope/lowres_anime的数据集，这个数据集包罗一系列的动漫图片，执行这段代码后，ds变量将包罗AI-ModelScope/lowres_anime数据集的训练集部门，这些数据将存储在指定的缓存目次/mnt/workspace/kolors/data中（如果数据尚未下载，则会自动下载到该目次）。之后，你可以使用ds变量来访问数据集，比方进行迭代以获取图片和标签，用于训练呆板学习模子。
二、Task1 baseline剖析
1、导入相干库
https://i-blog.csdnimg.cn/direct/fa2e4a2bffdd42b68ec90398c49639e1.png#pic_center
https://i-blog.csdnimg.cn/direct/b8daf0a235d3470eab9e02d88d63151c.png#pic_center
2、数据集处理
这段代码起首界说了一个多行字符串 data_juicer_config，该字符串包罗了Data Juicer工具的配置信息，用于指定命据处理的各个方面。
https://i-blog.csdnimg.cn/direct/86ad7d1b66384cd79df4cd0d3c51b0ff.png#pic_center
3、保存数据
在这段代码中，并没有直策应用复杂的算法，主要使用了文件I/O、JSON处理、图像处理（Pillow库）、Pandas DataFrame操纵以及进度条显示等技术和方法,具体来说，它执行了以下步骤：
1).文件和数据读取：使用open函数和**file.readlines()**方法读取JSON Lines（JSONL）格式的文件。
2).数据提取：从每个JSON对象中提取出text和image字段。
3).图像处理：使用PIL.Image（Python Imaging Library的一个分支，现在称为Pillow）来打开和保存图像。
4).数据整理：将提取的文本和生成的图像文件名整理成两个列表texts和file_names，然后将这两个列表转换成Pandas DataFrame。DataFrame是Pandas库中用于数据分析和处理的一种重要数据布局
5).数据导出：将DataFrame导出为CSV文件（逗号分隔值文件）
4、训练模子，查察训练脚本的输入参数
下载模子："Kolors" 和 "SDXL-vae-fp16-fix" 指特定的预训练模子
https://i-blog.csdnimg.cn/direct/de1740c38bed49fc92731b816e081112.png#pic_center
-! ，-h 或 --help 选项通常用于显示下令行工具的帮助信息。
https://i-blog.csdnimg.cn/direct/bdf581fdd63c4bccbfe35e537a371305.png#pic_center
5、加载模子
导入了几个来自差别库的类和函数，来加载模子
https://i-blog.csdnimg.cn/direct/aeb6c336916b44eabb04adf295599c3c.png#pic_center
6、生成图片
使用了基于Stable Diffusion模子的某种接口，使用了基于文本提示的AI绘图技术（如Stable Diffusion），通过设置一系列的参数来指定希望生成的图像的内容和风格，并终极将生成的图像保存为文件。
torch.manual_seed(0)
image = pipe(
prompt="二次元，一个红色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，黑色连衣裙",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
cfg_scale=4,
num_inference_steps=50, height=1024, width=1024,
)
image.save("1.jpg")
1).设置随机种子
2).构建绘图哀求
3).保存图像
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]