Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task02笔记
一、精读baseline——从零入门AI生图1.baseline代码
我把baseline中的所有代码整理出来，代码布局如下：
!pip install simple-aesthetics-predictor
!pip install -v -e data-juicer
!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision
!pip install -e DiffSynth-Studio
from modelscope.msdatasets import MsDataset
ds = MsDataset.load(
'AI-ModelScope/lowres_anime',
subset_name='default',
split='train',
cache_dir="/mnt/workspace/kolors/data"
)
import json, os
from data_juicer.utils.mm_utils import SpecialTokens
from tqdm import tqdm
os.makedirs("./data/lora_dataset/train", exist_ok=True)
os.makedirs("./data/data-juicer/input", exist_ok=True)
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
for data_id, data in enumerate(tqdm(ds)):
image = data["image"].convert("RGB")
image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")
metadata = {"text": "二次元", "image": }
f.write(json.dumps(metadata))
f.write("\n")
data_juicer_config = """
# global parameters
project_name: 'data-process'
dataset_path: './data/data-juicer/input/metadata.jsonl'# path to your dataset directory or file
np: 4# number of subprocess to process your dataset
text_keys: 'text'
image_key: 'image'
image_special_token: '<__dj__image>'
export_path: './data/data-juicer/output/result.jsonl'
# process schedule
# a list of several process operators with their arguments
process:
- image_shape_filter:
min_width: 1024
min_height: 1024
any_or_all: any
- image_aspect_ratio_filter:
min_ratio: 0.5
max_ratio: 2.0
any_or_all: any
"""
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
file.write(data_juicer_config.strip())
!dj-process --config data/data-juicer/data_juicer_config.yaml
import pandas as pd
import os, json
from PIL import Image
from tqdm import tqdm
texts, file_names = [], []
os.makedirs("./data/data-juicer/output/images", exist_ok=True)
with open("./data/data-juicer/output/result.jsonl", "r") as f:
for line in tqdm(f):
metadata = json.loads(line)
texts.append(metadata["text"])
file_names.append(metadata["image"])
df = pd.DataFrame({"text": texts, "file_name": file_names})
df.to_csv("./data/data-juicer/output/result.csv", index=False)
df
from transformers import CLIPProcessor, CLIPModel
import torch
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
images = ]
inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True)
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image# this is the image-text similarity score
probs = logits_per_image.softmax(dim=1)# we can take the softmax to get the probabilities
probs
from torch.utils.data import Dataset, DataLoader
class CustomDataset(Dataset):
def __init__(self, df, processor):
self.texts = df["text"].tolist()
self.images = ]
self.processor = processor
def __len__(self):
return len(self.texts)
def __getitem__(self, idx):
inputs = self.processor(text=self.texts, images=self.images, return_tensors="pt", padding=True)
return inputs
dataset = CustomDataset(df, processor)
dataloader = DataLoader(dataset, batch_size=8)
for batch in dataloader:
outputs = model(**batch)
logits_per_image = outputs.logits_per_image
probs = logits_per_image.softmax(dim=1)
print(probs)
import torch
from diffusers import StableDiffusionPipeline
torch.manual_seed(1)
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16)
pipe = pipe.to("cuda")
prompt = "二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒"
negative_prompt = "丑陋、变形、嘈杂、模糊、低对比度"
guidance_scale = 4
num_inference_steps = 50
image = pipe(
prompt=prompt,
negative_prompt=negative_prompt,
guidance_scale=guidance_scale,
num_inference_steps=num_inference_steps,
height=1024,
width=1024,
).images
image.save("example_image.png")
image
from PIL import Image
torch.manual_seed(1)
image = pipe(
prompt="二次元，日系动漫，演唱会的观众席，人山人海，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，舞台上衣着华丽的歌星们在唱歌",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
cfg_scale=4,
num_inference_steps=50, height=1024, width=1024,
)
image.save("1.jpg")
torch.manual_seed(1)
image = pipe(
prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
cfg_scale=4,
num_inference_steps=50, height=1024, width=1024,
)
image.save("2.jpg")
torch.manual_seed(2)
image = pipe(
prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
cfg_scale=4,
num_inference_steps=50, height=1024, width=1024,
)
image.save("3.jpg")
torch.manual_seed(5)
image = pipe(
prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙，对着流星许愿，闭着眼睛，十指交叉，侧面",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指",
cfg_scale=4,
num_inference_steps=50, height=1024, width=1024,
)
image.save("4.jpg")
torch.manual_seed(0)
image = pipe(
prompt="二次元，一个紫色中等长度头发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
cfg_scale=4,
num_inference_steps=50, height=1024, width=1024,
)
image.save("5.jpg")
torch.manual_seed(1)
image = pipe(
prompt="二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
cfg_scale=4,
num_inference_steps=50, height=1024, width=1024,
)
image.save("6.jpg")
torch.manual_seed(7)
image = pipe(
prompt="二次元，紫色长发少女，穿着黑色连衣裙，试衣间，心情忐忑",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
cfg_scale=4,
num_inference_steps=50, height=1024, width=1024,
)
image.save("7.jpg")
torch.manual_seed(0)
image = pipe(
prompt="二次元，紫色长发少女，穿着黑色礼服，连衣裙，在台上唱歌",
negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
cfg_scale=4,
num_inference_steps=50, height=1024, width=1024,
)
image.save("8.jpg")
import numpy as np
from PIL import Image
images =
image = np.concatenate([
np.concatenate(images, axis=1),
np.concatenate(images, axis=1),
np.concatenate(images, axis=1),
np.concatenate(images, axis=1),
], axis=0)
image = Image.fromarray(image).resize((1024, 2048))
image 2.分析代码
（1）输入给通义千问的Prompt
通义千问链接：
通义官网通义官网，致力于实现类人智慧的通用智能https://csdnimg.cn/release/blog_editor_html/release2.3.6/ckeditor/plugins/CsdnLink/icons/icon-default.png?t=N7T8https://tongyi.aliyun.com/Prompt：
你是一个优秀的python开发工程师，现在我们需要你帮我们分析这个代码的主体框架，你需要把代码按照工作流分成几部门，用中文回答我的题目。{此处更换前面的代码}
（2）AI的回答
这段代码可以分为以下几个主要部门，每一部门执行不同的功能：
第一部门：环境设置与依赖安装
这部门代码利用!pip install命令来安装项目所需的Python包，包括simple-aesthetics-predictor, data-juicer, peft, lightning, pandas, torchvision, 和 DiffSynth-Studio。同时，它也卸载了pytorch-lightning并重新安装了lightning，可能是因为版本控制或特定依赖关系的需要。
第二部门：数据集加载与预处理处罚
这里从modelscope加载了一个名为lowres_anime的数据集，并将数据集中的图片和干系元数据保存到本地目录。每张图片被转换为RGB格式并保存，同时创建了一个JSONL文件存储每张图片对应的元数据。
第三部门：数据过滤与处理处罚
通过data_juicer对数据进行进一步的处理处罚，包括应用图像尺寸和宽高比的过滤器。这些操作是通过设置文件data_juicer_config.yaml指定的，并利用dj-process命令行工具执行。
第四部门：数据整理与特性提取
这部门读取处理处罚后的数据，将其转换为Pandas DataFrame，并保存为CSV文件。然后利用CLIP模型（Contrastive Language-Image Pre-training）来计算图像和文本形貌之间的相似性分数。
第五部门：数据加载与模型评估
创建了一个自定义的PyTorch数据集类CustomDataset，用于从DataFrame中加载数据，并利用DataLoader进行批处理处罚。然后利用CLIP模型对每个批次的数据进行评估，得到图像与文本匹配的概率。
第六部门：天生图像
这部门利用StableDiffusionPipeline模型根据给定的提示（prompts）天生二次元风格的图像。通过调整guidance_scale和num_inference_steps参数，以及不同的随机种子，天生了一系列具有不同场景和细节的图像。
第七部门：图像拼接与展示
末了，将天生的多个图像拼接在一起形成一个大的图像，并进行了尺寸调整，以便于展示或进一步的处理处罚。
整个流程涉及数据集的加载、预处理处罚、特性提取、模型训练和评估，以及终极的图像天生与后处理处罚，覆盖了从数据准备到模型应用的完整机器学习工作流。
（3）执行过程
https://i-blog.csdnimg.cn/direct/af277bf04de64b5b86c1bf48d5111719.png
图1： 输入题目
https://i-blog.csdnimg.cn/direct/7cdc85d41cd648778d3a9bb4ac1e4760.png
图2：返回答案
二、实战演练
1.数据准备
（1）提示词
你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧 话剧由8张场景图片天生，你需要输出每张图片的生图提示词
详细的场景图片
1、女主正在上课
2、开始睡着了
3、进入梦境，梦到自己站在路旁
4、王子骑马而来
5、两人相谈甚欢
6、一起坐在马背上
7、下课了，梦醒了
8、又回到了学习生存中
生图提示词要求
1、风格为古风
2、根据场景确定是利用满身照旧上半身
3、人物形貌
4、场景形貌
5、做啥事情
例子： 古风，水墨画，一个玄色长发少女，坐在教室里，盯着黑板，深思，上半身，赤色长裙
（2）话剧场景
图片编号
场景形貌
正向提示词
反向提示词
图片1
女主正在上课 古风，工笔画，一个着汉服的女子，束起的玄色长发，头戴玉簪，上半身，坐在书案前，手握毛笔，注视着摊开的卷轴，背景是古色古香的书房，窗外竹影摇曳
貌寝，变形，嘈杂，模糊，低对比度
图片2
开始睡着了 古风，淡墨渲染，同一个女子，头微垂，双手轻轻搭在桌上，嘴角挂着一丝笑意，似乎正陷入梦境，上半身，身着青花瓷图案的汉服，背景是一幅昏黄的山水画卷，书案上散落着几页未完成的诗词
貌寝，变形，嘈杂，模糊，低对比度 图片3
进入梦境，梦到自己站在路旁古风，梦幻色彩，满身像，女子穿着飘逸的白纱衣，站在一条蜿蜒的石径上，四四周绕着轻烟薄雾，远处有山峦叠嶂，她仰面望向远方，仿佛期待着什么貌寝，变形，嘈杂，模糊，低对比度 图片4
王子骑马而来古风，浓墨重彩，满身像，一位英俊的男子骑着一匹白马缓缓而来，身穿金丝镶边的战袍，头戴冠冕，目光坚定地望向前方，背景是开阔的草原，阳光洒在大地上貌寝，变形，嘈杂，模糊，低对比度 图片5
两人相谈甚欢古风，细腻笔触，上半身，女子与王子并肩而立，他们面带微笑，似乎在分享着相互的机密，女子穿着风雅的绣花衣裳，王子则身着简洁的贵族服饰，背后是风雅的凉亭和盛开的牡丹花貌寝，变形，嘈杂，模糊，低对比度 图片6
一起坐在马背上古风，动感刻画，满身像，王子和女子共乘一骑，王子稳稳驾驭着马匹，女子依偎在他的臂弯里，两人脸上洋溢着幸福的笑容，背景是夕阳下的壮丽山河貌寝，变形，嘈杂，模糊，低对比度 图片7
下课了，梦醒了古风，渐变色彩，上半身，女子坐在书案前，突然睁开眼睛，脸上带着惊异的表情，似乎刚从美梦中醒来，身着朴素的学子服饰，四周是熟悉的教室环境，同学们正陆续离开貌寝，变形，嘈杂，模糊，低对比度 图片8
又回到了学习生存中古风，和谐色调，满身像，女子与其他学子一起，或读书或写字，有的在探究学问，有的在练习书法，背景是充满书香气息的学院场景，每个人都在专心致志地学习貌寝，变形，嘈杂，模糊，低对比度 （3）修改提示词
[*] 双击进入baseline文件
[*] 找到天生图像的板块
[*] 依次更换8张图片的正向提示词和反向提示词
（4）效果展示 https://i-blog.csdnimg.cn/direct/5063cb649f614b9dadb87d40eb4e2ad5.jpeg
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]