Datawhale X 魔搭 AI夏令营 AIGC方向 Task02

参考教程：Docs

https://datawhaler.feishu.cn/wiki/KxI2wIeAJiRQWhkRt9dcqlNVnFR?from=from_copylink
精读baseline

代码整理

使用通义千问辅助理解baseline代码
起首将baseline中的代码全部整理在一起：

1. !pip install simple-aesthetics-predictor
3. !pip install -v -e data-juicer
5. !pip uninstall pytorch-lightning -y
6. !pip install peft lightning pandas torchvision
8. !pip install -e DiffSynth-Studio
10. from modelscope.msdatasets import MsDataset
12. ds = MsDataset.load(
13.     'AI-ModelScope/lowres_anime',
14.     subset_name='default',
15.     split='train',
16.     cache_dir="/mnt/workspace/kolors/data"
17. )
19. import json, os
20. from data_juicer.utils.mm_utils import SpecialTokens
21. from tqdm import tqdm
24. os.makedirs("./data/lora_dataset/train", exist_ok=True)
25. os.makedirs("./data/data-juicer/input", exist_ok=True)
26. with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
27.     for data_id, data in enumerate(tqdm(ds)):
28.         image = data["image"].convert("RGB")
29.         image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")
30.         metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}
31.         f.write(json.dumps(metadata))
32.         f.write("\n")
34. data_juicer_config = """
35. # global parameters
36. project_name: 'data-process'
37. dataset_path: './data/data-juicer/input/metadata.jsonl'  # path to your dataset directory or file
38. np: 4  # number of subprocess to process your dataset
40. text_keys: 'text'
41. image_key: 'image'
42. image_special_token: '<__dj__image>'
44. export_path: './data/data-juicer/output/result.jsonl'
46. # process schedule
47. # a list of several process operators with their arguments
48. process:
49.     - image_shape_filter:
50.         min_width: 1024
51.         min_height: 1024
52.         any_or_all: any
53.     - image_aspect_ratio_filter:
54.         min_ratio: 0.5
55.         max_ratio: 2.0
56.         any_or_all: any
57. """
58. with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
59.     file.write(data_juicer_config.strip())
61. !dj-process --config data/data-juicer/data_juicer_config.yaml
63. import pandas as pd
64. import os, json
65. from PIL import Image
66. from tqdm import tqdm
69. texts, file_names = [], []
70. os.makedirs("./data/data-juicer/output/images", exist_ok=True)
71. with open("./data/data-juicer/output/result.jsonl", "r") as f:
72.     for line in tqdm(f):
73.         metadata = json.loads(line)
74.         texts.append(metadata["text"])
75.         file_names.append(metadata["image"][0])
77. df = pd.DataFrame({"text": texts, "file_name": file_names})
78. df.to_csv("./data/data-juicer/output/result.csv", index=False)
80. df
82. from transformers import CLIPProcessor, CLIPModel
83. import torch
85. model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
86. processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
88. images = [Image.open(img_path) for img_path in df["file_name"]]
89. inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True)
91. outputs = model(**inputs)
92. logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
93. probs = logits_per_image.softmax(dim=1)  # we can take the softmax to get the probabilities
95. probs
97. from torch.utils.data import Dataset, DataLoader
99. class CustomDataset(Dataset):
100.     def __init__(self, df, processor):
101.         self.texts = df["text"].tolist()
102.         self.images = [Image.open(img_path) for img_path in df["file_name"]]
103.         self.processor = processor
105.     def __len__(self):
106.         return len(self.texts)
108.     def __getitem__(self, idx):
109.         inputs = self.processor(text=self.texts[idx], images=self.images[idx], return_tensors="pt", padding=True)
110.         return inputs
112. dataset = CustomDataset(df, processor)
113. dataloader = DataLoader(dataset, batch_size=8)
115. for batch in dataloader:
116.     outputs = model(**batch)
117.     logits_per_image = outputs.logits_per_image
118.     probs = logits_per_image.softmax(dim=1)
119.     print(probs)
121. import torch
122. from diffusers import StableDiffusionPipeline
124. torch.manual_seed(1)
125. pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16)
126. pipe = pipe.to("cuda")
128. prompt = "二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒"
129. negative_prompt = "丑陋、变形、嘈杂、模糊、低对比度"
130. guidance_scale = 4
131. num_inference_steps = 50
133. image = pipe(
134.     prompt=prompt,
135.     negative_prompt=negative_prompt,
136.     guidance_scale=guidance_scale,
137.     num_inference_steps=num_inference_steps,
138.     height=1024,
139.     width=1024,
140. ).images[0]
142. image.save("example_image.png")
143. image
145. from PIL import Image
147. torch.manual_seed(1)
148. image = pipe(
149.     prompt="二次元，日系动漫，演唱会的观众席，人山人海，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，舞台上衣着华丽的歌星们在唱歌",
150.     negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
151.     cfg_scale=4,
152.     num_inference_steps=50, height=1024, width=1024,
153. )
154. image.save("1.jpg")
156. torch.manual_seed(1)
157. image = pipe(
158.     prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
159.     negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
160.     cfg_scale=4,
161.     num_inference_steps=50, height=1024, width=1024,
162. )
163. image.save("2.jpg")
165. torch.manual_seed(2)
166. image = pipe(
167.     prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
168.     negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
169.     cfg_scale=4,
170.     num_inference_steps=50, height=1024, width=1024,
171. )
172. image.save("3.jpg")
174. torch.manual_seed(5)
175. image = pipe(
176.     prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙，对着流星许愿，闭着眼睛，十指交叉，侧面",
177.     negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指",
178.     cfg_scale=4,
179.     num_inference_steps=50, height=1024, width=1024,
180. )
181. image.save("4.jpg")
183. torch.manual_seed(0)
184. image = pipe(
185.     prompt="二次元，一个紫色中等长度头发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌",
186.     negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
187.     cfg_scale=4,
188.     num_inference_steps=50, height=1024, width=1024,
189. )
190. image.save("5.jpg")
192. torch.manual_seed(1)
193. image = pipe(
194.     prompt="二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒",
195.     negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
196.     cfg_scale=4,
197.     num_inference_steps=50, height=1024, width=1024,
198. )
199. image.save("6.jpg")
201. torch.manual_seed(7)
202. image = pipe(
203.     prompt="二次元，紫色长发少女，穿着黑色连衣裙，试衣间，心情忐忑",
204.     negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
205.     cfg_scale=4,
206.     num_inference_steps=50, height=1024, width=1024,
207. )
208. image.save("7.jpg")
210. torch.manual_seed(0)
211. image = pipe(
212.     prompt="二次元，紫色长发少女，穿着黑色礼服，连衣裙，在台上唱歌",
213.     negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
214.     cfg_scale=4,
215.     num_inference_steps=50, height=1024, width=1024,
216. )
217. image.save("8.jpg")
219. import numpy as np
220. from PIL import Image
223. images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]
224. image = np.concatenate([
225.     np.concatenate(images[0:2], axis=1),
226.     np.concatenate(images[2:4], axis=1),
227.     np.concatenate(images[4:6], axis=1),
228.     np.concatenate(images[6:8], axis=1),
229. ], axis=0)
230. image = Image.fromarray(image).resize((1024, 2048))
231. image

复制代码

分析主体架构

输入prompt：
   你是一个优秀的python开发工程师，如今我们必要你帮我们分析这个代码的主体框架，你必要把代码按照工作流分成几部分，用中文答复我的问题。
  {此处更换成baseline代码}
  返回的结果：
   这段代码可以分为几个主要的工作流程部分来理解：
  1. 环境准备和依赖安装
起首是一系列的包安装与卸载命令：
- 安装 `simple-aesthetics-predictor` 和 `data-juicer`。
- 卸载 `pytorch-lightning` 并安装 `peft`, `lightning`, `pandas`, `torchvision`。
- 安装 `DiffSynth-Studio`。
  这部分主要是为了确保所需的库已经安装并且版本正确。
  
  2. 数据集加载与处置惩罚
接着是从 ModelScope 加载了一个名为 `lowres_anime` 的数据集，并将其生存到指定目录下。这部分包罗了对数据会合的每张图片举行转换为 RGB 模式并生存，同时将图片路径和对应的标签文本写入 JSONL 文件中。
  
  3. 数据过滤与预处置惩罚
通过配置文件 `data_juicer_config.yaml` 来界说如何使用 `data-juicer` 过滤数据集。这里界说了图片的尺寸和宽高比的过滤条件。然后运行 `dj-process` 命令来实行数据过滤，并输出过滤后的结果到新的 JSONL 文件中。
  
  4. 数据整理与特征提取
这部分代码将过滤后的数据集整理成 DataFrame，并生存为 CSV 文件。接着使用 CLIP 模型来盘算图像和文本之间的相似度分数。
  
  5. 自界说数据集与数据加载器
界说了一个 PyTorch 的 `Dataset` 类 `CustomDataset` 用于读取 CSV 文件中的数据，并创建了一个 `DataLoader` 用于批量加载数据。然后使用 CLIP 模型来进一步处置惩罚这些数据。
  
  6. 图像生成
这部分代码使用 `StableDiffusionPipeline` 来根据不同的提示（prompts）生成一系列二次元风格的图像，并生存到文件中。
  
  7. 图像归并展示
最后一步是将生成的多个图像归并成一个大图以便于展示和比力。
  
  总结起来，整个代码流程包罗了环境配置、数据集加载、数据预处置惩罚、特征提取、模型练习数据准备以及图像生成和展示等多个步骤。每个步骤都是前一步骤的底子，渐渐构建起一个完整的图像生成和分析体系。
  返回结果的截图如下：

逐行解释代码

输入prompt：
   你是一个优秀的python开发工程师，如今我们必要你帮我们逐行分析这个代码，用中文答复我的问题。
  {此处更换成baseline代码}
  返回的结果：
   这段代码主要分为几个部分：安装和卸载一些Python包，加载数据集并处置惩罚图像数据，使用Data-Juicer举行数据洗濯，盘算图像与文本的相似度，创建自界说数据集，以及使用StableDiffusionPipeline生成图像。
  下面是逐行的解释：
安装和卸载Python包

1. # 安装simple-aesthetics-predictor包
2. !pip install simple-aesthetics-predictor
4. # 安装data-juicer包的开发版本
5. !pip install -v -e data-juicer
7. # 卸载pytorch-lightning包
8. !pip uninstall pytorch-lightning -y
9. # 安装peft, lightning, pandas 和 torchvision包
10. !pip install peft lightning pandas torchvision
12. # 安装DiffSynth-Studio包的开发版本
13. !pip install -e DiffSynth-Studio

复制代码

加载数据集
 

1. # 导入MsDataset类，用于加载数据集
2. from modelscope.msdatasets import MsDataset
4. # 加载名为'AI-ModelScope/lowres_anime'的数据集，subset_name为'default'，split为'train'，cache_dir指定缓存目录
5. ds = MsDataset.load(
6.     'AI-ModelScope/lowres_anime',
7.     subset_name='default',
8.     split='train',
9.     cache_dir="/mnt/workspace/kolors/data"
10. )

复制代码

处置惩罚数据会合的图像

1. # 导入必要的库
2. import json, os
3. from data_juicer.utils.mm_utils import SpecialTokens
4. from tqdm import tqdm
6. # 创建训练数据存储目录，如果不存在则创建
7. os.makedirs("./data/lora_dataset/train", exist_ok=True)
8. # 创建data-juicer输入数据目录，如果不存在则创建
9. os.makedirs("./data/data-juicer/input", exist_ok=True)
11. # 打开文件以写入metadata.jsonl文件
12. with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
13.     # 遍历数据集
14.     for data_id, data in enumerate(tqdm(ds)):
15.         # 将图像转换为RGB格式并保存到指定路径
16.         image = data["image"].convert("RGB")
17.         image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")
18.         # 构造元数据字典
19.         metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]}
20.         # 写入元数据到文件
21.         f.write(json.dumps(metadata))
22.         f.write("\n")

复制代码

配置并运行Data-Juicer

1. # 定义Data-Juicer配置字符串
2. data_juicer_config = """
3. # 全局参数
4. project_name: 'data-process'
5. dataset_path: './data/data-juicer/input/metadata.jsonl'  # 指定数据集文件路径
6. np: 4  # 处理数据集的子进程数量
8. text_keys: 'text'
9. image_key: 'image'
10. image_special_token: '<__dj__image>'
12. export_path: './data/data-juicer/output/result.jsonl'
14. # 数据处理流程
15. process:
16.     - image_shape_filter:
17.         min_width: 1024
18.         min_height: 1024
19.         any_or_all: any
20.     - image_aspect_ratio_filter:
21.         min_ratio: 0.5
22.         max_ratio: 2.0
23.         any_or_all: any
24. """
26. # 写入Data-Juicer配置文件
27. with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
28.     file.write(data_juicer_config.strip())
30. # 运行Data-Juicer进行数据处理
31. !dj-process --config data/data-juicer/data_juicer_config.yaml

复制代码

处置惩罚Data-Juicer输出

1. # 导入pandas和其他必要库
2. import pandas as pd
3. import os, json
4. from PIL import Image
5. from tqdm import tqdm
7. # 创建输出图像目录，如果不存在则创建
8. os.makedirs("./data/data-juicer/output/images", exist_ok=True)
10. # 读取Data-Juicer处理后的结果
11. with open("./data/data-juicer/output/result.jsonl", "r") as f:
12.     texts, file_names = [], []
13.     for line in tqdm(f):
14.         # 解析每行JSON数据
15.         metadata = json.loads(line)
16.         texts.append(metadata["text"])
17.         file_names.append(metadata["image"][0])
19. # 将文本和文件名转换为DataFrame并保存为CSV文件
20. df = pd.DataFrame({"text": texts, "file_name": file_names})
21. df.to_csv("./data/data-juicer/output/result.csv", index=False)
23. # 显示DataFrame内容
24. df

复制代码

使用CLIP模型盘算相似度

1. # 导入CLIP模型和处理器
2. from transformers import CLIPProcessor, CLIPModel
3. import torch
5. # 加载预训练的CLIP模型和处理器
6. model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
7. processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
9. # 加载图像数据
10. images = [Image.open(img_path) for img_path in df["file_name"]]
11. # 对图像和文本进行预处理
12. inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True)
14. # 计算模型输出
15. outputs = model(**inputs)
16. # 获取图像-文本相似度分数
17. logits_per_image = outputs.logits_per_image
18. # 计算概率
19. probs = logits_per_image.softmax(dim=1)
21. # 显示概率
22. probs

复制代码

创建自界说数据集

1. # 导入PyTorch相关库
2. from torch.utils.data import Dataset, DataLoader
4. # 定义自定义数据集类
5. class CustomDataset(Dataset):
6.     def __init__(self, df, processor):
7.         self.texts = df["text"].tolist()
8.         self.images = [Image.open(img_path) for img_path in df["file_name"]]
9.         self.processor = processor
11.     def __len__(self):
12.         return len(self.texts)
14.     def __getitem__(self, idx):
15.         inputs = self.processor(text=self.texts[idx], images=self.images[idx], return_tensors="pt", padding=True)
16.         return inputs
18. # 创建自定义数据集实例
19. dataset = CustomDataset(df, processor)
21. # 创建数据加载器
22. dataloader = DataLoader(dataset, batch_size=8)
24. # 遍历数据加载器
25. for batch in dataloader:
26.     outputs = model(**batch)
27.     logits_per_image = outputs.logits_per_image
28.     probs = logits_per_image.softmax(dim=1)
29.     print(probs)

复制代码

使用StableDiffusionPipeline生成图像

1. # 导入StableDiffusionPipeline
2. import torch
3. from diffusers import StableDiffusionPipeline
5. # 设置随机种子以确保结果可重复
6. torch.manual_seed(1)
8. # 加载预训练的StableDiffusion模型
9. pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16)
10. pipe = pipe.to("cuda")
12. # 设置提示和负向提示
13. prompt = "二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒"
14. negative_prompt = "丑陋、变形、嘈杂、模糊、低对比度"
15. guidance_scale = 4
16. num_inference_steps = 50
18. # 生成图像并保存
19. image = pipe(
20.     prompt=prompt,
21.     negative_prompt=negative_prompt,
22.     guidance_scale=guidance_scale,
23.     num_inference_steps=num_inference_steps,
24.     height=1024,
25.     width=1024,
26. ).images[0]
27. image.save("example_image.png")
29. # 使用不同提示生成多个图像
30. # （此处省略了重复的代码，每个调用都生成一张图像并保存）

复制代码

归并生成的图像

1. # 导入PIL库
2. import numpy as np
3. from PIL import Image
5. # 读取所有生成的图像
6. images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]
8. # 合并图像
9. image = np.concatenate([
10.     np.concatenate(images[0:2], axis=1),
11.     np.concatenate(images[2:4], axis=1),
12.     np.concatenate(images[4:6], axis=1),
13.     np.concatenate(images[6:8], axis=1),
14. ], axis=0)
16. # 调整图像大小并显示
17. image = Image.fromarray(image).resize((1024, 2048))
18. image

复制代码

这段代码实行了一系列复杂的操作，从加载数据集开始，颠末图像处置惩罚、数据洗濯、盘算相似度、创建数据集，最后使用StableDiffusionPipeline生成图像，并将它们归并成一个大图。
返回结果的截图如下：

实战演练：基于话剧的连环画制作

数据准备

使用通义千问生成提示词。
prompt准备：
   你是一个文生图专家，我们如今要做一个实战项目，就是要编排一个文生图话剧
  话剧由8张场景图片生成，你必要输出每张图片的生图提示词
  具体的场景图片
  1、女主正在上课
  2、开始睡着了
  3、进入梦乡，梦到自己站在路
  4、王子骑马而来
  5、两人相谈甚欢
  6、一起坐在马背上
  7、下课了，梦醒了
  8、又回到了学习生活中
  生图提示词要求
  1、风格为古风
  2、根据场景确定是使用全身照旧上半身
  3、人物描述
  4、场景描述
  5、做啥事情
  例子： 古风，水墨画，一个黑色长发少女，坐在教室里，盯着黑板，深思，上半身，赤色长裙
  返回结果：
   好的，根据您的要求，我会为每个场景创作一组生图提示词。我们来逐一订定这些提示词：
  
  第一张图片 - 女主正在上课
风格: 古风
描述: 水墨画，一个穿着蓝色长裙的女子，黑色长发束起，上半身特写，坐在古色古香的教室里，专注地听着老师讲解，手中握着毛笔。
场景: 木质布局的教室，墙壁挂着书法作品，桌案上摆放着笔墨纸砚。
正在做的事情: 聚精会神听讲，偶尔低头在纸上记载。
  
  第二张图片 - 开始睡着了
风格: 古风
描述: 水墨画，同一女子，黑色长发披散，身穿淡紫色长袍，上半身，头轻轻靠在桌上，嘴角挂着微笑，似乎正在做梦。
场景: 教室配景，周围的同学都在认真听课，只有她沉浸在梦乡之中。
正在做的事情: 在课桌上轻眠。
  
  第三张图片 - 进入梦乡，梦到自己站在路上
风格: 古风
描述: 水墨画，女子全身像，穿着华丽的衣裳，站在一条青石小径上，四周是昏黄的云雾和古树。
场景: 一条通往远方的小径，两旁是古树参天，远处山峦叠嶂。
正在做的事情: 微微闭目，仿佛在感受天然的气息。
  
  第四张图片 - 王子骑马而来
风格: 古风
描述: 水墨画，一位英俊的青年骑着一匹白马渐渐而来，身穿金色镶边的长袍，眼神温柔，望向女子的方向。
场景: 同样的小径，但此刻阳光洒落，王子与马的身影映照在小径上。
正在做的事情: 骑马接近女子，准备邀请她一同前行。
  
  第五张图片 - 两人相谈甚欢
风格: 古风
描述: 水墨画，女子与王子并肩而立，两人面带笑容，眼神交流，身着华美的服饰。
场景: 小径旁的一片开阔地带，花丛中设有石桌石凳，四周环境清静精美。
正在做的事情: 相互交谈，分享彼此的故事。
  
  第六张图片 - 一起坐在马背上
风格: 古风
描述: 水墨画，女子与王子并排坐在马上，女子穿着轻盈的绿色长裙，王子穿着蓝色长袍，两人相视而笑，马儿在林间小道上渐渐前行。
场景: 林间小道，绿树成荫，鸟语花香。
正在做的事情: 共骑一马，欣赏沿途风景。
  
  第七张图片 - 下课了，梦醒了
风格: 古风
描述: 水墨画，女子睁开眼，表情从惊讶变为微笑，黑色长发散落，身穿淡紫色长袍，上半身特写。
场景: 依旧是在教室里，同学们陆续离开。
正在做的事情: 从梦中醒来，发现自己仍然坐在教室里。
  
  第八张图片 - 又回到了学习生活中
风格: 古风
描述: 水墨画，女子重新投入学习状态，黑色长发束起，身穿蓝色长裙，上半身特写，用心致志地书写。
场景: 教室内，其他同学也在笃志苦读，墙上挂着字画。
正在做的事情: 用心学习，笃志读书写字。
  根据返回的结果得当调解，整理成如下表格：

图片编号	场景描述	正向提示词	反向提示词
图片1	女主正在上课	古风，水墨画，一个黑色长发少女，坐在教室里，盯着黑板，深思，上半身，赤色长裙	貌寝，变形，嘈杂，模糊，低对比度
图片2	开始睡着了	古风，水墨画，一个黑色长发少女，坐在教室里，趴在桌子上睡着了，上半身，赤色长裙	貌寝，变形，嘈杂，模糊，低对比度
图片3	进入梦乡，梦到自己站在路旁	古风，水墨画，一个黑色长发少女，站在路边，上半身，赤色长裙	貌寝，变形，嘈杂，模糊，低对比度
图片4	王子骑马而来	古风，水墨画，一个英俊少年，骑着白马，上半身，白色衬衫	貌寝，变形，嘈杂，模糊，低对比度
图片5	两人相谈甚欢	古风，水墨画，一个英俊少年，白色衬衫，一个黑色长发少女，赤色长裙，两个人一起聊天，开心，上半身	貌寝，变形，嘈杂，模糊，低对比度
图片6	一起坐在马背上	古风，水墨画，一个英俊少年，白色衬衫，一个黑色长发少女，赤色长裙，两个人一起骑着马，全身	貌寝，变形，嘈杂，模糊，低对比度
图片7	下课了，梦醒了	古风，水墨画，一个黑色长发少女，坐在教室里，下课铃声响了，同学们开始走动，从睡梦中醒来，深思，上半身，赤色长裙	貌寝，变形，嘈杂，模糊，低对比度
图片8	又回到了学习生活中	古风，水墨画，一个黑色长发少女，坐在教室里，盯着黑板，认真上课，上半身，赤色长裙	貌寝，变形，嘈杂，模糊，低对比度

修改提示词并生成图片

修改提示词并运行baseline代码，可以从“加载模型”这一步开始运行，加载Task01中练习的LoRA权重。

结果展示

测试美学分数

运行以下代码获得美学分数：

1. import torch, os
2. from PIL import Image
3. from transformers import CLIPProcessor
4. from aesthetics_predictor import AestheticsPredictorV2Linear
5. from modelscope import snapshot_download
7. model_id = snapshot_download('AI-ModelScope/aesthetics-predictor-v2-sac-logos-ava1-l14-linearMSE', cache_dir="models/")
8. predictor = AestheticsPredictorV2Linear.from_pretrained(model_id)
9. processor = CLIPProcessor.from_pretrained(model_id)
10. device = "cuda"
11. predictor = predictor.to(device)
13. def get_aesthetics_score(image):
14.     inputs = processor(images=image, return_tensors="pt")
15.     inputs = {k: v.to(device) for k, v in inputs.items()}
16.     with torch.no_grad():
17.         outputs = predictor(**inputs)
18.     prediction = outputs.logits
19.     return prediction.tolist()[0][0]
21. def evaluate(folder):
22.     scores = []
23.     for file_name in os.listdir(folder):
24.         if os.path.isfile(os.path.join(folder, file_name)):
25.             image = Image.open(os.path.join(folder, file_name))
26.             scores.append(get_aesthetics_score(image))
27.     if len(scores) == 0:
28.         return 0
29.     else:
30.         return sum(scores) / len(scores)
32. score = evaluate("./test1") # 换成自己的结果文件夹
33. print(score)

复制代码

输出结果：

得到结果大于6，根据赛题规则，图片符合要求。




免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。