论坛 › 人工智能 › Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task02笔记

千千梦丶琪 发表于 2024-9-1 09:09:11

Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task02笔记

目录

相识AI生图技术
1.AI生图前言
 2.AI生图历史
3.通过魔搭社区探索AI生图前沿
 Part1：磨刀准备一一认识通义千问（AI智能助手）
Part2：精读baseline——从零入门AI生图
1.分析代码的主体框架
安装和卸载依靠包(!pip下令)
加载数据集
3.数据预处置惩罚
4. 使用 Data-Juicer 进行数据处置惩罚
 5.数据整理与训练
6.图像天生
7.合并图像
Part3：实战演练
结果展示
相识AI生图技术

1.AI生图前言

AIGC(AI-Generated Content)是通过人工智能技术自动天生内容的生产方式，很早就有专家指出，AIGC将是未来人工智能的重点方向，也将改造相干行业和领域生产内容的方式。
   小常识：警惕Deepfake技术
Deepfake技术是一种使用人工智能技术天生的伪造媒体，特殊是视频和音频。它们能够学习真实数据的特性，并天生新的、逼真的数据。
Deepfake技术固然在多个领域展现出其创新潜力，但其滥用也带来了一系列严肃的危害。在政治领域，Deepfake大概被用来制造假新闻或操纵舆论，影响推选效果和政治稳固。经济上，它大概粉碎企业形象，引发市场恐慌，甚至操纵股市。法律体系也面临挑战，由于伪造的证据大概误导司法判定。此外，深度伪造技术还大概加剧身份盗窃的风险，成为恐怖分子的新工具，煽惑暴力和社会动荡，威胁国家安全。
由此衍生的Deepfake攻防技术 从零入门CV图像比赛(Deepfake攻防)
 2.AI生图历史

20世纪70年代，艺术家哈罗德·科恩（Harold Cohen）发明AARON，可通过机械臂输出作画。
现代的AI生图模子大多基于深度神经网络根本上训练，最早可追溯到2012年吴恩达训练出的能天生“猫脸”的模子。使用卷积神经网络（CNN）训练，证明白深度学习模子能够学习到图像的复杂特性。
2015年，谷歌推出了“深梦”（Deep Dream）图像天生工具，类似一个高级滤镜，可以基于给定的图片天生梦幻版图片
2021 年 1 月 OpenAI 推出DALL-E模子（一个深度学习算法模子，是GPT-3 语言处置惩罚模子的一个衍生版本），能直接从文本提示“按需创造”风格多样的图形设计
一般来说，AI生图模子属于多模态呆板学习模子，通过海量的图库和文本形貌的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何)天生符合语义的图片。
AI生图模子 每每可以照猫画虎绘制出类似的画作，在2022年8月，AI生图真正走进了大众的视野，让各个领域无法忽视。
3.通过魔搭社区探索AI生图前沿

https://i-blog.csdnimg.cn/direct/e3494df65e7c4081a1c13dd8fa9580b1.png
Kolors（可图）模子(点击即可跳转魔搭模子介绍页) 是快手开源的文本到图像天生模子，该模子具有对英语和汉语的深刻明白，并能够天生高质量、逼真的图像。
   Kolors（可图）模子(点击即可跳转魔搭模子介绍页)代码开源链接：https://github.com/Kwai-Kolors/Kolors
模子开源链接：https://modelscope.cn/models/Kwai-Kolors/Kolors
技术陈诉链接：https://github.com/Kwai-Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf
魔搭研习社最佳实践分析：https://www.modelscope.cn/learn/575?pid=543
 Part1：磨刀准备一一认识通义千问（AI智能助手）

Part2：精读baseline——从零入门AI生图

文生图代码的框架结构：
https://i-blog.csdnimg.cn/direct/d996d82c88fc44d89f6bc0dce4f5b578.png
baseline中的所有代码整理出来，代码结构如下： 
!pip install simple-aesthetics-predictor

!pip install -v -e data-juicer

!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision

!pip install -e DiffSynth-Studio

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data"
)

import json, os
from data_juicer.utils.mm_utils import SpecialTokens
from tqdm import tqdm


os.makedirs("./data/lora_dataset/train", exist_ok=True)
os.makedirs("./data/data-juicer/input", exist_ok=True)
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)):
      image = data["image"].convert("RGB")
      image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg")
      metadata = {"text": "二次元", "image": }
      f.write(json.dumps(metadata))
      f.write("\n")

data_juicer_config = """
# global parameters
project_name: 'data-process'
dataset_path: './data/data-juicer/input/metadata.jsonl'# path to your dataset directory or file
np: 4# number of subprocess to process your dataset

text_keys: 'text'
image_key: 'image'
image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl'

# process schedule
# a list of several process operators with their arguments
process:
    - image_shape_filter:
      min_width: 1024
      min_height: 1024
      any_or_all: any
    - image_aspect_ratio_filter:
      min_ratio: 0.5
      max_ratio: 2.0
      any_or_all: any
"""
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())

!dj-process --config data/data-juicer/data_juicer_config.yaml

import pandas as pd
import os, json
from PIL import Image
from tqdm import tqdm


texts, file_names = [], []
os.makedirs("./data/data-juicer/output/images", exist_ok=True)
with open("./data/data-juicer/output/result.jsonl", "r") as f:
    for line in tqdm(f):
      metadata = json.loads(line)
      texts.append(metadata["text"])
      file_names.append(metadata["image"])

df = pd.DataFrame({"text": texts, "file_name": file_names})
df.to_csv("./data/data-juicer/output/result.csv", index=False)

df

from transformers import CLIPProcessor, CLIPModel
import torch

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

images = ]
inputs = processor(text=df["text"].tolist(), images=images, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs.logits_per_image# this is the image-text similarity score
probs = logits_per_image.softmax(dim=1)# we can take the softmax to get the probabilities

probs

from torch.utils.data import Dataset, DataLoader

class CustomDataset(Dataset):
    def __init__(self, df, processor):
      self.texts = df["text"].tolist()
      self.images = ]
      self.processor = processor

    def __len__(self):
      return len(self.texts)

    def __getitem__(self, idx):
      inputs = self.processor(text=self.texts, images=self.images, return_tensors="pt", padding=True)
      return inputs

dataset = CustomDataset(df, processor)
dataloader = DataLoader(dataset, batch_size=8)

for batch in dataloader:
    outputs = model(**batch)
    logits_per_image = outputs.logits_per_image
    probs = logits_per_image.softmax(dim=1)
    print(probs)

import torch
from diffusers import StableDiffusionPipeline

torch.manual_seed(1)
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v-1-4", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒"
negative_prompt = "丑陋、变形、嘈杂、模糊、低对比度"
guidance_scale = 4
num_inference_steps = 50

image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    guidance_scale=guidance_scale,
    num_inference_steps=num_inference_steps,
    height=1024,
    width=1024,
).images

image.save("example_image.png")
image

from PIL import Image

torch.manual_seed(1)
image = pipe(
    prompt="二次元，日系动漫，演唱会的观众席，人山人海，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，舞台上衣着华丽的歌星们在唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("1.jpg")

torch.manual_seed(1)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("2.jpg")

torch.manual_seed(2)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙坐在演唱会的观众席，露出憧憬的神情",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，色情擦边",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("3.jpg")

torch.manual_seed(5)
image = pipe(
    prompt="二次元，一个紫色短发小女孩穿着粉色吊带漏肩连衣裙，对着流星许愿，闭着眼睛，十指交叉，侧面",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度，扭曲的手指，多余的手指",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("4.jpg")

torch.manual_seed(0)
image = pipe(
    prompt="二次元，一个紫色中等长度头发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("5.jpg")

torch.manual_seed(1)
image = pipe(
    prompt="二次元，一个紫色长发小女孩穿着粉色吊带漏肩连衣裙，在练习室练习唱歌，手持话筒",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("6.jpg")

torch.manual_seed(7)
image = pipe(
    prompt="二次元，紫色长发少女，穿着黑色连衣裙，试衣间，心情忐忑",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("7.jpg")

torch.manual_seed(0)
image = pipe(
    prompt="二次元，紫色长发少女，穿着黑色礼服，连衣裙，在台上唱歌",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("8.jpg")

import numpy as np
from PIL import Image


images =
image = np.concatenate([
    np.concatenate(images, axis=1),
    np.concatenate(images, axis=1),
    np.concatenate(images, axis=1),
    np.concatenate(images, axis=1),
], axis=0)
image = Image.fromarray(image).resize((1024, 2048))
image
1.分析代码的主体框架


[*] 安装和卸载依靠包(!pip下令)

使用!pip 下令来安装或卸载 Python 包。包括：
[*] 卸载 pytorch-lightning（使用 -y 自动确认卸载）。
[*] simple-aesthetics-predictor, data-juicer, peft, lightning, pandas, torchvision, 和 DiffSynth-Studio 的安装。

[*] 加载数据集

使用 ModelScope 的 MsDataset 类加载名为 AI-ModelScope/lowres_anime 的数据集，并指定子集名称为 default 和分割为 train，缓存目录设置为 /mnt/workspace/kolors/data。
   

[*] PIL.Image: 用于图像处置惩罚。
[*] torch: 深度学习库PyTorch的核心模块。
[*] torchvision.models, torchvision.transforms, torchvision.datasets: 用于处置惩罚图像数据和构建模子。
[*] torch.nn, torch.nn.functional: 用于构建神经网络。
[*] torch.optim: 用于优化算法。
[*] torch.autograd.Variable: 用于自动求导。
[*] Dataset: 用于自定义数据集。
[*] timm: 用于加载预训练模子。
[*] time: 用于计时。
[*] pandas, numpy: 用于数据处置惩罚。
[*] cv2: 用于图像处置惩罚。
[*] tqdm_notebook: 用于表现进度条。
3.数据预处置惩罚

        将数据集中的图像转换为 RGB 模式，并生存到指定目录。
        创建包罗图像路径和文本形貌的元数据文件 metadata.jsonl。
        编写并生存 data_juicer_config.yaml 配置文件，用于后续的数据过滤和处置惩罚。
   

[*] torch.manual_seed(0): 设置随机种子，确保效果可复现。
[*] torch.backends.cudnn.deterministic = False: 关闭确定性，提高训练速度。
[*] torch.backends.cudnn.benchmark = True: 启用基准测试，自动选择最优算法。
4. 使用 Data-Juicer 进行数据处置惩罚

   

[*] AverageMeter: 用于计算和存储平均值和当前值，方便在训练和验证过程中跟踪损失和准确率。
[*] ProgressMeter: 用于打印训练和验证过程中的进度，表现当前批次和总批次数。
[*] validate: 验证函数，计算模子在验证集上的准确率和损失。使用torch.no_grad()确保在验证过程中不计算梯度。
[*] predict: 推测函数，计算模子在测试集上的推测效果。使用torch.no_grad()确保在推测过程中不计算梯度。
[*] train: 训练函数，计算模子在训练集上的损失和准确率，并进行梯度更新。使用model.train()确保模子处于训练模式。
 5.数据整理与训练

        1.读取 result.jsonl 文件中的数据，并将其转换为 Pandas DataFrame，然后生存为 CSV 文件，并且将图片生存到./data/lora_dataset_processed/train文件夹下。
        2.下载模子download_models(["Kolors", "SDXL-vae-fp16-fix"])
        3.在前面模子的根本上，执行Lora微调训练
        4.加载微调后的模子
6.图像天生



[*] 设置正向提示词，反向提示词，执行次数，图片尺寸
[*] 设置随机种子，控制图片是否可以重复天生，并将图像生存为 .jpg 文件。
7.合并图像

        末了，将天生的多个图像合并成一个大图像，并调解大小。
 执行过程（通义千问）：
https://i-blog.csdnimg.cn/direct/7a8c1d3ac52b4d02a7a228d3c7303d50.png
https://i-blog.csdnimg.cn/direct/70c3fa25986b48b4b4c0d81433f144a1.png
# 安装 Data-Juicer 和 DiffSynth-Studio
!pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
!pip install -v -e data-juicer # 安装data-juicer
!pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
!pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
!pip install -e DiffSynth-Studio # 安装DiffSynth-Studio

# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
from modelscope.msdatasets import MsDataset#引入数据集模块msdatasets
ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime，赋值给参数ds

# 生成数据集
import json, os # 导入json和os模块
from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
from tqdm import tqdm # 导入tqdm进度条管理
os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
      image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
      image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
      metadata = {"text": "二次元", "image": } # 生成当前图片的索引数据
      f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
      f.write("\n")

# 配置data-juicer，并进行数据筛选过滤
# 配置过滤的规则
data_juicer_config = """
# global parameters
project_name: 'data-process' # 名称
dataset_path: './data/data-juicer/input/metadata.jsonl'# 你前面生成的数据的索引文件
np: 4# 线程数

text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件

# process schedule
# a list of several process operators with their arguments
# 过滤的规则
process:
    - image_shape_filter: # 图片尺寸过滤
      min_width: 1024 # 最小宽度1024
      min_height: 1024 # 最小高度1024
      any_or_all: any # 符合前面条件的图片才会被保留
    - image_aspect_ratio_filter: # 图片长宽比过滤
      min_ratio: 0.5 # 最小长宽比0.5
      max_ratio: 2.0 # 最大长宽比2.0
      any_or_all: any # 符合前面条件的图片才会被保留
"""

# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())
# data-juicer开始执行数据筛选
!dj-process --config data/data-juicer/data_juicer_config.yaml


# 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，生成数据集
import pandas as pd # 导入pandas
import os, json # 导入os和json
from PIL import Image # 导入Image
from tqdm import tqdm # 导入tqdm进度条管理
texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
    for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
      data = json.loads(data) # 将json字符串转换为对象
      text = data["text"] # 获取对象中的text属性，也就是图片的描述信息
      texts.append(text) # 将图片的描述信息添加到texts列表中
      image = Image.open(data["image"]) # 获取对象中的image属性，也就是图片的路径,然后用这个路径打开图片
      image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
      image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
      file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
data_frame = pd.DataFrame() # 创建空的DataFrame
data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
data_frame["text"] = texts # 将图片描述添加到data_frame中
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
data_frame # 查看data_frame


# 下载可图模型
from diffsynth import download_models # 导入download_models
download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
# DiffSynth-Studio提供了可图的Lora训练脚本，查看脚本信息
!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h


# 执行可图Lora训练
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
--pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
--pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
--pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
--lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
--lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度
--dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型
--output_path ./models \ # 指定输出路径，用于保存模型
--max_epochs 1 \ # 设置最大训练轮数为 1
--center_crop \ # 启用中心裁剪，这通常用于图像预处理
--use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存
--precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练


# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch
# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
    lora_config = LoraConfig(
      r=lora_rank, # 设置LoRA的秩(rank)
      lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重
      init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
      target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
    )
    model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
    state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
    model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配
    return model # 返回注入LoRA后的模型
# 加载预训练模型
model_manager = ModelManager(
    torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用
    device="cuda", # 指定使用GPU进行计算
    file_path_list=[
      "models/kolors/Kolors/text_encoder", # 文本编码器的路径
      "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
      "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
    ]
)
# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
    pipe.unet,
    lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致
    lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重
    lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)


# 生成图像
torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。如果想要每次生成不同的图像，可以将种子值改为随机值。
image = pipe(
    prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像
    cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词
    num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长
    height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件


# 图像拼接，展示总体拼接大图
import numpy as np# 导入numpy库，用于处理数组和数值计算
from PIL import Image# 导入PIL库中的Image模块，用于图像处理
images = # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中
image = np.concatenate([# 将四组图像在垂直方向上拼接
    np.concatenate(images, axis=1),# 将第1组（images）的两张图像在水平方向上拼接
    np.concatenate(images, axis=1),# 将第2组（images）的两张图像在水平方向上拼接
    np.concatenate(images, axis=1),# 将第3组（images）的两张图像在水平方向上拼接
    np.concatenate(images, axis=1),# 将第4组（images）的两张图像在水平方向上拼接
], axis=0)# 将四组拼接后的图像在垂直方向上拼接
image = Image.fromarray(image).resize((1024, 2048))# 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素
image# 输出最终生成的图像对象，用于显示图像
Part3：实战演练

你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧
话剧由8张场景图片生成，你需要输出每张图片的生图提示词

具体的场景图片
1、女主正在上课
2、开始睡着了
3、进入梦乡，梦到自己站在路旁
4、王子骑马而来
5、两人相谈甚欢
6、一起坐在马背上
7、下课了，梦醒了
8、又回到了学习生活中

生图提示词要求
1、风格为古风
2、根据场景确定是使用全身还是上半身
3、人物描述
4、场景描述
5、做啥事情

例子：
古风，水墨画，一个黑色长发少女，坐在教室里，盯着黑板，深思，上半身，红色长裙  询问通义，联合AI内容进行微调
结果展示

https://i-blog.csdnimg.cn/direct/0f54b24190844142b2d729d9886463ee.png


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

查看完整版本: Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task02笔记