AI生图技能
为什么要了解AI生图前沿?
AIGC(AI-Generated Content)是通过人工智能技能自动生成内容的生产方式,很早就有专家指出,AIGC将是未来人工智能的重点方向,也将改造相干行业和范畴生产内容的方式。
AI生图则是此中最早被大众所熟知并广泛被认可的AIGC范畴。了解AI生图前沿即是技能趋势,也对于应用场景扩展、工作服从提升的方面都有极大作用。
AI生图的历史
AI生图的历史可以追溯到较早的技能探索,并随着盘算能力的增强和呆板学习技能的进步而不停发展。下面是AI生图历史的主要阶段和发展里程碑:
- AARON: 由艺术家哈罗德·科恩(Harold Cohen)发明,AARON是最早的人工智能绘画体系之一,它能够通过机械臂绘制出图画。这一体系背后是由一套复杂的规则和算法驱动的盘算机程序。
- 在这个时期,随着盘算机技能的进步,AI绘画开始实验更复杂的形式。尽管当时的盘算资源有限,但研究人员已经开始探索如何使用盘算机生成更为复杂的图像。
- 2012年的暗昧猫脸: 谷歌的研究人员吴恩达和Jeff Dean使用深度学习模子训练了一个能够生成暗昧猫脸的模子。这是AI绘画范畴的一个告急转折点,标志着深度学习技能开始应用于图像生成。
- GANs (Generative Adversarial Networks): 自2014年起,GANs的提出极大地促进了图像生成技能的发展。GANs通过两个相互竞争的网络(生成器和鉴别器)来生成高质量的图像,这一技能敏捷成为了图像生成范畴的主流方法之一。
- 2015年,谷歌推出了**“深梦”(Deep Dream)**图像生成工具。原理:
- 2021 年 1 月 OpenAI 推出DALL-E模子
- VAEs (Variational Autoencoders) 和 Auto-Regressive Models 等其他模子也开始被广泛应用于图像生成使掷中。
- Diffusion Models: 比年来,扩散模子(Diffusion Models)因其在图像质量上的明显提升而备受关注。这种模子通过一系列的去噪步骤来生成图像,能够处理复杂的图像布局和细节。
- Midjourney 和 Stable Diffusion: 这些工具是比年来非常盛行的AI生图应用。Midjourney 是一个高级的AI设计软件,而Stable Diffusion则以其开源特性而著名,允许更多开发者和研究人员加入到图像生成技能的研发中。
- 目前,AI生图技能已经非常成熟,可以生成高度传神的图像。这些技能不仅被应用于艺术创作,还在广告、影视制作、建筑设计等多个范畴得到广泛应用。
- 个性化和定制化:最新的研究和技能正在朝着更加个性化的方向发展,例如华为和清华大学相助开发的个性化多模态生成方法PMG,能够根据特定需求生成图像。
参考:AI绘画的发展历史 、 AI生图可“量身定制”了,华为&清华联手打造个性化多模态生成方法PMG
AI生图的难点和挑战有哪些?
- 图像质量和真实感:
美感与失真的平衡:生成的图像需要到达肯定的视觉美感,同时制止失真或不天然的现象。
细节的准确度:特殊是在高分辨率图像生成中,保持细节清楚且准确是一项挑战。
- 图像多样性:
AI模子需要能够生成具有富足多样性的图像,以满意不同场景的需求。
- 手部等特定部位的准确性:
特殊是在人物图像生成中,手部和其他精细部位的形状和姿势往往难以准确地生成,容易出现畸形现象。
HandRefiner等技能被提出用于专门办理此类问题。
- 可控性:
用户盼望能够对生成过程有肯定水平的控制,例如调整生成图像的具体属性。
- 隐私和数据安全:
使用个人数据训练模子时大概会涉及到隐私泄露的问题。
如何保证数据的安全性和用户的隐私权是一个告急的思量因素。
- 伦理和法律问题:
生成的图像如果被用于不妥目的(例如伪造身份或误导公众),会引发伦理和法律责任问题。
精读baseline代码(上次运行的)
接下来,我们将用“通义千问”作为辅助,对上次生图的代码进行分析。下面是逐行代码及此中文表明:
- # 安装 Data-Juicer 和 DiffSynth-Studio
- !pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
- !pip install -v -e data-juicer # 安装data-juicer
- !pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
- !pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
- !pip install -e DiffSynth-Studio # 安装DiffSynth-Studio
- # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
- from modelscope.msdatasets import MsDataset #引入数据集模块msdatasets
- ds = MsDataset.load(
- 'AI-ModelScope/lowres_anime',
- subset_name='default',
- split='train',
- cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
- ) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime,赋值给参数ds
- # 生成数据集
- import json, os # 导入json和os模块
- from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
- from tqdm import tqdm # 导入tqdm进度条管理
- os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
- os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
- with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
- for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
- image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
- image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
- metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
- f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
- f.write("\n")
- # 配置data-juicer,并进行数据筛选过滤
- # 配置过滤的规则
- data_juicer_config = """
- # global parameters
- project_name: 'data-process' # 名称
- dataset_path: './data/data-juicer/input/metadata.jsonl' # 你前面生成的数据的索引文件
- np: 4 # 线程数
- text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
- image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
- image_special_token: '<__dj__image>'
- export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件
- # process schedule
- # a list of several process operators with their arguments
- # 过滤的规则
- process:
- - image_shape_filter: # 图片尺寸过滤
- min_width: 1024 # 最小宽度1024
- min_height: 1024 # 最小高度1024
- any_or_all: any # 符合前面条件的图片才会被保留
- - image_aspect_ratio_filter: # 图片长宽比过滤
- min_ratio: 0.5 # 最小长宽比0.5
- max_ratio: 2.0 # 最大长宽比2.0
- any_or_all: any # 符合前面条件的图片才会被保留
- """
- # 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
- with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
- file.write(data_juicer_config.strip())
- # data-juicer开始执行数据筛选
- !dj-process --config data/data-juicer/data_juicer_config.yaml
- # 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl,生成数据集
- import pandas as pd # 导入pandas
- import os, json # 导入os和json
- from PIL import Image # 导入Image
- from tqdm import tqdm # 导入tqdm进度条管理
- texts, file_names = [], [] # 定义两个空列表,分别存储图片描述和图片名称
- os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
- with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
- for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
- data = json.loads(data) # 将json字符串转换为对象
- text = data["text"] # 获取对象中的text属性,也就是图片的描述信息
- texts.append(text) # 将图片的描述信息添加到texts列表中
- image = Image.open(data["image"][0]) # 获取对象中的image属性,也就是图片的路径,然后用这个路径打开图片
- image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
- image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
- file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
- data_frame = pd.DataFrame() # 创建空的DataFrame
- data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
- data_frame["text"] = texts # 将图片描述添加到data_frame中
- data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
- data_frame # 查看data_frame
- # 下载可图模型
- from diffsynth import download_models # 导入download_models
- download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
- # DiffSynth-Studio提供了可图的Lora训练脚本,查看脚本信息
- !python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h
- # 执行可图Lora训练
- import os
- cmd = """
- python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
- --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
- --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
- --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
- --lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时,选择了使用 16 作为秩,适合在不显著降低模型性能的前提下,通过 LoRA 减少计算和内存的需求
- --lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值,影响调整的强度
- --dataset_path data/lora_dataset_processed \ # 指定数据集路径,用于训练模型
- --output_path ./models \ # 指定输出路径,用于保存模型
- --max_epochs 1 \ # 设置最大训练轮数为 1
- --center_crop \ # 启用中心裁剪,这通常用于图像预处理
- --use_gradient_checkpointing \ # 启用梯度检查点技术,以节省内存
- --precision "16-mixed" # 指定训练时的精度为混合 16 位精度(half precision),这可以加速训练并减少显存使用
- """.strip()
- os.system(cmd) # 执行可图Lora训练
- # 加载lora微调后的模型
- from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
- from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
- import torch # 导入torch
- # 加载LoRA配置并注入模型
- def load_lora(model, lora_rank, lora_alpha, lora_path):
- lora_config = LoraConfig(
- r=lora_rank, # 设置LoRA的秩(rank)
- lora_alpha=lora_alpha, # 设置LoRA的alpha值,控制LoRA的影响权重
- init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
- target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
- )
- model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
- state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
- model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中,允许部分权重不匹配
- return model # 返回注入LoRA后的模型
- # 加载预训练模型
- model_manager = ModelManager(
- torch_dtype=torch.float16, # 设置模型的数据类型为float16,减少显存占用
- device="cuda", # 指定使用GPU进行计算
- file_path_list=[
- "models/kolors/Kolors/text_encoder", # 文本编码器的路径
- "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
- "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
- ]
- )
- # 初始化图像生成管道
- pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
- # 加载并应用LoRA权重到UNet模型
- pipe.unet = load_lora(
- pipe.unet,
- lora_rank=16, # 设置LoRA的秩(rank),与训练脚本中的参数保持一致
- lora_alpha=2.0, # 设置LoRA的alpha值,控制LoRA对模型的影响权重
- lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
- )
- # 生成图像
- torch.manual_seed(0) # 设置随机种子,确保生成的图像具有可重复性。如果想要每次生成不同的图像,可以将种子值改为随机值。
- image = pipe(
- prompt="二次元,一个紫色短发小女孩,在家中沙发上坐着,双手托着腮,很无聊,全身,粉色连衣裙", # 设置正向提示词,用于指导模型生成图像的内容
- negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词,模型会避免生成包含这些特征的图像
- cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例,数值越高,模型越严格地遵循提示词
- num_inference_steps=50, # 设置推理步数,步数越多,生成的图像细节越丰富,但生成时间也更长
- height=1024, width=1024, # 设置生成图像的高度和宽度,这里生成 1024x1024 像素的图像
- )
- image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件
- # 图像拼接,展示总体拼接大图
- import numpy as np # 导入numpy库,用于处理数组和数值计算
- from PIL import Image # 导入PIL库中的Image模块,用于图像处理
- images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)] # 读取1.jpg到8.jpg的图像,转换为numpy数组,并存储在列表images中
- image = np.concatenate([ # 将四组图像在垂直方向上拼接
- np.concatenate(images[0:2], axis=1), # 将第1组(images[0:2])的两张图像在水平方向上拼接
- np.concatenate(images[2:4], axis=1), # 将第2组(images[2:4])的两张图像在水平方向上拼接
- np.concatenate(images[4:6], axis=1), # 将第3组(images[4:6])的两张图像在水平方向上拼接
- np.concatenate(images[6:8], axis=1), # 将第4组(images[6:8])的两张图像在水平方向上拼接
- ], axis=0) # 将四组拼接后的图像在垂直方向上拼接
- image = Image.fromarray(image).resize((1024, 2048)) # 将拼接后的numpy数组转换为图像对象,并调整大小为1024x2048像素
- image # 输出最终生成的图像对象,用于显示图像
复制代码 再次生成图片
在了解过代码之后,我们可以再次试一下生图:
- prompt=“古风,水墨画,一个身着青衫的少女,坐在教室中,专注地凝视着先生讲解,上半身,手执毛笔,面前摆放着书卷。”
- prompt=“古风,水墨画,一个身穿绿色长裙的少女,坐在桌边,头轻轻垂下,似乎正陷入梦境,上半身,桌上散落着未完成的作业。”
- prompt=“古风,水墨画,一个穿着蓝白色汉服的少女,站在一条石板路上,周围是朦胧的雾气,全身,手中拿着折扇,若有所思地看着远方。”
- prompt=“古风,水墨画,一位英俊的青年骑着白马缓缓靠近,少女站在路边,惊讶而等待地望着他,全身,背景是绿树成荫的小道”
- prompt=“古风,水墨画,温馨的氛围,少女与青年坐在一棵大树下,交谈甚欢,两人都是上半身,少女手持折扇,青年手持书卷,背景是繁花似锦的春天景色”
- prompt=“古风,水墨画,浪漫的色彩,少女与青年并肩坐在马上,两人笑脸满面,全身,背景是夕阳下的旷野”
- prompt=“古风,水墨画,轻柔的色调,少女从梦中醒来,坐在教室里,显得有些渺茫,上半身,桌上摊开着书籍和毛笔”
- prompt=“古风,水墨画,平静的氛围,少女坐在书桌前,专心致志地誊写着,上半身,身旁堆满了书卷,窗外是黄昏的天空”
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |