ToB企服应用市场:ToB评测及商务社交产业平台

标题: Datawhale AI夏令营第四期魔搭-AIGC方向 task 01笔记 [打印本页]

作者: 没腿的鸟 时间: 2024-12-13 12:09
标题: Datawhale AI夏令营第四期魔搭-AIGC方向 task 01笔记
简介

从零入门AI生图原理&实践，是 Datawhale 2024 年 AI 夏令营第四期的学习运动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事寻衅赛”开展的实践学习
实用人群：

想入门并实践 AIGC文生图、工作流搭建、LoRA微调的学习者
内容概述：

前期偏理论，后期简朴介绍应用

赛题解读

关于可图Kolors-LoRA风格故事寻衅赛

   要求：

在可图Kolors 模型的基础上练习LoRA 模型，生成 8 张图片组成连贯故事，故事内容可自定义。
   初赛截至：-2024年8月31日23:59
文生图历史

文生图是什么？

文生图（Text-to-Image Generation）是一种通过文本生成图像的技术，其发展历程可以追溯到早期的计算机视觉和自然语言处理研究。
发展历程

    早期探索（20世纪60年代-20世纪90年代）：

       1. 重要依赖于规则和模板匹配，将文本转换为简朴的图形。
2.生成的图像质量较低，应用场景也非常有限。
    基于统计模型的方法（2000年代）：

        1．利用概率图模型和统计语言模型来生成图像。
        2. 多样性和质量上有了肯定提拔，但较为粗糙，不敷逼真。
    深度学习的崛起（2010年代）：

        卷积神经网络（CNN）和生成对抗网络（GAN）快速发展

大规模预练习模型（2020年代）：

大规模的文本和图像配对数据练习，文本和图像高度同等
提拔图像的创意和细节表现本领，通过简朴的文本描述生成高质量、复杂图像成为大概。

文生图基础知识介绍

运行原理：

提示词

   写法：

       主体描述，细节描述，修饰词，艺术风格，艺术家
Lora

  一类通过特定微调技术应用于基础模型的扩展应用。
   用途：

      针对性优化预练习好的大模型，以实现对特定主题、风格或任务的精致化控制。
ComfyUI

  用途：

简化和优化 AI 模型的配置和练习过程。
用户可以基于节点/流程图的界面设计并执行AIGC文生图或者文生视频的pipeline。

参考图控制

  ControlNet是一种用于准确控制图像生成过程的技术组件。
    用途：

引入额外的控制信号，使得用户能够更具体地指导图像生成的各个方面（如姿势关键点、分割图、深度图、颜色等）。
        控制类型：

       OpenPose姿势控制
        Canny精准绘制：用于线稿图
        Hed绘制：获取渐变线条的线稿图
        深度图Midas：更有条理
        颜色color控制：实现更加精准和个性化的图像生成效果。

小白零基础 30 分钟速通指南

从跑通最简的Baseline，到了解竞赛通用流程、深入各个竞赛环节，精读Baseline与进阶实践，这些一个都不会少！

Step0：开通阿里云PAI-DSW试用

链接：阿里云免费试用 - 阿里云
- 在魔搭社区进行授权：
  链接：魔搭社区
Step1：报名赛事！

     赛事链接：可图Kolors-LoRA风格故事寻衅赛_创新应用大赛_天池大赛-阿里云天池的赛制
Step2：在魔搭社区创建PAI实例！

     链接：魔搭社区
Step3：30 分钟体验一站式 baseline！

1.下载baseline文件（约莫需要2分钟）

2.进入文件夹，打开baseline文件

3.安装环境，然后重启kernel：

安装 Data-Juicer 和 DiffSynth-Studio
Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程
DiffSynth-Studio：高效微调练习大模型工具
4.调整prompt，设置你想要的图片风格，依次修改8张图片的描述（可选）

正向描述词：你想要生成的图片应该包罗的内容
反向提示词：你不希望生成的图片的内容
5.依次顺序运行剩余的代码块，点击代码框左上角执行按钮，最终获得图片（约莫需要20分钟）

Step4：微调结果上传魔搭（点击即可跳转）

移动结果文件
下载结果文件：双击进入output文件夹，分别下载两个文件到本地
创建并上传模型所需内容：点击魔搭链接，创建模型
来到创空间，查看本身的模型是否发布

Step5：关闭PAI实例

运行完成后，别忘了回到魔搭，【关闭】实例，否则会一直消耗你的试用额度！

每小时消耗大概7个试用额度！（总共5000个，有效期三个月）

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)