qidao123.com技术社区-IT企服评测·应用市场

标题: Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记 [打印本页]

作者: 张国伟 时间: 2024-9-18 01:51
标题: Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task01笔记
前言

之前只做过图像处置惩罚方面的模型任务，对pytorch框架比较相识，所以对于这个就是逐步学来着，按照个人的习惯对写个笔记咯。
任务一：运行baseline

利用线上GPU运行

之前跑代码的时候就只能租GPU，所以这个直接全部线上执行还挺好的。
搭环境

1. 进入阿里云免费试用区，免费利用算力时：阿里云社区编辑https://free.aliyun.com/?spm=5176.14066474.J_4683019720.1.8646754cugXKWo&scm=20140722.M_988563._.V_1&productCode=learn
2.进入魔搭社区授权
魔搭社区编辑https://www.modelscope.cn/my/mynotebook/authorization
3.报名
可图Kolors-LoRA风格故事挑衅赛编辑https://tianchi.aliyun.com/competition/entrance/532254
4.搭环境
1,2步骤弄完后，可以直接在魔搭社区创环境，创实例。
5.运行
反面进到notebook中就可以正常运行代码了，由于官方已经把文件给了，所有步骤都在上面，基本上直接运行就行，花时间训练模型就OK
大抵体验了过程，简单的看了一下代码，用pytorch编写的，所以读起来不是很困难，跟我之前做项目标流程大差不差。但难点在于我刚打仗文生图这一方面，不懂原理，所以这是我之后需要相识的地方。
任务二：相关知识学习

文生图基本熟悉：

反面在网上看了个视频相识了基本训练流程。
在训练过程中，利用深度学习技术，通过大量的图像数据来优化模型的参数，利用卷积神经网络（CNN）提取图像特性，并通过扩散模型天生具有这些特性的图像。
Stable Diffusion是文生图技术的一种实现，它是一种基于Latent Diffusion Models（LDMs）实现的文生图（text-to-image）算法模型，通过模拟物理世界中的扩散过程，将噪声渐渐转化为具有特定布局和纹理的图像。
扩散模型

Diffusion Model(扩散模型)

DM『扩散模型』工作原理：通过向原始图像中，连续添加高斯噪声来粉碎训练数据，然后通过反转这个噪声过程，来学习恢复数据。简单来说，包罗两个过程：「前向扩散」和「逆向扩散」。
1）前向扩散：前向扩散过程是不停往输入图片中添加高斯噪声，直到原图像暗昧；
2）逆向扩散；反向（逆向）扩散过程是将噪声不停还原为原始图片，这一办法会得到一个【模型】（令为模型A），这个模型训练并稳固下来，就能实如今线预测了，即给模型一个文本提示或原始图像，它就能基于这个模型天生另一幅图像。

跋文

这次练习大概相识了下文生图的概念，反面需要仔细相识一下代码，看能不能本身编写。按照官方给的步骤训练模型后，天生的图片都是可爱型的，应该是数据集的题目。反面本身换个数据集天生一下本身想要的图片风格玩玩。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/)