曹旭辉 发表于 2024-10-13 16:31:43

【AI绘画】一篇文章带你零底子玩转FLUX,最全面FLUX使用说明书,FLUX.1凭什

目次


[*] 什么是 Flux?
[*] 三个版本的区别
[*] 模子下载
[*] 工作流入门
[*] 最小工作流
[*] 手动加载模子
[*] 完全控制
[*] 提示词与艺术风格
[*] 图生图
[*] FluxGuidance 节点
[*] ModelSamplingFlux 节点
[*] 实现艺术风格
[*] 提升细节
[*] 采样器和调度器的选择
[*] 怎样优化提示词
[*] ClipTextEncodeFlux 节点
[*] 条件均匀与多重向量
[*] 总结
https://img-blog.csdnimg.cn/img_convert/b30e22f1d83ba6e2902c0eff9ba8a114.png
本日我们来聊聊最近最火的生图模子 Flux,文章底部也预备了一些亲测好用的FLUX模子和工作流,有需要的小伙伴可以按需自取。
这是杂谈系列最“技术”的内容之一,不过别担心,咱会从底子先容开始,带你们一步步明白,并用 ComfyUI 实践,相信看完后,你们会对 Flux 模子有一个更深入的明白。
什么是 Flux?

Flux 是黑森林实行室 (Black Forest Labs) 开发的全新生图模子,拥有 120 亿参数(对比 SD3 Medium 为 20 亿),分为三个版本:Pro、Dev 和 Schnell。
三个版本的区别

https://img-blog.csdnimg.cn/img_convert/f9c1ab1b623f4f1451d27ae0c75f66f6.png


[*] Pro:最强生图模子,但只能通过 API 来使用。可以对接 Replicate、fal AI 和 OpenArt 的接口,不在本文讨论范围。
[*] Dev:限定了商业用途,也就是说,你不能用它生成的图像直接或间接赚钱。假如你用这个模子做了些训练或微调,那么生成的模子也会继承这个限定。
[*] Schnell:这个单词在德语里是 “快” 的意思,就像 SDXL 生态下的 Turbo 模子。它用了一种叫对抗性扩散蒸馏的技术训练出来,质量固然逊于 Pro 和 Dev,但它是唯一可以免费使用并商用的版本。
https://i-blog.csdnimg.cn/direct/010244d7207c4673b9510442569ce23d.png
按黑森林的跑分图来看,就算是最弱的 Schnell 也比 Midjourney v6.0 得分高。
模子下载

https://img-blog.csdnimg.cn/img_convert/4aa73842823fe9f5c2741e3f97311e71.png
不是每个人的电脑都是 4090 + 64G 起的性能猛兽,根据对电脑性能要求,我分为了入门版、进阶版和完备版,可以根据你的实际情况选择。
入门版

ComfyOrg 社区搞 “三合一” 模子,它能用我们最认识的 Load Checkpoint 节点来加载模子,而且文件更小,对内存要求也更低


[*] flux1-schnell-fp8: 17.2GB,放到 /models/checkpoints/ 文件夹下
[*] flux1-dev-fp8: 17.2GB,放到 /models/checkpoints/ 文件夹下
固然缺点是生成的结果会有所降落。得当入门玩大概懒得折腾嫌贫苦的人。
进阶版

假如你不想损失那么多性能,则需要下载 Kijai 大神的 fp8 版本,以 dev 为例:


[*] CLIP:246 MB,放到 /models/clip/ 文件夹
[*] t5xxl_fp8: 4.89GB,放到 /models/clip/ 文件夹
[*] dev VAE: 335MB,放到 /models/vae/ 文件夹
[*] Kijai dev UNet: 11.9GB,放到 /models/unet/ 文件夹
完备版

若你电脑性能充足高,建议你使用官方的 fp16 版本。以 dev 为例,你需要下载这些:


[*] CLIP:246 MB,放到 /models/clip/ 文件夹
[*] t5xxl_fp16: 9.79GB
[*] dev VAE: 335MB,放到 /models/vae/ 文件夹
[*] 官方 dev UNet: 23.8GB,放到 /models/unet/ 文件夹
固然,我的电脑是带不动,佬友们自己尝试,下面的教程紧张以进阶版本为例。
固然另有 GGUF 和 NF4v2 版本,它们都是在保证质量的同时消耗更少资源的模子,由于需要额外的 ComfyUI 节点,暂时先按下不表,想了解的可以评论踢我一下。
   Dev 版本下载同理,更换对应的 VAE 和 UNet 即可;进阶版和完备版的 CLIP 是一样的,同型号的 VAE 也是一样的
工作流入门

在 ComfyUI 社区的努力下,使用 Flux 和 SD3 险些是一样的,我分为三种不同的工作流,由浅入深的先容一下,紧张区别在于模子的加载。
最小工作流

假如你下载了入门版模子的话,在默认工作流的底子上只需选择对应模子,并将 cfg 改为 1 就算用上了。
https://img-blog.csdnimg.cn/img_convert/169e36266a99a345cda0bcae556aaa1b.png
   需要留意的是 FLUX 不吃负面提示词,只是 KSampler 的负面提示词不能为空
手动加载模子

我已经是个大人了,至少也要手动加载模子,只有这样你才能用上进阶版和完备版,最简单的工作流如下:
https://img-blog.csdnimg.cn/img_convert/e861e030bd64982a86fbf6335bbcb5fb.png
   其实和极简版是一样的,只是模子加载不同。这里我修改了种子,所以生成的图不一样。
完全控制和高级节点

另有一种很酷的搭建方式,用到了 SamplerCustomAdvanced 节点,生成的结果和 KSampler 完全一样,如下所示
https://img-blog.csdnimg.cn/img_convert/3fff536ab338255dea4a312747a9486b.png
这里还用到了两个 Flux 专用高级节点,先来有个概念:


[*] FluxGuidance: 它决定模子在生成图像时,应该多洪流平上严格按照你的提示走,后面会详细先容。数值为 2+- 时会更有艺术感,3~3.5 得当大多数情况,大于 3.5 和小于 1 都容易毁图。
[*] ModelSamplingFlux: 它控制模子在生成图像的过程的细节、风格以及团体感觉,后面会详细先容。数值较低时更关注细节,较高时更专注团体。
除了在这种 Base 的工作流中,你也可以把这两个节点接入到我们认识的 KSampler 工作流中,结果是一样的.
写在最后

FLUX相干的模子、工作流以及全套的AI绘画学习资料已经给各位小伙伴打包好了,有需要的可以扫码自取,无偿分享。
https://i-blog.csdnimg.cn/direct/757befcb94ad431d8ebeb9dff8895b06.png
https://i-blog.csdnimg.cn/direct/58bf685460514f7ab17e2159423b4e50.png
https://i-blog.csdnimg.cn/direct/1ff490f596ac497982da450cc6736515.png
https://i-blog.csdnimg.cn/direct/a8d81fadaf014d36943df0f311c4bb5e.png
https://i-blog.csdnimg.cn/direct/d3b33e8808e248b992a1516af8fb10db.png
感兴趣的小伙伴,赠送全套AIGC学习资料,包罗AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

https://i-blog.csdnimg.cn/direct/0286c1aa8a2f45bfb41118118e4284bf.jpeg
AIGC技术的未来发展前景广阔,随着人工智能技术的不绝发展,AIGC技术也将不绝提高。未来,AIGC技术将在游戏和计算范畴得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更机动的特性。同时,AIGC技术也将与人工智能技术精密连合,在更多的范畴得到广泛应用,对程序员来说影响至关紧张。未来,AIGC技术将继续得到提高,同时也将与人工智能技术精密连合,在更多的范畴得到广泛应用。

https://img-blog.csdnimg.cn/direct/e6a8b48b8024497daecb9d6652c72bb7.png#pic_center
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个范畴的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
https://img-blog.csdnimg.cn/direct/af6e2f485a4f485d9b76a93afa81a02f.png
https://img-blog.csdnimg.cn/direct/7d91365d8b3a45aba258f4603c71dc5c.png#pic_center
二、AIGC必备工具
工具都帮各人整理好了,安装就可直接上手!
https://img-blog.csdnimg.cn/direct/01a2ea000b474fef83abfd18888b2e38.png
三、最新AIGC学习条记
当我学到一定底子,有自己的明白本事的时候,会去阅读一些先辈整理的册本大概手写的条记资料,这些条记详细记载了他们对一些技术点的明白,这些明白是比力独到,可以学到不一样的思路。
https://img-blog.csdnimg.cn/direct/9e597a6fae9344cea8f4a9caf30ecc55.png
https://img-blog.csdnimg.cn/direct/f2619de95125425d8a19b85ce2ff1894.png
四、AIGC视频教程合集
观看全面零底子学习视频,看视频学习是最快捷也是最有结果的方式,跟着视频中老师的思路,从底子到深入,还是很容易入门的。
https://img-blog.csdnimg.cn/direct/ce803d0289b84736b059293d696429b6.png
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
https://img-blog.csdnimg.cn/direct/373dd1f17ed14db1a2fa4dfec03c0559.png
https://i-blog.csdnimg.cn/direct/6dbda54df0fa4a6ca51d283c7606a836.jpeg
若有侵权,请联系删除

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 【AI绘画】一篇文章带你零底子玩转FLUX,最全面FLUX使用说明书,FLUX.1凭什