【AI绘画】FLUX模型,或许这几点你还未曾都了解,附常用模型下载包 ...

打印 上一主题 下一主题

主题 1841|帖子 1841|积分 5523

各人好,我是写编程的木木。
当我们还在沉醉在惊叹和体验快手的Kolors模型之时,SD原开发团队组成的“黑丛林”出的FLUX模型就袭来了。我们不得不感叹FLUX模型给我们带来的冲击,模型所绘制的画面质感、精细度简直让我们面前一亮,之前发布的SD3开源模型给我们带来的些许失落感顿时烟消云散。由于FLUX的出现,弥补了我们对SD3的些许扫兴。
接下来,我们借此文跟各人交流下这个近期备受追捧的开源绘画模型FLUX1.0。
模型介绍及下载存放
在我们利用FLUX开源模型之前,需要先将FLUX这个体系的相应生图模型相干的UNET、CLIP和VAE模块用到的模型做下载存放备用。这些我都已经打包好放在文末了,需要的小搭档可以自取,无偿分享。
UNET
与我们之前文章中介绍的“模型体系生图所用的模块”中提到的三个模型模块一样,在FLUX的生图流程中,也需要调用到:UNET、CLIP和VAE这三个模块的模型。我们抛开只能通过API调用的Flux-pro版的不说,就跟各人聊聊当地摆设的模型利用。
我们需要先下载好flux的主模型,这里我们重要介绍六种规格的模型供各人尝试,分别是:
● 满血版的flux1-dev.sft,23.8 GB(算力要求高,出图用时长)
  1. https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
复制代码
● 快速出图版的flux1-schnell.sft,23.8 GB(4步即可出图,质感也只略逊色于满血版)
  1. https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
复制代码
● fp8版的flux1-dev-fp8.safetensors,11.9GB(对显存要求不那么高的,发起16G以上,出图相对满血版的更快)
  1. https://huggingface.co/Kijai/flux-fp8/tree/main
复制代码
● 在Kijai大佬的这个剪枝版的下载链接中,还能下载到flux1-schnell-fp8.safetensors,这个模型,也是官方推出的快速出图版的剪枝模型,也是11.9G。
上述四种模型下载后存放在ComfyUI目录下:
ComfyUI\models\unet\FLUX

● 此外另有Comfy Org版dev模型:
  1. https://huggingface.co/Comfy-Org/flux1-dev/tree/main
复制代码
● Comfy Org版schnell模型:
  1. https://huggingface.co/Comfy-Org/flux1-schnell/tree/main
复制代码
其模型下载后,存放在ComfyUI\models\checkpoints目录中,被视为平常的基础模型来调用,它的模型里包含了clip和vae。
对于显存更小的(8G)同砚,可以搜刮“gguf”这个版本的FLUX模型,对显存算力的需求会更低一点,有兴趣的朋友可以自行尝试。
  1. Flux-dev-gguf:https://huggingface.co/city96/FLUX.1-dev-gguf``GGUF节点存储库:https://github.com/city96/ComfyUI-GGUF
复制代码
CLIP
将用于CLIP加载器所要调用的模型下载后存放在目录:
ComfyUI\models\clip
下载地址:
  1. https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
复制代码

VAE
至于FLUX模型,其生态用到的VAE模型ae.sft: 335 MB,下载地址,在官方主模型下载链接中也提供了下载,下载后存放路径为:
ComfyUI\models\vae
  1. https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
复制代码

FLUX工作流利用要点
FLUX模型,取消了反向提示词的输入,在搭建工作流的时候有需要用到也只需加一个空的文本编辑器节点就好。
此外,CFG值也默认都为1.0即可,如果用到了K采样节点搭建工作流时。
加载器的选择
在FLUX的工作流中利用满血版或半血版,区别在于模型的选择和CLIP加载器的选择,如果你的ComfyUI中没有相应的可选想或节点,那么大概率是你需要更新你的ComfyUI本体了。
半血版,则是将主模型改为fp8的,权重类型为fp8的,clip1也改为fp8的t5模型,出图快,效果不会逊色多少于满血版的。
满血版,则是将主模型改为dev的,权重类型为默认的,clip1改为fp16的t5模型。

引导值
这个引导值(guidance),各人可能不太注意,这个值对于画面画风是有影响的。也就是模型的艺术表现力方面,默认3.5即可;值越小则艺术感越强,用于风格非写实时用(参考值1.5~2);值越大,则细节越多,出现更锐化清晰些(参考值4.5)。各人在差别画风绘制的时候可以加以尝试,锁定种子值后,调整这个值,自行体验。


采样器与调度器的选择组合
这里我们借用一些博主测试后的体验小结,跟各人分享保举利用五种采样器与调度器的搭配组合:
ipdmn+simple
uni_pc_bh2+simple
euler+beta
euler+simple
dpmpp+sgm_uniform
步数
对于出图的步数,我们也做过尝试与比对,更多的步数时间会更多但细节表现也会更好些。我们可以根据需要,适当提高。
常规模型如flux1-dev.sft和flux1-dev-fp8.safetensors的比对

对于快速出图模型flux1-schnell.sft,官方默认是4步,但不妨碍我们尝试更多步。

感兴趣的小搭档,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,详细看这里。


AIGC技能的未来发展前景广阔,随着人工智能技能的不绝发展,AIGC技能也将不绝提高。未来,AIGC技能将在游戏和盘算范畴得到更广泛的应用,使游戏和盘算体系具有更高效、更智能、更灵活的特性。同时,AIGC技能也将与人工智能技能紧密联合,在更多的范畴得到广泛应用,对程序员来说影响至关重要。未来,AIGC技能将继续得到提高,同时也将与人工智能技能紧密联合,在更多的范畴得到广泛应用。


一、AIGC全部方向的学习路线
AIGC全部方向的技能点做的整理,形成各个范畴的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证本身学得较为全面。


二、AIGC必备工具
工具都帮各人整理好了,安装就可直接上手!

三、最新AIGC学习笔记
当我学到一定基础,有本身的明白能力的时候,会去阅读一些先辈整理的册本大概手写的笔记资料,这些笔记详细记载了他们对一些技能点的明白,这些明白是比力独到,可以学到不一样的思路。


四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很轻易入门的。

五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才气将本身的所学运用到现实当中去,这时候可以搞点实战案例来学习。


如有侵权,请接洽删除

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

郭卫东

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表