免费替换Midjourney！FLUX.1利用方法大全，支持ComfyUI

一：Flux.1概述

1.1 它是什么

如果你想直接检察利用教程，MeoAI发起你直接跳到第四章：4种利用方法教程。
Flux.1是由Black Forest Labs开辟的一款开源AI图像天生模子。这个模子继承了Stable Diffusion的创新精力和技能上风，由Stable Diffusion原班人马和多位Stability AI前研究员打造，致力于研发优质多模态模子并开源。该模子拥有12B参数，是迄今为止最大的文生图模子之一。Flux.1的定名寓意着其在图像天生范畴的活动性和创新性，旨在为用户带泉源源不绝的创意和灵感。
1.2 版本先容

Flux.1包罗三个差别的版本，以满意差别用户的需求：

• FLUX.1 [pro]：面向专业用户，提供最高质量的图像天生服务。
  
• FLUX.1 [dev]：面向开辟者和非贸易用途，是一个开源的、颠末引导蒸馏的模子。
  
• FLUX.1 [schnell]：为快速天生和当地开辟筹划，提供了最快的图像天生速率。
  

NameHuggingFace repoLicensemd5sumFLUX.1 [schnell]https://huggingface.co/black-forest-labs/FLUX.1-schnellapache-2.0a9e1e277b9b16add186f38e3f5a34044FLUX.1 [dev]https://huggingface.co/black-forest-labs/FLUX.1-devFLUX.1-dev Non-Commercial Licensea6bd8c16dfc23db6aee2f63a2eba78c0FLUX.1 [pro]Only available in our API.1.3 社区与支持

Flux.1的开辟团队非常器重与技能社区的互动和相助。通过GitHub等平台，Flux.1的源代码和模子权重对全部感爱好的研究者和开辟者开放，鼓励社区成员到场到模子的改进和创新中来。

• 项目官网：Black Forest Labs - Frontier AI Lab
  
• 在线试用所在：
  
  
  
  • black-forest-labs/flux-pro – Run with an API on Replicate
    
  • black-forest-labs/flux-dev – Run with an API on Replicate
    
  • black-forest-labs/flux-schnell – Run with an API on Replicate
    
  
  
• GitHub堆栈：GitHub - black-forest-labs/flux: Official inference repo for FLUX.1 models
  
• HuggingFace模子库：https://huggingface.co/black-forest-labs/FLUX.1-schnell
  

二：核心技能

2.1 多模态架构

多模态架构是Flux.1的核心技能之一，它答应模子同时处理惩罚多种范例的输入数据，如文本形貌、图像草图等，从而天生与输入信息高度划一的图像。这种架构的核心在于怎样有用地融合差别模态的信息，以进步天生图像的正确性和多样性。
2.2 并行扩散Transformer模块

Flux.1接纳了基于Transformer的并行扩散机制，这是一种先辈的神经网络组件，可以或许高效地处理惩罚序列数据。并行扩散Transformer模块通过并行处理惩罚技能，进步了模子对信息的编码息争码本领，从而加快了图像天生的速率，并进步了天生图像的质量。
2.3 流匹配训练方法

流匹配训练方法是Flux.1的另一项创新，它通过优化模子的训练过程，进步了天生图像的质量和划一性。与传统的训练方法相比，流匹配训练方法可以或许更有用地利用数据，镌汰训练时间，并进步模子的泛化本领。
2.4 旋转位置嵌入

Flux.1引入了旋转位置嵌入技能，这是一种特别的编码方式，可以增强模子对图像中差别位置特性的辨认本领。这种技能使得模子可以或许更好地明确和天生具有复杂空间关系的图像，如人体姿态或物体间的相对位置。
2.5 并行留意力层

并行留意力层是Flux.1中的另一个关键技能，它答应模子同时关注输入序列中的多个部分。这种机制有助于捕获长隔断依靠关系，进步天生图像的正确性和细节表现。
2.6 图像质量和输出多样性

Flux.1在图像质量和输出多样性方面表现出色。它可以或许天生高分辨率、高清晰度的图像，并支持多种宽高比和分辨率选项。别的，Flux.1还可以或许根据用户的文本提示天生多样化的图像，满意差别用户的需求。
2.7 性能与服从

Flux.1在保持高性能的同时，也留意模子的运行服从。通过优化模子布局和训练方法，Flux.1可以或许在差别的硬件平台上高效运行，纵然是在资源受限的环境中也能天生高质量的图像。
三：Flux.1与同范例对比分析与利用体验

3.1 Flux.1的技能上风

• 笔墨天生：Flux.1在处理惩罚包罗重复或相似字母的文本时表现出色，可以或许天生清晰、正确的笔墨内容，这在图像和视频天生中尤为关键。
  
• 复杂指令遵照：Flux.1可以或许明确和实行复杂的构图指令，天生与形貌高度划一的图像。
  
• 人手刻画：在多模态天生模子中，人手的正确天生不绝是个寻衅，Flux.1在这方面取得了显着进步。
  

3.2 实际利用案例分析

• FLUX.1 [pro] 天生示例：纵然是天生包罗大段笔墨和多个人物的图像，FLUX.1 [pro] 也能保持字符和人手细节的正确性，克制了常见错误。
  
• 天生速率对比：利用雷同的提示词在三款模子上举行测试，FLUX.1 [pro]、[dev] 和 [schnell] 的用时分别为17.5秒、12.2秒和1.5秒，表现出差别模子的性能差别。
  

3.3 性能与代价对比

• 性能精良性：Flux.1在视觉质量、图像细节和输出多样性等方面显现出精良的性能。
  
• 代价模子：Flux.1的API服务按图像张数定价，代价分别为每张图片0.055美元、0.03美元和0.003美元，为用户提供了差别价位的选择。
  

3.4 与其他模子的对比

• 竞争力分析：在与Midjourney v6.0、DALL・E 3等热门模子的对比中，Flux.1 [pro] 和 [dev] 在多项测评标准中均表现出逾越的性能。
  
• 轻量级模子的竞争力：FLUX.1 [schnell] 作为轻量级模子，在速率和本钱效益上具有显着上风，也逾越了Midjourney v6.0、DALL・E 3 等更大的模子。
  

3.5 用户体验

• 利用便捷性：Flux.1在Replicate平台上的利用体验轻便直观，用户可以通过简朴的界面快速天生图像。
  
• 定制化和机动性：Flux.1提供了丰富的定制选项，答应用户根据需求调解图像天生的各个方面。
  

四：4种利用方法教程

4.1 直接访问Replicate平台

用户可以直接访问Replicate平台上的FLUX.1 Pro、FLUX.1 Dev和FLUX.1 Schnell。

• FLUX.1 Pro提供开始辈的图像天生服务，具有顶级的即时跟踪、视觉质量、图像细节和输出多样性。
  
• FLUX.1 Dev面向非贸易应用，是一个更高效的版本，得当个人和开辟者利用。
  
• FLUX.1 Schnell是最快的模子，专为当地开辟和个人利用而筹划
  

输入参数先容（ 以flux-dev为例，Pro版本收费）：

• prompt：用户须要提供文本提示（Text prompt），这是天生图像的根本。
  
• Aspect ratio：可以设置图像的宽高比（Aspect ratio），默以为“1:1”。
  
• guidance：控制文本提示与图像质量/多样性之间的平衡。较高的值会使得输出更贴近提示，但大概会低沉团体图像质量。较低的值答应更多的创造性自由，但大概会产生与提示不太相干的效果。默认值：3.5
  
• output_format（输特别式）：包罗webp，jpg，png三种格式。
  
• output_quality（输出质量）：（最小值：0，最大值：100）生存输出图像时的质量，范围从0到100。100是最佳质量，0是最低质量。对于.png格式的输出不实用。默认值：80
  

4.2 在线API服务

FLUX.1提供了API服务，用户可以通过API按图像张数付费利用。三款模子的代价依次为每张图片0.055美元、0.03美元、0.003美元（约合人民币0.4元、0.22元、0.022元）。API文档所在：
API文档所在：http://docs.bfl.ml/
4.3 在斲丧级显卡运行

要利用FLUX.1模子和🧨 diffusers Python库，起首须要安装或升级diffusers库：

1. pip install git+https://github.com/huggingface/diffusers.git

复制代码

然后，您可以利用FluxPipeline来运行模子。

1. import torch
2. from diffusers import FluxPipeline
4. pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell",
5.                                     torch_dtype=torch.bfloat16,
6.                                     revision="refs/pr/1",
7.                                    )
8. # 减少显存使用的方法如下
9. # pipe.vae.enable_tiling()
10. # pipe.vae.enable_slicing()
11. pipe.enable_sequential_cpu_offload() #save some VRAM by offloading the model to CPU. Remove this if you have enough GPU power
12. # pipe.enable_xformers_memory_efficient_attention()
14. prompt = "A cat holding a sign that says hello world"
15. image = pipe(
16.     prompt,
17.     guidance_scale=0.0,
18.     output_type="pil",
19.     num_inference_steps=4,
20.     max_sequence_length=256,
21.     generator=torch.Generator("cpu").manual_seed(0)
22. ).images[0]
23. image.save("flux-schnell.png")

复制代码

4.4 ComfyUI

ComfyUI 也灵敏支持 FLUX.1 系列模子，详细利用请阅读原文，如下：
FLUX.1利用方法大全

https://www.meoai.net/flux-1.html

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金