IT评测·应用市场-qidao123.com

标题: Linux下Comfyui+Flux安装及利用 [打印本页]
作者: 灌篮少年    时间: 昨天 22:54
标题: Linux下Comfyui+Flux安装及利用
1、anaconda下安装新的python情况

执行命令：
conda create -n comfyui python==3.9
安装完成后，通过以下命令进入该情况：
conda activate comfyui
2、下载ComfyUI，安装依赖

ComfyUI的github地址为：https://github.com/comfyanonymous/ComfyUI
  1. git clone https://github.com/comfyanonymous/ComfyUI.git
  3. cd ComfyUI
  5. pip install -r requirements.txt
复制代码
如果出现如下报错：
ImportError: /data/work/anaconda3/envs/comfyui/lib/python3.9/site-packages/torch/lib/../../nvidia/cusparse/lib/libcusparse.so.12: undefined symbol: __nvJitLinkComplete_12_4, version libnvJitLink.so.12
解决方案参考：解决libcusparse.so.12: undefined symbol: __nvJitLinkAddData_12_1, version libnvJitLink.so.12-CSDN博客
3、启动ComfyUI

python main.py --listen 0.0.0.0 --port 18188
4、模型安装位置


5、什么是Flux

Flux AI是由Black Forest Labs推出的一款最新的文本生成图像模型，这个团队是由从Stable Diffusion离开的原班人马，创立的全新用于AI画图的大模型。
Flux AI模型以其卓越的视觉质量、精确的提示词遵照、多样化的风格和复杂场景生成本领而著称。它包含三个版本：FLUX.1 [pro]、FLUX.1 [dev]和FLUX.1 [schnell]，分别针对不同的利用场景和需求。

这些模型在训练生成模型的方法上接纳了流匹配技能，这种方法不光通用性强，而且概念简便，特殊实用于包括扩散过程在内的各种情况。
flux的优点：
（1）画面更细节，效果更好
（2）图片文字支持更突出完备，输出更准确
（3）人物手部完备，符合现实，基本不会出错
（4）模型包含风格多，支持风格多样，不依赖额外的模型协助补充
（5）可忽略输入负面提示词，单靠正面提示词即可准确输出通过以上对比，flux之所以更强，是由于它的训练参数是比前两者更大，stable diffusion 3是最高8B的训练参数，约80亿，而flux 1的开始就是12B的训练参数，足足120亿，多了好几倍！单个模型的巨细就有23G巨细，可想而知，Flux强大是很有气力的。
6、Flux全版本说明

1）Flux官网首页：
https://blackforestlabs.ai/（须要魔法）
2）Flux官方（黑丛林）的三个版本：
Pro版本效果最好，但是闭源，API收费的。
Dev版本开源但是不可商用，至少须要24G显存运行。
下载地址：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main（须要魔法）
Schnell版本开源可商用
下载地址：https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main（须要魔法）
官方三个版本的在线体验地址（须要魔法）：
schnell ：https://replicate.com/black-forest-labs/flux-schnell
dev：https://replicate.com/black-forest-labs/flux-dev
pro：https://replicate.com/black-forest-labs/flux-pro
3）Checkpoints版本
Comfy Org-fp8 版本
Comfyui官方推出的 3 合一版本，大概17G，模型已经集成Clip，直接利用checkpoints加载器就可以利用
下载地址：https://huggingface.co/Comfy-Org/flux1-dev/tree/main
Flux-NF4 版本
集成了Clip模型，有分V1，V2 版本，推荐利用V2，而且须要共同插件利用
插件下载：https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4
模型下载：https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main
4）unet-Kijia-FP8 版
KJ大佬制作的11G左右的模型，也须要共同两个Clip模型和Vae利用
模型下载：https://huggingface.co/Kijai/flux-fp8/tree/main
5）量化模型-gguf版
最适合低显存的模型，也须要共同插件利用，有 11 个版本，推荐Q4，Q8 版本的
模型下载：https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main
6）低设置电脑版本推荐
首推NF4V2 版本，其次是gguf-Q4
7、Flux 低配版GGUF模型工作流部署

Flux 由于出图质量好、提示词还原度高、解决了AI绘画的坏手等诸多原因吸引了很多人的关注，但它超高的硬件设置同时也劝退了很多人。
幸亏 Flux 又出了一个 GGUF 版本。GGUF 版本的上风在于可以让6G显存的老显卡也能跑 Flux 了。虽然出图效果较 FP8 版本差了一点，但怎样 Flux 本身超强的出图质量，让 GGUF 最终的图片质量也一众模型中仍旧显得很强。
（1）安装GGUF插件

进入ComfyUI/custom_nodes目次下，输入如下命令：
git clone https://github.com/city96/ComfyUI-GGUF.git

通过pip install gguf安装插件依赖python文件。
安装完成后重启ComfyUI就可以了。
（2）安装Manager插件

https://github.com/ltdrdata/ComfyUI-Manager
同样放到custom_nodes目次下。
（3）安装模型

到哩布哩布AI（LiblibAI-哩布哩布AI - 中国领先的AI创作平台），搜索“F.1-dev/fp8/NF4/GGUF-所需模型文件包”，（F.1-dev/fp8/NF4/GGUF-所需模型文件包-Other-墨幽-LiblibAI）
1）下载clip模型
点击”clip-1",右边有下载按钮。
根据页面下方的提示将模型安装到精确的路径下面。

将下载的clip模型放到ComfyUI/models/clip目次下。

2）下载其他模型
接着下载 GGUF 模型，这个文件包比力大，有14G多，下载好后按页面下方的说明将文件安装到相应的文件夹里。
该文件比力大，假如公司网络限速的话，可以直接获取下载地址，在linux服务器上下载。
Chrome浏览器上获取下载源地址的方法：
首先点击那14G文件举行下载
然后在浏览器上输入chrome://net-export/，单击开始记录日志，隔个5秒钟左右关闭记录，查看日志，找到liblibai-online.liblib.cloud的链接地址。
最后在linux服务器上直接通过wget命令举行下载。
注意这个是zip包，不是模型文件！！！下载之后须要通过unzip命令解压缩后才能利用。
下载中的日志：

查看下载进度的方法：

各模型的巨细如下：

如果gguf模型想换成其他的，可参考：https://huggingface.co/city96/FLUX.1-dev-gguf/tree/main
将这些模型放在ComfyUI对应的目次下：
"ae.sft"放入comfyui目次下 models\vae
"clip-vit-large-patch14.bin"放入comfyui目次下 models\clip
"t5-v1_1-xxl-encoder-bf16.safetensors"放入comfyui目次下 models\clip
"flux1-dev-Q4_0.gguf"放入comfyui目次下 models\unet
 
模型都放置到对应的位置后，可以打开ComfyUI举行利用了。
8、ComfyUI的利用

（1）鼠标及快捷操纵

按住鼠标左键，可以拖动视图
按住鼠标右键，可以看到有可选的栏位。

双击屏幕的空白处，可以搜索节点。

【快捷键】
生成图片：Ctrl+Enter
框选节点：Ctrl+鼠标左键
批量移动：Shift+鼠标左键
（2）概念表明

CLIP：contrastive Language-Image Pre-training。OpenAI发布的一款多模态预训练神经网络模型。作用：明白我们输入文字的意思。
Latent：潜空间。它是扩散模型图像内部的格式，如果将图像作为输入，则须要通过VAE编码将其转化为Latent数据。最后输出时，也须要通过VAE解码转化为像素格式。

上面的宽度/高度代表了最终生成图片的巨细。
CFG：提示词引导系数。CFG值越高，图像与提示词越符合；CFG值越低，图像与提示词越无关。过高或过低的CFG都会给图片带来不好的影响，所以CFG推荐利用5~8。
VAE：variational auto encoder，变分自编码器。是一种深度学习模型，主要用于无监督学习使命，在图形生成领域，VAE联合了神经网络和概率图模型的特点。在ComfyUI中，将潜空间图像编码成像素空间图像，或是将像素空间图像编码成潜空间图像。
扩散模型内在运行原理：

输入完提示词之后，文本编码器的CLIP模型会将提示词转化为特性向量，再由VAE编码器将这些特性向量传入到潜空间内。这些特性向量在潜空间内不断地降噪，最后再由VAE解码器将这些颠末降噪之后的特性向量解码成由各个像素所组成的图片。
9、ComfyUI设置Flux的工作流示例

cfg值须要设置为1.0，我设置为5以上时完全无效果，这个不知道为啥有待研究！！
提示词：
A haute couture gown made of red bell pepper segments and cherry tomatoes is worn by a graceful model on the steps of an ancient Roman amphitheater. The dress’s vibrant red hues contrast with the weathered stone, while the glossy texture of the vegetables adds a unique sheen to the ensemble. The artistic combination of the vegetables creates a bold statement of innovation and style.
（1）基于GGUF模型的示例


出图效果：

（2）基于NF4模型的示例



本文参考：【ComfyUI教程】AI绘画，Flux 低配版GGUF模型工作流部署_flux.gguf-CSDN博客
【B站最全ComFyui教程】ComFyui工作流教程 从零基础入门到精通ComFyui教程 AI绘画商业变现_哔哩哔哩_bilibili


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) Powered by Discuz! X3.4