ToB企服应用市场:ToB评测及商务社交产业平台

标题: AI绘画工具Stable Diffusion+ComfyUI的设置 [打印本页]

作者: 泉缘泉 时间: 2024-8-27 10:00
标题: AI绘画工具Stable Diffusion+ComfyUI的设置

ComfyUI 是一个基于图形用户界面的开源工具，用于搭建和运行复杂的图像生成和处理工作流。它主要围绕使用 Stable Diffusion 模子来生成高质量的图像。这种工具通常答应用户通过拖放不同的模块或节点，定义数据处理和生成流程，然后通过这些流程生成图像。
ComfyUI 的焦点功能包罗

图形化工作流设计：用户可以通过毗连不同的模块或节点（比方，模子加载、图像处理、生成等）来构建自定义的图像生成流程。
支持多种模子和处理方法：ComfyUI 支持各种深度学习模子，特别是那些基于扩散模子（如 Stable Diffusion）的图像生成模子。
可视化调试和调整：用户可以在工作流运行时可视化地检察每个步骤的输出，并进行及时调整。
开源与可扩展：作为开源工具，用户可以根据须要自定义和扩展 ComfyUI，以顺应特定的应用需求。

使用场景

艺术创作：ComfyUI 是许多数字艺术家的工具，可以用来创建独特的图像、插图、海报等。它答应你实行不同的模子、风格和图像处理方法，以实现创意表达。
图像生成研究：对于研究者而言，ComfyUI 提供了一个友好的平台来测试和验证不同的图像生成模子和算法。在图形化的环境中调整参数和检察效果，可以更直观地理解模子举动。
游戏与动画设计：ComfyUI 也可以用于游戏开发或动画制作中的图像生成部分。通过自定义生成管道，你可以创建各种游戏场景或动画配景图像。

本文演示设置：GPU：NVIDIA GeForce RTX 2060 (6 GB)，这设置也能跑起来，速度还行。
须要安装 python，cuda
1. windows下 python安装

1.1 下载 Python

访问 Python 官方网站，下载得当你系统的 Python 安装包。发起使用 Python 3.9 或 3.10 版本，由于这些版本通常与许多深度学习库兼容性最好。

1.2 安装 Python

运行下载的安装包，在安装领导中务必勾选 “Add Python to PATH” 选项，以便在命令行中可以直接使用 Python。
完成安装后，可以打开命令行，输入以下命令来验证是否安装成功：
1. 1python --version
复制代码
它应该输出你安装的 Python 版本号。

2. 安装 CUDA

CUDA 是 NVIDIA 开发的一种并行计算平台和编程模子，它能够利用 GPU 加速深度学习模子的计算。假如你计划使用 GPU 加速，那么须要安装 CUDA。
2.1 检查 GPU 支持

首先，确保你的计算机有 NVIDIA GPU，并且支持 CUDA。你可以在 NVIDIA 的 CUDA GPUs 支持列表中确认你的 GPU 是否支持。

2.2 下载 CUDA Toolkit

访问 NVIDIA CUDA Toolkit 下载页面，选择与你的操作系统和硬件匹配的 CUDA Toolkit 版本（通常发起安装最新稳定版）。

2.3 安装 CUDA Toolkit

根据下载页面上的说明安装 CUDA Toolkit。通常包罗安装 CUDA 本身以及 NVIDIA 驱动程序。

完成安装后，可以通过运行以下命令来验证安装：
1. 1nvcc --version
复制代码
它应该输出 CUDA 版本信息。

3. 安装 Python 库（比方 PyTorch）

安装好 Python 和 CUDA 后，你须要安装 PyTorch 等深度学习框架来运行模子。你可以使用以下命令安装带有 CUDA 支持的 PyTorch：

1pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

复制代码

这里 cu118 是指 CUDA 11.8 的版本，你可以根据你安装的 CUDA 版本调整。
4. 安装 ComfyUI

最后，在虚拟环境中，克隆 ComfyUI 的代码库并安装所需的依靠项：

1git clone https://github.com/comfyanonymous/ComfyUI.git
2cd ComfyUI

复制代码

ComfyUI 安装完成后，默认环境下是没有预装的模子和工作流的。你须要手动下载和导入你想使用的模子，并且可以从社区或者本身创建工作流。以下是如何获取和导入模子及工作流的步骤：
5. 获取模子

5.1 下载预训练模子

通常要使用像 Stable Diffusion 这样的预训练模子。你可以从以下几个地方下载这些模子：

Hugging Face Model Hub：许多深度学习模子，包罗 Stable Diffusion，都会在 Hugging Face 上托管。你可以直接从Hugging Face下载模子权重文件（通常是 .ckpt 或者 .safetensors 格式）。
演示在Hugging Face官网下载 stable-diffusion-3-medium模子, 下载如下图的safetensors文件，可以把四个都下载下来。

image-20240809130210263
社区资源：在 ComfyUI 的 GitHub 页面或相关社区（如 Discord 群组或 Reddit 论坛）中，经常有人会分享已经适配 ComfyUI 的模子文件。

5.2 导入模子

下载完成后，你须要将模子文件放到 ComfyUI 的模子目录中，以便在工作流中加载使用。
假设你下载了一个 Stable Diffusion 模子文件 model.ckpt，你可以按照以下步骤操作：

创建或确认 ComfyUI 安装目录下是否有一个ComfyUI\models\checkpoints 目录。
将 .safetensors 文件放入这个目录。
在 ComfyUI 中，加载模子时，你应该能在模子加载节点中选择刚才导入的模子。

6. 获取和导入工作流

6.1 下载或创建工作流

假如你想使用现成的工作流，你可以从以下几个地方获取：

GitHub：许多用户会在 GitHub 上分享他们创建的 ComfyUI 工作流设置文件（通常是 .json 格式）。
社区分享：在 ComfyUI 的用户社区中，用户们大概会分享他们的工作流。

你也可以自行创建工作流，并在 ComfyUI 中生存为 JSON 文件。
这里演示自带的三个工作流，在comfy_example_workflows目录中有三个工作流，下载下来。

6.2 导入工作流

假如你已经下载了一个工作流文件，可以按照以下步骤导入：

打开 ComfyUI 的界面。
在菜单栏中找到“导入”或“加载工作流”选项（详细名称大概因版本而异），选择你下载的工作流文件。

7.安装comfyUI插件

**插件1：**管理器：https://github.com/ltdrdata/ComfyUI-Manager
插件2： 汉化包：https://github.com/AIGODLIKE/AIGODLIKE-COMFYUI-TRANSLATION
下载后解压并修改文件夹名称：（删掉文件夹反面的-main，github自带的main）
并且将这两个文件夹直接放到ComfyUI/custom_nodes文件夹中。

8. 启动comfyUI，

将模子和工作放逐入到comfyUI目录的相应位置后，就可以启动comfyUI了。

双击bat文件即可启动。
设置中文管理器

安装缺失节点

安装模子4x-ultraSharp

要重启一下界面，点击重启按钮
9. 测试

打开面板之后，先选择一个workflow，我们选basic的一个试试

然后再Load Models中选择下载的模子：
留意，然后修改clip毗连，直接从模子的clip处毗连到clip文本编辑处，如下图两条黄色的线：

然后修改提示词，或者使用默认的提示词。
然后点击实行队列或者添加提示词队列，就能出图了：

至此，就大功告成。
其他流程（workflow）

workflow galary：https://openart.ai/workflows/all
这里可以下载一些其他流程，下载后放到custom_nodes文件夹中，就能导入了。
其他的工具

1. DiffusionBee

概述: 专为 macOS 用户设计的简化版 Stable Diffusion 应用，易于安装和使用。
功能: 支持生成、模子管理、参数调整等基础功能，特别得当不乐意处理复杂安装过程的用户。
安装和使用: 可以直接下载并安装，无需复杂设置。
**地址：**https://diffusionbee.com/

2. DreamStudio (by Stability AI)

概述: 由 Stable Diffusion 背后的团队开发的官方前端，提供了一个基于 Web 的图像生成平台。
功能: 支持图像生成、文本到图像的转换、调整生成参数等。它更偏重于云端运行，得当没有强盛本地硬件的用户。
使用: 注册一个账户后，可以直接在浏览器中使用。

3. Automatic1111 WebUI

概述: 这是最流行的 Stable Diffusion 前端之一，提供了丰富的功能，包罗图像生成、模子管理、扩展和插件支持等。
功能: 可以轻松切换不同的 Stable Diffusion 模子、使用预设、调整推理参数，支持大量的附加功能如 Inpainting、Outpainting、文本嵌入、Lora 模子等。
安装和使用: 可以通过 GitHub 安装并运行在本地计算机上。

4. StableStudio

概述: 由 Stability AI 推出的开源工具，可以与 Stable Diffusion 及其他模子进行集成和管理。
功能: 机动的插件系统、可扩展的用户界面、支持本地和云端摆设等。得当开发者和高级用户。
使用: 通过 GitHub 获取源代码进行本地摆设，或使用官方提供的云服务。
**地址：**https://github.com/Stability-AI/StableStudio

Stable Diffusion的不同用户界面（如Stable-Diffusion Web UI、ComfyUI等）提供了不同的功能和使用方式，每一个模子或设置都有其特定的workflow或设置要求。假如随意使用不兼容的workflow或设置，大概会导致错误或效果不如预期。
详细来说：

模子和设置的兼容性：不同的模子（如不同的版本或经过微调的模子）大概须要特定的设置和workflow来发挥其最佳效果。比方，一些模子大概须要特定的输入格式、预处理步骤或参数设置。
Workflow的兼容性：在一些UI工具（如ComfyUI）中，workflow大概包含多个步骤和模块，每个模块大概对应模子的特定输入、输出或处理方式。假如你随意更改这些模块或使用与模子不兼容的workflow，大概会导致运行错误或生成的图像质量不佳。
错误处理：大多数UI工具在碰到不兼容的workflow时，通常会抛堕落误提示。这些提示可以帮助你识别问题地点，并进行调整。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细先容了选择ComfyUI的来由、其优缺点、下载安装方法、模子与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅缘故原由，本文精选几个章节，详细版点击下方卡片免费领取