AI绘画工具Stable Diffusion+ComfyUI的设置

ComfyUI 是一个基于图形用户界面的开源工具，用于搭建和运行复杂的图像生成和处理工作流。它主要围绕使用 Stable Diffusion 模子来生成高质量的图像。这种工具通常答应用户通过拖放不同的模块或节点，定义数据处理和生成流程，然后通过这些流程生成图像。
ComfyUI 的焦点功能包罗

• 图形化工作流设计：用户可以通过毗连不同的模块或节点（比方，模子加载、图像处理、生成等）来构建自定义的图像生成流程。
  
• 支持多种模子和处理方法：ComfyUI 支持各种深度学习模子，特别是那些基于扩散模子（如 Stable Diffusion）的图像生成模子。
  
• 可视化调试和调整：用户可以在工作流运行时可视化地检察每个步骤的输出，并进行及时调整。
  
• 开源与可扩展：作为开源工具，用户可以根据须要自定义和扩展 ComfyUI，以顺应特定的应用需求。
  

使用场景

• 艺术创作：ComfyUI 是许多数字艺术家的工具，可以用来创建独特的图像、插图、海报等。它答应你实行不同的模子、风格和图像处理方法，以实现创意表达。
  
• 图像生成研究：对于研究者而言，ComfyUI 提供了一个友好的平台来测试和验证不同的图像生成模子和算法。在图形化的环境中调整参数和检察效果，可以更直观地理解模子举动。
  
• 游戏与动画设计：ComfyUI 也可以用于游戏开发或动画制作中的图像生成部分。通过自定义生成管道，你可以创建各种游戏场景或动画配景图像。
  

本文演示设置：GPU：NVIDIA GeForce RTX 2060 (6 GB)， 这设置也能跑起来，速度还行。
须要安装 python，cuda
1. windows下 python安装

1.1 下载 Python

• 访问 Python 官方网站，下载得当你系统的 Python 安装包。发起使用 Python 3.9 或 3.10 版本，由于这些版本通常与许多深度学习库兼容性最好。
  

1.2 安装 Python

• 运行下载的安装包，在安装领导中务必勾选 “Add Python to PATH” 选项，以便在命令行中可以直接使用 Python。
  
• 完成安装后，可以打开命令行，输入以下命令来验证是否安装成功：
  
  1. 1python --version  

  复制代码
  它应该输出你安装的 Python 版本号。
  

2. 安装 CUDA

CUDA 是 NVIDIA 开发的一种并行计算平台和编程模子，它能够利用 GPU 加速深度学习模子的计算。假如你计划使用 GPU 加速，那么须要安装 CUDA。
2.1 检查 GPU 支持

• 首先，确保你的计算机有 NVIDIA GPU，并且支持 CUDA。你可以在 NVIDIA 的 CUDA GPUs 支持列表 中确认你的 GPU 是否支持。
  

2.2 下载 CUDA Toolkit

• 访问 NVIDIA CUDA Toolkit 下载页面，选择与你的操作系统和硬件匹配的 CUDA Toolkit 版本（通常发起安装最新稳定版）。
  

2.3 安装 CUDA Toolkit

根据下载页面上的说明安装 CUDA Toolkit。通常包罗安装 CUDA 本身以及 NVIDIA 驱动程序。

• 完成安装后，可以通过运行以下命令来验证安装：
  
  1. 1nvcc --version  

  复制代码
  它应该输出 CUDA 版本信息。
  

3. 安装 Python 库（比方 PyTorch）

安装好 Python 和 CUDA 后，你须要安装 PyTorch 等深度学习框架来运行模子。你可以使用以下命令安装带有 CUDA 支持的 PyTorch：

1. 1pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118  

复制代码

这里 cu118 是指 CUDA 11.8 的版本，你可以根据你安装的 CUDA 版本调整。
4. 安装 ComfyUI

最后，在虚拟环境中，克隆 ComfyUI 的代码库并安装所需的依靠项：

1. 1git clone https://github.com/comfyanonymous/ComfyUI.git  
2. 2cd ComfyUI  

复制代码

ComfyUI 安装完成后，默认环境下是没有预装的模子和工作流的。你须要手动下载和导入你想使用的模子，并且可以从社区或者本身创建工作流。以下是如何获取和导入模子及工作流的步骤：
5. 获取模子

5.1 下载预训练模子

通常要使用像 Stable Diffusion 这样的预训练模子。你可以从以下几个地方下载这些模子：

• Hugging Face Model Hub：许多深度学习模子，包罗 Stable Diffusion，都会在 Hugging Face 上托管。你可以直接从Hugging Face下载模子权重文件（通常是 .ckpt 或者 .safetensors 格式）。
  
• 演示在Hugging Face官网下载 stable-diffusion-3-medium模子, 下载如下图的safetensors文件，可以把四个都下载下来。
  
  
  
  image-20240809130210263
  
• 社区资源：在 ComfyUI 的 GitHub 页面或相关社区（如 Discord 群组或 Reddit 论坛）中，经常有人会分享已经适配 ComfyUI 的模子文件。
  

5.2 导入模子

下载完成后，你须要将模子文件放到 ComfyUI 的模子目录中，以便在工作流中加载使用。
假设你下载了一个 Stable Diffusion 模子文件 model.ckpt，你可以按照以下步骤操作：

• 创建或确认 ComfyUI 安装目录下是否有一个ComfyUI\models\checkpoints 目录。
  
• 将 .safetensors 文件放入这个目录。
  
• 在 ComfyUI 中，加载模子时，你应该能在模子加载节点中选择刚才导入的模子。
  

6. 获取和导入工作流

6.1 下载或创建工作流

假如你想使用现成的工作流，你可以从以下几个地方获取：

• GitHub：许多用户会在 GitHub 上分享他们创建的 ComfyUI 工作流设置文件（通常是 .json 格式）。
  
• 社区分享：在 ComfyUI 的用户社区中，用户们大概会分享他们的工作流。
  

你也可以自行创建工作流，并在 ComfyUI 中生存为 JSON 文件。
这里演示自带的三个工作流，在comfy_example_workflows目录中有三个工作流，下载下来。

6.2 导入工作流

假如你已经下载了一个工作流文件，可以按照以下步骤导入：

• 打开 ComfyUI 的界面。
  
• 在菜单栏中找到“导入”或“加载工作流”选项（详细名称大概因版本而异），选择你下载的工作流文件。
  

7.安装comfyUI插件

**插件1：**管理器：https://github.com/ltdrdata/ComfyUI-Manager
插件2： 汉化包：https://github.com/AIGODLIKE/AIGODLIKE-COMFYUI-TRANSLATION
下载后解压并修改文件夹名称：（删掉文件夹反面的-main，github自带的main）
并且将这两个文件夹直接放到ComfyUI/custom_nodes文件夹中。

8. 启动comfyUI，

将模子和工作放逐入到comfyUI目录的相应位置后，就可以启动comfyUI了。

双击bat文件即可启动。
设置中文管理器

安装缺失节点

安装模子4x-ultraSharp

要重启一下界面，点击重启按钮
9. 测试

打开面板之后，先选择一个workflow，我们选basic的一个试试

然后再Load Models中选择下载的模子：
留意，然后修改clip毗连，直接从模子的clip处毗连到clip文本编辑处，如下图两条黄色的线：

然后修改提示词，或者使用默认的提示词。
然后点击实行队列或者添加提示词队列，就能出图了：

至此，就大功告成。
其他流程（workflow）

workflow galary：https://openart.ai/workflows/all
这里可以下载一些其他流程，下载后放到custom_nodes文件夹中，就能导入了。
其他的工具

1. DiffusionBee

• 概述: 专为 macOS 用户设计的简化版 Stable Diffusion 应用，易于安装和使用。
  
• 功能: 支持生成、模子管理、参数调整等基础功能，特别得当不乐意处理复杂安装过程的用户。
  
• 安装和使用: 可以直接下载并安装，无需复杂设置。
  
• **地址：**https://diffusionbee.com/
  

2. DreamStudio (by Stability AI)

• 概述: 由 Stable Diffusion 背后的团队开发的官方前端，提供了一个基于 Web 的图像生成平台。
  
• 功能: 支持图像生成、文本到图像的转换、调整生成参数等。它更偏重于云端运行，得当没有强盛本地硬件的用户。
  
• 使用: 注册一个账户后，可以直接在浏览器中使用。
  

3. Automatic1111 WebUI

• 概述: 这是最流行的 Stable Diffusion 前端之一，提供了丰富的功能，包罗图像生成、模子管理、扩展和插件支持等。
  
• 功能: 可以轻松切换不同的 Stable Diffusion 模子、使用预设、调整推理参数，支持大量的附加功能如 Inpainting、Outpainting、文本嵌入、Lora 模子等。
  
• 安装和使用: 可以通过 GitHub 安装并运行在本地计算机上。
  

4. StableStudio

• 概述: 由 Stability AI 推出的开源工具，可以与 Stable Diffusion 及其他模子进行集成和管理。
  
• 功能: 机动的插件系统、可扩展的用户界面、支持本地和云端摆设等。得当开发者和高级用户。
  
• 使用: 通过 GitHub 获取源代码进行本地摆设，或使用官方提供的云服务。
  
• **地址：**https://github.com/Stability-AI/StableStudio
  

Stable Diffusion的不同用户界面（如Stable-Diffusion Web UI、ComfyUI等）提供了不同的功能和使用方式，每一个模子或设置都有其特定的workflow或设置要求。假如随意使用不兼容的workflow或设置，大概会导致错误或效果不如预期。
详细来说：

• 模子和设置的兼容性：不同的模子（如不同的版本或经过微调的模子）大概须要特定的设置和workflow来发挥其最佳效果。比方，一些模子大概须要特定的输入格式、预处理步骤或参数设置。
  
• Workflow的兼容性：在一些UI工具（如ComfyUI）中，workflow大概包含多个步骤和模块，每个模块大概对应模子的特定输入、输出或处理方式。假如你随意更改这些模块或使用与模子不兼容的workflow，大概会导致运行错误或生成的图像质量不佳。
  
• 错误处理：大多数UI工具在碰到不兼容的workflow时，通常会抛堕落误提示。这些提示可以帮助你识别问题地点，并进行调整。
  

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细先容了选择ComfyUI的来由、其优缺点、下载安装方法、模子与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
   由于篇幅缘故原由，本文精选几个章节，详细版点击下方卡片免费领取

  一、ComfyUI设置指南

• 报错指南
  
• 环境设置
  
• 脚本更新
  
• 后记
  
• …
  

二、ComfyUI基础入门

• 软件安装篇
  
• 插件安装篇
  
• …
  

三、 ComfyUI工作流节点/底层逻辑详解

• ComfyUI 基础概念理解
  
• Stable diffusion 工作原理
  
• 工作流底层逻辑
  
• 必备插件补全
  
• …
  

四、ComfyUI节点技巧进阶/多模子串联

• 节点进阶详解
  
• 提词技巧夺目
  
• 多模子节点串联
  
• …
  

五、ComfyUI遮罩修改重绘/Inpenting模块详解

• 图像分辨率
  
• 姿势
  
• …
  

六、ComfyUI超实用SDXL工作流手把手搭建

• Refined模子
  
• SDXL风格化提示词
  
• SDXL工作流搭建
  
• …
  

   由于篇幅缘故原由，本文精选几个章节，详细版点击下方卡片免费领取

  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。