qidao123.com技术社区-IT企服评测·应用市场

标题: 【AIGC炸裂更新】OmniGen一键包,AI图像修改,AI人物迁移,多模态图片融合提示词,多模态图像理解,8bit量化版本,8G显存可玩 [打印本页]

作者: 缠丝猫 时间: 2025-4-18 23:25
标题: 【AIGC炸裂更新】OmniGen一键包,AI图像修改,AI人物迁移,多模态图片融合提示词,多模态图像理解,8bit量化版本,8G显存可玩
今天，我们将探究一个革命性的AI图像修改工具——OmniGen一键包。OmniGen不仅可以大概实现AI人物迁移、多模态图片融合提示词和多模态图像理解，还提供了8bit量化版本，使得8G显存的设备也能畅享其带来的无限创意。
在这个教程中，我们将具体先容OmniGen一键包的功能和操作方法。通过这个工具，你可以轻松地调解画面的色彩、风格、细节等，让你的图像作品更加精彩。无论是新手还是专业人士，都可以大概通过这套工具快速上手，创作出令人惊叹的图像作品。
在这个教程中，我们将一步步教你怎样安装OmniGen一键包，怎样调解参数，以及怎样处理图像，创造出具有艺术感的AI图像。通过这个教程，你将可以大概掌握OmniGen的利用技巧，创作出令人惊叹的图像作品。

所以，假如你对AI图像修改充满好奇，或者想要实验一下这个有趣的功能，那就赶紧试试OmniGen一键包吧！它将会给你带来无尽的惊喜和乐趣！
记住，利用OmniGen一键包时，一定要保持创意和乐趣。让我们一起用它创造出令人惊叹的图像作品，让世界更加精彩！
OmniGen简介

今天文章主题为一款由北京人工智能研究原提出的同一图像框架：OmniGen。OmniGen是一个同一的图像生成扩散模子，将多种图像处理任务集成到一个同一的简化框架中。与传统的扩散模子不同，OmniGen无需额外的模块如ControlNet或IP-Adapter即可处理多样化的控制条件。OmniGen的特点包罗：

- 同一性：OmniGen不仅可以大概执行文本到图像的生成，还内在支持多种下游任务，包罗图像编辑、主题驱动生成和视觉条件生成。此外，OmniGen还能通过将它们转化为图像生成任务来处理一些经典计算机视觉任务，如边缘检测和人体姿态识别。
- 简便性：OmniGen的架构高度简化，消除了对额外文本编码器的需求，使得与现有扩散模子相比更加用户友好。它可以大概通过指令完成复杂任务，无需额外的预处理步骤，明显简化了图像生成的工作流程。
- 知识迁移：得益于在同一格式中的学习，OmniGen可以大概有用地在不同任务之间转移知识，处理未见任务和范畴，并展现出新的能力。

同时OmniGen团队还探索了模子的推理能力和链式思索机制的潜伏应用，这是对通用图像生成模子的首次实验。总之，OmniGen可以大概实现灵活和可控的图像生成，包罗从文本生成图像、编辑生成图像的部分、基于生成图像中的人体姿态生成重绘，以及从另一图像中提取所需对象并整合到新图像中。它还能处理常见的图像生成任务和一些经典计算机视觉任务，如去模糊、去雨、修复以及人物姿态图和深度图。OmniGen展现了潜伏的推理能力和一定程度的上下文学习能力，框架通过模拟人类逐步绘画的过程，迭代细化图像，从而处理更复杂和多样化的场景。此外，OmniGen的筹划原则是通用性和简便性，避免了过于复杂的布局筹划和众多额外组件。为了实现强大的多任务处理能力，OmniGen练习了一个大规模和多样化的数据集，称为 X2I数据集，包罗约0.1亿张图像。

• Github：https://github.com/VectorSpaceLab/OmniGen
• 项目主页：https://vectorspacelab.github.io/OmniGen/
• 在线体验地址：https://huggingface.co/spaces/Shitao/OmniGen

（不想自己下载的同学可自行扫描获取）

官方演示

灵活可控性

图像主体引用

常见图像任务

经典视觉任务

OmniGen ComfyUI体验

社区已有 @chflame163大佬的 ComfyUI_OmniGen_Wrapper支持ComfyUI中的体验，需要通过插件管理器GIT安装ComfyUI_OmniGen_Wrapper插件。首次运行插件时将主动下载模子。

• 插件地址：https://github.com/chflame163/ComfyUI_OmniGen_Wrapper
• Shitao/OmniGen-v1：需要下载Shitao/OmniGen-v1模子全部模子文件，并复制到ComfyUI/models/OmniGen/Shitao/OmniGen-v1文件夹。地址：https://huggingface.co/Shitao/OmniGen-v1/tree/main

Flux文生图工作流

OmniGen工作流

OmniGen核心节点

• image_1: 可选输入图片1。假如输入，须在prompt中描述此图，用{imgae_1}指代。
• image_2: 可选输入图片2。假如输入，须在prompt中描述此图，用{imgae_2}指代。
• image_3: 可选输入图片3。假如输入，须在prompt中描述此图，用{imgae_3}指代。
• dtype: 模子精度，default为模子默认精度, 可选int8。默认精度约莫占用12GB显存，int8约莫占用7GB显存。
• prompt: 生成图片的提示词。假如有图片输入，请用{imgae_1}、{imgae_2}、{imgae_3}指代。
• width: 生成图片的宽度，必须为16的倍数。
• height: 生成图片的高度，必须为16的倍数。
• guidance_scale: 引导比例。较高的值会使模子的生成结果更倾向于条件，但可能损失图像的多样性和自由度。
• image_guidance_scale: 图片引导比例。
• steps: 图片生成推理步数。
• separate_cfg_infer: 在不同引导下分别对图像举行推理；这可以在生成大尺寸图像时节省内存，但会使推理速度变慢。
• use_kv_cache: 利用kv缓存以加快推理速度。
• seed: 随机种子。推理利用不同的种子产生不同结果。
• control_after_generatel: 每次运行时种子值变革选项。
• cache_model: 设置为True时缓存模子，下次运行无需再次加载模子。

留意：

• 提示词需要按照固定格式 **{imgae_1}**引用对应图像，模子会主动编码为 <img><|image_1|></img> 格式。示例提示：2 person in the photo, The person in {image_1} on left and the person in {image_2} on right
• 在1张图25步情况下，8位量化需要56.59秒。默认全精度则需要69.34秒。

8位量化：

全全精度：

01. 底子文生图

(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.2), (1girl), extreme detailed,(fractal art:1.3),colorful,highest detailed..

复制代码

02. 多图融合

测试中发现对输入图质量和角度要求较高（只管利用正面高清图），实际出图与提示位置理解遵照仍需要抽卡。别的S****DXL的手问题仍让是大问题。

2 person in the photo, The person in {image_1} on left and the person in {image_2} on right

复制代码

03. 美女合影

2 person in the photo, The person in {image_1} on left and the person in {image_2} on right

复制代码

03. 单图识别

OmniGen不仅支持文生图、多图融合，同时还支持单图编辑功能（标注物体、改变物流艳色、移除物体、生成pose图、生成深度图、生成线稿图等）。但由于插件当前可能存在issue，无法测试，将在后续文章增补。别的笔者之所以选择**@chflame163大佬的ComfyUI_OmniGen_Wrapper**这款ComfyUI插件，因为测试出图结果这是最能接受的插件，不满意的出图质量是不停推迟推文的原因。

资料软件免费放送
次日同一发放请耐心等候
学好 AI绘画岂论是就业还是做副业赢利都不错，但要学会 AI绘画还是要有一个学习规划。最后各人分享一份全套的 AI绘画学习资料，给那些想学习 AI绘画的小同伴们一点帮助！

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

**一、AIGC所有方向的学习门路**
AIGC所有方向的技能点做的整理，形成各个范畴的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具
工具都帮各人整理好了，安装就可直接上手！

三、最新AIGC学习笔记
当我学到一定底子，有自己的理解能力的时间，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记具体记载了他们对一些技能点的理解，这些理解是比力独到，可以学到不一样的思路。

四、AIGC视频教程合集
观看全面零底子学习视频，看视频学习是最快捷也是最有结果的方式，跟着视频中老师的思路，从底子到深入，还是很轻易入门的。

五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时间可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋侪们假如需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/)