【AIGC炸裂更新】OmniGen一键包,AI图像修改,AI人物迁移,多模态图片融合提示
本日，我们将探讨一个革命性的AI图像修改工具——OmniGen一键包。OmniGen不但能够实现AI人物迁移、多模态图片融合提示词和多模态图像明白，还提供了8bit量化版本，使得8G显存的设备也能畅享其带来的无限创意。在这个教程中，我们将详细先容OmniGen一键包的功能和操作方法。通过这个工具，你可以轻松地调整画面的色彩、风格、细节等，让你的图像作品更加出色。无论是新手照旧专业人士，都能够通过这套工具快速上手，创作出令人赞叹的图像作品。
在这个教程中，我们将一步步教你如何安装OmniGen一键包，如何调整参数，以及如何处置惩罚图像，创造出具有艺术感的AI图像。通过这个教程，你将能够掌握OmniGen的使用技巧，创作出令人赞叹的图像作品。
https://i-blog.csdnimg.cn/direct/774c7266c7374ba3a50641a6e51c1396.png
所以，假如你对AI图像修改布满好奇，或者想要尝试一下这个有趣的功能，那就赶紧试试OmniGen一键包吧！它将会给你带来无尽的惊喜和乐趣！
记住，使用OmniGen一键包时，肯定要保持创意和乐趣。让我们一起用它创造出令人赞叹的图像作品，让天下更加出色！
https://i-blog.csdnimg.cn/direct/053a954a2dda43ec9f1855a3c25f13a5.png
OmniGen简介
本日文章主题为一款由北京人工智能研究原提出的统一图像框架：OmniGen。OmniGen是一个统一的图像生成扩散模子，将多种图像处置惩罚使命集成到一个统一的简化框架中。与传统的扩散模子不同，OmniGen无需额外的模块如ControlNet或IP-Adapter即可处置惩罚多样化的控制条件。OmniGen的特点包括：
[*]
[*]统一性：OmniGen不但能够执行文本到图像的生成，还内在支持多种下游使命，包括图像编辑、主题驱动生成和视觉条件生成。此外，OmniGen还能通过将它们转化为图像生成使命来处置惩罚一些经典盘算机视觉使命，如边缘检测和人体姿态识别。
[*]
[*]简便性：OmniGen的架构高度简化，消除了对额外文本编码器的需求，使得与现有扩散模子相比更加用户友好。它能够通过指令完成复杂使命，无需额外的预处置惩罚步骤，显著简化了图像生成的工作流程。
[*]
[*]知识迁移：得益于在统一格式中的学习，OmniGen能够有效地在不同使命之间转移知识，处置惩罚未见使命和领域，并显现出新的能力。
同时OmniGen团队还探索了模子的推理能力和链式思考机制的潜在应用，这是对通用图像生成模子的首次尝试。总之，OmniGen能够实现机动和可控的图像生成，包括从文本生成图像、编辑生成图像的部分、基于生成图像中的人体姿态生成重绘，以及从另一图像中提取所需对象并整合到新图像中。它还能处置惩罚常见的图像生成使命和一些经典盘算机视觉使命，如去模糊、去雨、修复以及人物姿态图和深度图。OmniGen显现了潜在的推理能力和肯定程度的上下文学习能力，框架通过模仿人类逐步绘画的过程，迭代细化图像，从而处置惩罚更复杂和多样化的场景。此外，OmniGen的设计原则是通用性和简便性，避免了过于复杂的结构设计和浩繁额外组件。为了实现强大的多使命处置惩罚能力，OmniGen训练了一个大规模和多样化的数据集，称为 X2I数据集，包罗约0.1亿张图像。
https://img-blog.csdnimg.cn/img_convert/eb85913d34fbe6d890a8cd7e98e5fabb.png
https://i-blog.csdnimg.cn/direct/ad1c7d9de91e4bf79a13742f924507c5.png
[*] • Github：https://github.com/VectorSpaceLab/OmniGen
[*] • 项目主页：https://vectorspacelab.github.io/OmniGen/
[*] • 在线体验地址：https://huggingface.co/spaces/Shitao/OmniGen
（不想自己下载的同砚可自行扫描获取）
https://i-blog.csdnimg.cn/direct/d67c63236db14ca488a6b568c0d3947d.png
官方演示
机动可控性
https://i-blog.csdnimg.cn/direct/da96507da832446990b6d02a88ba9224.png
图像主体引用
https://i-blog.csdnimg.cn/direct/d3500e8960614b8ab139f22d1e779060.png
常见图像使命
https://i-blog.csdnimg.cn/direct/bdb31f1ea9d54c2a9a56730baa88e97f.png
经典视觉使命
https://i-blog.csdnimg.cn/direct/5141f17063224a7abe635a4aa9504be8.png
OmniGen ComfyUI体验
社区已有 @chflame163大佬的 ComfyUI_OmniGen_Wrapper支持ComfyUI中的体验，需要通过插件管理器GIT安装ComfyUI_OmniGen_Wrapper插件。首次运行插件时将自动下载模子。
[*] • 插件地址：https://github.com/chflame163/ComfyUI_OmniGen_Wrapper
[*] • Shitao/OmniGen-v1：需要下载Shitao/OmniGen-v1模子全部模子文件，并复制到ComfyUI/models/OmniGen/Shitao/OmniGen-v1文件夹。地址：https://huggingface.co/Shitao/OmniGen-v1/tree/main
https://i-blog.csdnimg.cn/direct/b00294151c694dcab6322a0e6118be6b.png
https://i-blog.csdnimg.cn/direct/cc579f6706a0498db6ce3eb584f3cf88.png
Flux文生图工作流
https://i-blog.csdnimg.cn/direct/698714aff9204226b3abb95a8cb52a1a.png
OmniGen工作流
https://i-blog.csdnimg.cn/direct/c6c72e737b9a4a7eab3e1d9a1bef90ac.png
OmniGen核心节点
https://i-blog.csdnimg.cn/direct/e1e37c349edf46b2a98b6c7a7197fae7.png
[*] • image_1: 可选输入图片1。假如输入，须在prompt中描述此图，用{imgae_1}指代。
[*] • image_2: 可选输入图片2。假如输入，须在prompt中描述此图，用{imgae_2}指代。
[*] • image_3: 可选输入图片3。假如输入，须在prompt中描述此图，用{imgae_3}指代。
[*] • dtype: 模子精度，default为模子默认精度, 可选int8。默认精度大约占用12GB显存，int8大约占用7GB显存。
[*] • prompt: 生成图片的提示词。假如有图片输入，请用{imgae_1}、{imgae_2}、{imgae_3}指代。
[*] • width: 生成图片的宽度，必须为16的倍数。
[*] • height: 生成图片的高度，必须为16的倍数。
[*] • guidance_scale: 引导比例。较高的值会使模子的生成结果更倾向于条件，但可能丧失图像的多样性和自由度。
[*] • image_guidance_scale: 图片引导比例。
[*] • steps: 图片生成推理步数。
[*] • separate_cfg_infer: 在不同引导下分别对图像进行推理；这可以在生成大尺寸图像时节省内存，但会使推理速率变慢。
[*] • use_kv_cache: 使用kv缓存以加速推理速率。
[*] • seed: 随机种子。推理使用不同的种子产生不同结果。
[*] • control_after_generatel: 每次运行时种子值厘革选项。
[*] • cache_model: 设置为True时缓存模子，下次运行无需再次加载模子。
留意：
[*] • 提示词需要按照固定格式 **{imgae_1}**引用对应图像，模子会自动编码为 <img><|image_1|></img> 格式。示例提示：2 person in the photo, The person in {image_1} on left and the person in {image_2} on right
[*] • 在1张图25步情况下，8位量化需要56.59秒。默认全精度则需要69.34秒。
8位量化：
https://img-blog.csdnimg.cn/img_convert/69f6038bf6fef870c9e3f176641f4ac2.png
全全精度：
https://img-blog.csdnimg.cn/img_convert/0e493328829793bf491f532578a7f891.png
01. 基础文生图
(masterpiece, top quality, best quality, official art, beautiful and aesthetic:1.2), (1girl), extreme detailed,(fractal art:1.3),colorful,highest detailed..
https://i-blog.csdnimg.cn/direct/af8272b964d6491caaf4b216adb5fee6.png
https://i-blog.csdnimg.cn/direct/dc791d3275d84d04b0d6cb61a8519877.png
https://i-blog.csdnimg.cn/direct/3052c97f56e54194a1e688bdadf0ba70.png
02. 多图融合
测试中发现对输入图质量和角度要求较高（尽量使用正面高清图），现实出图与提示位置明白遵循仍需要抽卡。别的S****DXL的手问题仍让是大问题。
2 person in the photo, The person in {image_1} onleft and the person in {image_2} onright
https://i-blog.csdnimg.cn/direct/f909d4ac98b646918d2fbe3cb24d364a.png
https://i-blog.csdnimg.cn/direct/f14512dce12e4556b0e09cbd66538c5e.png
https://i-blog.csdnimg.cn/direct/34b8b26297ba4d7aabbbc6b1e4612e8d.png
https://i-blog.csdnimg.cn/direct/fb62dd8829f44ba0a2c454aab5ab5e3e.png
03. 美女合影
2 person in the photo, The person in {image_1} onleft and the person in {image_2} onright
https://i-blog.csdnimg.cn/direct/63a0d8dfe1434e4faeed4258a65c35a9.png
https://i-blog.csdnimg.cn/direct/06a2accdb4ec46568657268e8a9e96b1.png
https://i-blog.csdnimg.cn/direct/6f1c9ff1a4344fa1980143f99838adbe.png
https://i-blog.csdnimg.cn/direct/87fe775136cd47308d6953ce12f0f393.png
03. 单图识别
OmniGen不但支持文生图、多图融合，同时还支持单图编辑功能（标注物体、改变物流艳色、移除物体、生成pose图、生成深度图、生成线稿图等）。但由于插件当前可能存在issue，无法测试，将在后续文章补充。别的笔者之所以选择**@chflame163大佬的ComfyUI_OmniGen_Wrapper**这款ComfyUI插件，因为测试出图结果这是最能担当的插件，不满意的出图质量是不停推迟推文的原因。
https://i-blog.csdnimg.cn/direct/7332de03e2d044948374fc911524bf74.png
资料软件免费放送
次日同一发放请耐心等候
学好 AI绘画 不论是就业照旧做副业赚钱都不错，但要学会 AI绘画 照旧要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小同伴们一点资助！
需要的可以扫描下方CSDN官方认证二维码免费领取【包管100%免费】
https://img-blog.csdnimg.cn/direct/e4eae00bfe004f51bf748b06b64f6d3f.png
**一、AIGC所有方向的学习路线**
AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，包管自己学得较为全面。
https://img-blog.csdnimg.cn/direct/af6e2f485a4f485d9b76a93afa81a02f.png
https://img-blog.csdnimg.cn/direct/7d91365d8b3a45aba258f4603c71dc5c.png#pic_center
二、AIGC必备工具
工具都帮大家整理好了，安装就可直接上手！
https://img-blog.csdnimg.cn/direct/01a2ea000b474fef83abfd18888b2e38.png
三、最新AIGC学习条记
当我学到肯定基础，有自己的明白能力的时候，会去阅读一些前辈整理的册本或者手写的条记资料，这些条记详细纪录了他们对一些技术点的明白，这些明白是比较独到，可以学到不一样的思绪。
https://img-blog.csdnimg.cn/direct/9e597a6fae9344cea8f4a9caf30ecc55.png
https://img-blog.csdnimg.cn/direct/f2619de95125425d8a19b85ce2ff1894.png
四、AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有结果的方式，跟着视频中老师的思绪，从基础到深入，照旧很容易入门的。
https://img-blog.csdnimg.cn/direct/ce803d0289b84736b059293d696429b6.png
五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到现实当中去，这时候可以搞点实战案例来学习。
https://img-blog.csdnimg.cn/direct/373dd1f17ed14db1a2fa4dfec03c0559.png
这份完备版的学习资料已经上传CSDN，朋侪们假如需要可以微信扫描下方CSDN官方认证二维码免费领取【包管100%免费】
https://img-blog.csdnimg.cn/direct/4ef6c3c84f424b47afa657004903bf17.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]