导读
基于next-token prediction的图像天生方法首次在ImageNet benchmark超越了LDM, DiT等扩散模子，证实白最原始的自回归模子架构同样可以实现极具竞争力的图像天生性能。
Llama也能做图像天生？文生图模子已开源 香港大学、字节跳动提出了基于自回归模子LLama的图像天生模子LlamaGen。这是基于next-token prediction的图像天生方法首次在ImageNet benchmark超越了LDM, DiT等扩散模子，证实白最原始的自回归模子架构同样可以实现极具竞争力的图像天生性能。
图1：LlamaGen天生图像示例。第一行是class-conditional图像天生，第二行是text-conditional图像天生（文生图）。
文章: Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation
项目主页: https://peizesun.github.io/llamagen/
开源代码: https://github.com/FoundationVision/LlamaGen
开源模子: https://huggingface.co/FoundationVision/LlamaGen
体验网站: https://huggingface.co/spaces/FoundationVision/LlamaGen
1. 研究动机
多模态大模子的技能路线： 基于next-token prediction的自回归模子主导了大语言模子，那么多模态大模子的技能路线往LLM的技能路线靠是一种非常自然的选择。
我们从ViT中学到了什么？ ViT在2020年提出后，CV领域有相当长一段时间内致力于给ViT加inductive bias，比方，多尺度策略，以期实现更优秀的性能。这个过程诞生了很多优秀的工作。但是站在2024年往回看，会发现最初的ViT架构也可以或许达到相似的性能。那么，同样的故事是否会发生在多模态领域？
自回归模子vs扩散模子： 开源社区对自回归模子做图像天生的印象大多停留在2020年的VQ-GAN的ImageNet benchmark FID15左右。然而，早在2021年的ViT-VQGAN已经达到了FID 3.0左右的性能，DALL-E v1，Parti等更是在文生图领域展现了巨大的潜力。不过这些工作都没有闭源，而同时期的扩散模子在Stable Diffusion社区的带领下一骑绝尘。
于是，研究团队致力于提出开源版的基于自回归模子的图像天生 ！！！
2. Method
回顾现有的先辈的图像天生模子，我们总结出其乐成的三点关键设计：
（1）图像压缩/量化器（image compressors/tokenizers）
（2）可scale up的图像天生模子（scalable image generation models）
（3）高质量的训练数据（high-quality training data）
2.1 重训 image tokenizer
我们接纳与VQ-GAN同样的CNN架构将一连的图像转化成离散的token。相比2020年的VQ-GAN，我们对image tokenizer有了更多的认知：一个优秀的tokenizer必要更大的codebook size，更低的codebook vector dimension，同时，更好的图像重修必要更多的token数量。
2.2 基于Llama架构的图像天生模子
我们的模子架构紧张基于Llama语言模子，包括使用RMSNorm的pre-normalization、SwiGLU 和 RoPE。我们尽可能的保持与Llama语言模子千篇同等的架构，尽管图像天生领域一些常用的技能可能进一步提高性能，如AdaLN。
在Class-conditional和Text-conditional（文生图）图像天生模子中，我们使用最简朴的实现：class或text embedding直接作为start token，后续的image token应用next-token prediction范式产生。
2.3 多阶段的文生图模子训练流程
在第一阶段，模子在LAION-COCO的50M子集上举行训练，图像分辨率为 256×256。LAION-COCO原始数据集有 600M图文对。我们通过有用的图像 URL、美学分数、水印分数、CLIP图文相似度分数和图像大小来筛选这些图像。
在第二阶段，模子在10M的内部高美学质量图像上举行微调，图像分辨率为 512×512。这些美学图像的文本形貌由LLaVa产生。
2.4 LLM部署框架
基于原生自回归模子架构的图像天生模子可以无缝接纳现有的LLM部署框架，比方vLLM。这也是统一模子架构的一大优势。
3. 实行
3.1 Image tokenizers (图像量化器)
我们重新训练的image tokenizer在ImageNet和COCO上优于以前的tokenizers，包括VQGAN，ViT-VQGAN, MaskGIT。紧张的是，基于离散表征的tokenizer与基于一连表征的VAE性能持平，比方在扩散模子中被广泛使用的SD VAE。这表明图像量化的离散表征不再是图像重修的一大瓶颈。
3.2 Class-conditional image generation
在ImageNet benchmark中，LlamaGen在 FID、IS、Precision和Recall等指标上都表现出了极强的竞争力，此中，LlamaGen-3B 模子优于广为流行的扩散模子 LDM和DiT。这表明最朴素的自回归模子架构有本事作为先辈图像天生体系的底子模子。同时，与之前的自回归模子相比，我们的模子在各个参数量级上均优于以前的模子。这得益于更好的image tokenizer和Llama架构更好的扩展性。
3.3 Text-conditional image generation (文生图)
经过第一阶段的训练，模子根本拥有了图文对齐的本事，但其天生图像的视觉质量有待提高。第二阶段的训练明显提高了天生图像的视觉质量。我们以为这种提高来自两个方面：（1）第二阶段的训练使用了高质量的美学图像（2）第一阶段的图像分辨率是256x256，第二阶段是512x512，更大的图像分辨率会带来更好的视觉结果。
当输入更长的文本时，LlamaGen也可以天生兼具图文对齐与视觉质量的图像。
3.4 部署
基于vLLM部署框架，LlamaGen实现了326% - 414%的加快。
4. 结语
假如以扩散模子的发展路线做雷同，目前的LlamaGen只是Stable Diffusion v1阶段，改进方向包括SDXL（更大的分辨率，更多的aspect ratio），ControlNet（更高的可控性），Sora（视频天生）。
从多模态大模子的视角看，自回归模子分别实现理解任务和天生任务都被证实白可行性，下一步就是在同一个模子中团结训练。这必要更多的图文数据和更大的计算资源才气走得通，也可能由于文本数据和图像数据的内在distribution差别这条路走到后面不太行得通。
大模子期间，一切皆有可能！
如何学习大模子
现在社会上大模子越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。
作为一名资深码农，初入大模子时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，资助你们学习AI大模子，可以或许解决你们学习中的困难。
我已将紧张的AI大模子资料包括市面上AI大模子各明白皮书、AGI大模子体系学习路线、AI大模子视频教程、实战学习，等录播视频免费分享出来，必要的小同伴可以扫取。
一、AGI大模子体系学习路线
很多人学习大模子的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线盼望可以或许资助到你们学习AI大模子。
二、AI大模子视频教程
三、AI大模子各大学习册本
四、AI大模子各大场景实战案例
五、结束语
学习AI大模子是当前科技发展的趋势，它不但可以或许为我们提供更多的机会和挑战，还可以或许让我们更好地理解和应用人工智能技能。通过学习AI大模子，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处置惩罚、计算机视觉、语音辨认等领域。同时，把握AI大模子还可以或许为我们的职业发展增加竞争力，成为将来技能领域的领导者。
再者，学习AI大模子也能为我们本身创造更多的代价，提供更多的岗位以及副业创收，让本身的生活更上一层楼。
因此，学习AI大模子是一项有前景且值得投入的时间和精力的紧张选择。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
