2024年AIGC行业研究：多模态大模型与商业应用_

2024年2月，OpenAI发布其首款视频生成模型Sora，用户仅需输入一段文字即可生成长达一分钟场景切换流畅、细节呈现清楚、情感表达准确的高清视频，与一年前的AI生成视频相比，在各维度均实现了质的提升。这一突破再次将AIGC推向大众视野。AIGC即通过大量数据训练而成的人工智能体系，可根据用户的个性化指令生成文本、音频、图像、代码等内容。自2022年反复出圈的ChatGPT推出以来，生成式AI在游戏、影视、出版、金融、数字人等多个应用场景中展现出巨大潜力和代价。据不完全统计，2023年环球AIGC财产融资超1900亿元，几乎每个月都有该赛道公司得到融资。例如，2023年6月，Runway得到谷歌、英伟达、Salesforce等投资者的新一轮1.41亿美元的融资；Runway的强劲对手Pika则用短短半年时间，连续完成三轮融资，总融资额达5,500万美元。
本文将基于AIGC财产生态现状和技能发展路径，深入分析AIGC商业化应用的方向与财产发展趋势。
01、财产生态概览

财产生态图谱：以数据板块为代表的基础层有待突破，模型层占核心职位，应用层遍地开花
团体而言，目前AIGC财产生态可划分为三部分：上游基础办法层、中游模型层和下游的应用层。其中，基础办法层包括数据、算力和模型开发训练平台/盘算平台等算法基础平台；模型层包括底层通用大模型、中间层模型和开源社区；应用层则在文本、音频、图像、视频四类模态的基础上，发展出了策略生成和跨模态生成，并在金融、数据分析、设计等多个行业实现了商业应用。

基础办法层：数据服务板块成财产新增量，算力和算法财产生态格局较为确定
AIGC对训练数据的体量、所属行业范畴、对应垂直业务和颗粒度都有极高的要求。对于预训练大模型而言，多模态的数据集至关重要。别的，为了使训练问答和产出达到预期结果，数据提供方需要保障数据的即时性和有用性。目前，环球规模最大的开源跨模态数据库是LAION-5B，环球首个亿级中文多模态数据集“悟空”则是由华为诺亚方舟实验室开源。
自各类大模型进入大众视野以来，其tokens的巨细限定不停困扰着诸多开发者和使用者，以GPT为例，当使用者向其发送命令时，程序会主动将近来几次对话记载（基于对话的字数限定在4096 tokens内）通过prompt组合成最终的标题，并发送给ChatGPT。一旦使用者的对话影象凌驾了4096 tokens，那么它就难以将之前的对话内容纳入到逻辑思考范围，这就导致目前GPT在面对比力复杂任务时容易出现AI幻觉。
在此背景下，开发者们不停寻求新的办理方案，向量数据库就是热门办理方案之一。向量数据库的核心概念是将数据转换成向量存储在数据库中；在使用者输入标题时，也将标题转换成向量，然后在数据库中搜索最相似的向量和上下文，最后将文本返回给用户。如许不仅可以大大减少GPT的盘算量，从而提高响应速度，更重要的是低落成本、支持多模态数据，并绕过了GPT的tokens限定。随着Weaviate MongoDB等外洋向量数据库成为资源关注的对象，国内腾讯、京东等大厂也纷纷在此范畴动手布局。
相比于数据板块，国内算力和算法基础范畴供给端仍以头部企业为主，初创型企业机会相对较少。但以人工智能盘算架构为基础，为应用层提供所需算力服务、数据服务和算法服务的智算中央已成为新型公共算力基础办法之一。
如AIDC OS，是九章云极DataCanvas自主研发的智算专属AI操作体系。同时面向智算中央大规模算力和大中型企业内部智算集群，输出智算资源的纳管、统一调度，智算业务的业务运营支撑，以及AI模型的构建、训练和推理等核心能力。AIDC OS将算力运营方的运维能力从裸算力设备运维提升至AI大模型运维能力，加之对各类异构算力和AI应用的开放兼容，AIDC OS乐成实现了算力资产附加代价的有用提升。
模型层：国内市场玩家多集中在底层通用大模型，中间层玩家较少
AIGC底层通用大模型可分为开源和闭源两类。闭源模型一样平常通过付费的API或者有限的试用接口来访问，国外闭源模型包括OpenAI的GPT模型、谷歌的PaLM-E模型等。国内闭源模型厂商起步较晚，但在多模态交互能力和与智能硬件结合方面的能力提升迅速。如近期李未可科技研发的WAKE-AI大模型，具有文本生成、语言理解、图像识别及视频生成等多模态交互能力，是李未可科技专为未来 AI+终端，定向优化研发的多模态AI大模型平台。目前WAKE-AI大模型临时针对李未可科技旗下的智能终端——AI眼镜、XR眼镜上使用。未来李未可科技将开放该AI平台，即让更多开发者以低代码或无代码的方式，在各类终端上快速低成本的摆设或定制多模态AI。
开源模型采用公开模型的源码与数据集，任何人都可以检察或修改源代码，如Stability AI开源Stable Diffusion，Meta开源Llamax，xAI开源Grok-1，中国智源开源Aquila。比力而言，闭源模型的上风在于前期投入成本低、运行稳定；开源模型则基于私有化摆设拥有较高的数据隐私安全保障，并且迭代更新速度较快。目前国内多数大模型开发企业或机构致力于开发跨模态大模型，如腾讯的混元AI和百度的文心大模型，都可进行跨模态生成，但团体尚未普遍形成开源生态。
中间层模型市场玩家大致可分为垂类大模型和中间集成商两类。其中，垂类大模型对于垂直行业的业务理解和资源积累要求较高，中间集成商负责组合多个模型接口，形成新的团体模型。以AI游戏引擎公司RPGGO为例，对于个人用户而言，RPGGO基于自研的游戏引擎Zagii Engine，能够协助个人创作者简化开发流程，实现最大化的创意输出；对于游戏工作室而言，RPGGO能够提供API联动，提升游戏开发效率。
就战略合作或产物布局而言，国内底层大模型厂商正发力布局中间层及终端应用层，以此为自身的底层大模型产物提供能力出口和数据入口，如针对未来智能终端提前布局多模态AI平台的李未可科技等。
应用层：文字生成发展时间较长，跨模态生成潜力最高
AIGC财产应用层多是基于模型能力和对用户需求的洞察，直接面向B端或C端客户进行服务，可将其简单理解为移动互联网时代的各类工具，未来的潜力空间较大，大批初创企业可到场其中。
如果按照模态划分，应用层可分为文字生成、音频生成、图像生成、视频生成、跨模态生成和策略生成。由于NLP技能发展历史较久，因此文字生成属于发展时间最长、落地应用也最为成熟的赛道。而在这波AIGC发展热潮中，跨模态生成将会带来最多的新应用场景。其中，文字生成图像、文字生成视频和图像/视频生成文本均已有产物问世，尤其是文字生成图像，如Stability AI，已经在环球范围内有了C端用户量的证明。
根据量子位智库对不同模态不同应用场景技能成熟度、应用成熟度和未来市场规模的估算，目前文本生成中，文本辅助生成赛道规模潜力最大；跨模态生成中，文字生成图像/视频赛道规模潜力最大。

2030年，中国AIGC市场规模将达万亿级别
根据量子位智库数据，2023年中国AIGC市场规模约为170亿元，预计2025年之前，中国AIGC市场规模增长率都将维持在25%左右，2025年市场规模将达到257亿元。2025年起，随着底层大模型渐渐对外开放，中间层及应用层将迎来爆发式增长，动员AIGC行业市场规模快速增长，年均复合增长率将凌驾70%，到2027年，中国AIGC市场规模将凌驾600亿元。2028年起，AIGC财产生态更加成熟，并在各行各业实现商业化落地应用，2030年，市场规模将凌驾万亿人民币。

02、前沿技能分析

多模态发展已成行业共识，文本端技能路径已收敛于LLM
按照处理的数据范例数量，AI模型可以划分为单模态和多模态两类：单模态只能处理一种范例数据，如文本或音频或图片；多模态则能够处理两种或两种以上的数据范例。相比单模态，多模态大模型在输入输出端的上风明显：不同模态的输入数据具有互补性，多元训练数据输入有助于通用大模型能力的快速扩展，多模态数据输入使用门槛更低和数据消耗更少，同时也能够大幅提升使用者的应用体验；多模态数据的输出则省去了多模型的整合，更容易实现商业落地。
现阶段，AIGC大模型从单模态向多模态发展已成为行业共识。在文本端应用ChatGPT（2022年11月面世）和图像生成代表应用Midjourney V5（2023年3月面世）影响下，文本端和图像生成应用在2023年呈爆发式增长。2024年2月16日，OpenAI发布文生视频应用Sora，使视频生成范畴成为新一轮行业热点，预计2024年将迎来技能和资源的高度关注。

目前，基于Transformer布局的预训练模型是多模态大模型的主流训练方式。如谷歌的GEMINI，就是在不同的模态上进行预训练，利用额外的多模态数据进行微调以提升其有用性。随着文本生成大模型的发展，LLM已成为确定性技能路径。通过扩展，LLM的性能可以在困惑度（生成文本的流畅度）等定量指标上实现大幅改进，只要在训练期间打仗到多样化的语言模式和布局，LLM就能以高保真度模仿和再现这些模式。
然而，多模态技能面临数据存量即将枯竭的困境。不同范例的数据标注成本不同，视觉等模态数据网络成本通常高于文本数据，这导致多模态数据集（尤其是高质量数据集）远少于文本数据集。Epochai数据显示，在AIGC大模型高速发展背景下，高质量的语言数据可能在2026年之前耗尽，而低质量的语言数据也可能在未来20年内面临枯竭。
为了办理数据枯竭标题，AI合成数据应运而生，如布局化数据企业Mostly AI和非布局化数据企业DataGen，前者能够生成与真实数据猜测特性相当的匿名数据集，后者则能够为盘算机视觉团队提供合成数据集的自助服务平台。AI合成数据适应多模态模型的数据模态组合，且数据获取速度更快，能够有用增长数据存量。
路径对比：扩散模型占据主流，自回归模型仍有潜力
AI生成视频与AI生成图片的底层技能框架较为相似，主要包括生成式对抗网络（GAN）、自回归模型（Auto-regressive Model）和扩散模型（Diffusion Model）三大路径。目前，扩散模型已成为当前AI生成视频的主流模型。
（1）生成式对抗网络（GAN）
GAN是早期的主流图像生成模型，通过生成器和判别器进行对抗训练来提升模型的图像生成能力和图像辨别能力，使得生成式网络的数据趋近真实数据，从而图像趋近真实图像。相较于其他模型，GAN的模型参数量较小，所以更加擅长对单个或多个对象类进行建模。弊端是GAN的训练过程稳定性较差，导致其生成的图像缺乏多样性，因此渐渐被自回归模型和扩散模型替代。
（2）自回归模型（Auto-regressiveModel）
自回归模型采用Transformer进行自回归图像生成。Transformer团体框架主要分为Encoder和Decoder两大部分，能够模拟像素和高级属性（纹理、语义和比例）之间的空间关系，利用多头自留意力机制进行编码和解码。与GAN相比，自回归模型具有明确的密度建模和稳定的训练上风，能够通过帧与帧之间的接洽生成更为连贯且自然的视频。由于自回归模型自己参数数量通常比扩散模型大，其对于盘算资源要求及数据集的要求往往高于其他模型，因此受盘算资源、训练所需的数据和时间限定较大。但也正由于其参数具备更大的扩展潜力，图像生成和视频生成的自回归模型将有望鉴戒Transformer在文本范畴LLM的经验，通过对不同模态进行跨模态、规模化的训练，最终实现“大力出古迹”。
（3）扩散模型 （Diffusion Model）
直白来说，扩散模型就是通过定义一个扩散步骤的马尔可夫链，连续向数据添加随机噪声，直到得到一个纯高斯噪声数据，然后再学习逆扩散过程，颠末反向降噪推断来生成图像，通过体系扰动数据中的分布，再恢复数据分布，渐渐优化的过程。以Sora为例，Sora由Visual Encoder、Diffusion Transformer和Transformer Decorder三大Transformer组件组成。在训练过程中，给定一个原始视频X，Visual Encoder将视频压缩至较低维的潜在空间，然后在潜在空间中担当训练，该训练过程应用的就是基于扩散模型的Diffusion Transformer，先加噪再去噪，渐渐进行优化，最终将生成的时间和空间上压缩的潜在表示通过Transformer解码器映射回像素空间，即视频X1。由于盘算效率更高、成本更低，并且能够在处理数据（压缩/放大）时得到高质量图像，扩散模型已渐渐成为文生图和文生视频范畴的主流技能路径。

03、应用概况

随着ChatGPT、文心一言、Sora等产物问世，AIGC覆盖场景愈发丰富，表现结果渐渐成熟。机会与挑战并存，AIGC为行业带来发展机会，创造出更多新应用场景和商业模式的同时，也陪同着一些需要应对的挑战。
对于ToB类企业而言，AIGC可与其现有业务进行有机结合，实现业务降本增效，为数字人、SaaS、数字设计、金融等行业带来新机会
数字人。虚拟数字人的发展与AI、CG、虚拟现实等多个范畴底层技能的突破密不可分。AIGC与数字人的融合，赋予虚拟人更多的“敏捷力”与“生命力”的同时，实现其在更多应用场景的落地。一方面，AIGC技能可将静态照片转为动态视频，并实现如人脸更换、心情变化等视频特效，让虚拟人更加生动传神；另一方面，AI技能提升虚拟人多模态交互能力，无需人工干预，即可实现主动交互，让虚拟人具有内涵“思考”能力，加速其在更多范畴的应用。别的，AI技能有望实现从创建、驱动到内容生成的“一站式”全流程主动化，低落企业开发成本。例如，趣丸科技已初步建成高自然度虚拟数字人生成技能平台，可在10秒左右，通过单张或几张照片生成面部相似度达到90%以上的高自然度虚拟数字人，泯灭时间短、成本低、具有多模态交互能力，低落了普通用户使用技能门槛和经济负担，实如今科普教导、直播零售、游戏动漫等场景的应用。
SaaS。面对不停发展与变革的市场环境，保持业务侧数字化运营温顺畅的上下游衔接成为越来越多企业的必然选择，这意味着SaaS行业需提升智能化程度，为企业提供可快速响应、交互和决策代价分析等服务。在客户管理场景中，AIGC的文本生成模式可作为聊天机器人，根据客户沟通内容快速进行反馈，提供个性化互动并主动提供查询以外的其他相关服务，使SaaS软件更易于访问和使用。在业务流程主动化场景中，AIGC可实现通过简单指令，综合管理企业业务流程，提高工作效率。例如，在财政管理方面，整合分析财政数据，提供全面的财政报告与分析；在营销方面，动态生成个性化客户邮件及广告；在供应链管理方面，主动处理上下游单据和数据录入；在人力资源方面，实现智能口试和薪酬考核主动化。
数字设计。随着多模态预训练大模型等底层技能的渐渐成熟，AIGC在音图视频生成上展现出更强的能力，应用也愈发广泛。一方面，图像生成在工业设计、平面设计、插图设计、游戏动画制作等数字设计范畴快速应用，在工作前期，AIGC可辅助搜集素材、快速生成草稿，在后期，用户可通过文字指令实现调色、构图调解、P图、调解风格等功能，低落设计创作门槛的同时，减少基础性机械劳动。另一方面，视频生成在构筑设计、工业设计、游戏设计等行业中，可提供更加直观的演示结果，显著收缩工作时长。

金融。面对激烈的市场竞争，传统金融行业已难以满足消耗者个性化需求。金融行业具有资源密集型特点，利用AIGC分析、生成能力可提升其服务效率，推动其优化业务流程，提供更便捷的以客户为中央的产物与服务。详细而言，AIGC主要被应用在风险评估、量化生意业务、柜台业务办理等方面。在风险评估环节，AIGC可快速分析分散的、多维生意业务数据和举动模式，精确监测并识别潜在风险和检测欺诈，提高风控精确度。在柜台服务环节，AIGC可根据客户需求和自身画像，为其推荐更适宜的产物和定制化金融服务，提高客户满意度。
对于ToC类企业而言，AIGC将资助游戏、影视、出版等行业提高内容产出效率，提升消耗者体验
出版。对于以内容为根本的出版业而言，AIGC将引发内容生产范式变革。一方面，AIGC替代用户成为内容生产者，迅速提高内容产出效率；另一方面，AIGC可辅助完成编辑工作，节省编辑工作时间，释放人力。详细而言，在内容生产环节，AIGC的文本输出能力辅助作者完成内容创作，后续随着技能的发展，甚至可直接创作内容，并拥有独特的写作风格。目前，部分小说网站推出AIGC辅助创作功能，作者输入特殊关键词，即可主动生成内容，并为作者提供灵感。在编辑环节，AIGC可通过抓取热点新闻、事件，基于主动分析挑选选题的同时，基于文本识别和深度学习模型，快速完成文章审校工作，提高编辑工作效率。
游戏。在行业竞争愈发激烈且玩家喜欢更加细分的背景下，AIGC与游戏的融合，从内容、画面、玩法等方面全面优化玩家游戏体验，并提高游戏自身竞争力。在内容和玩法方面，一方面，AIGC提高NPC对话逻辑性、细化语调、心情和肢体动作、将环境与NPC搭建起情感接洽，增强玩家与游戏的交互性，为玩家提供自由度较高的沉浸式体验；另一方面，输入目的、场景、脚色等信息，AIGC可生成玩法文案，提供关于机制和故事变节等方面建议，平衡并丰富游戏玩法，提升游戏的趣味性。别的，AIGC可辅助生成更精美的画面，工作职员通过文字表述即可生成图片和动画，提高绘画效率的同时，提升玩家的体验。
影视。影视行业工作流程普遍较长，涉及大量人力与时间成本，AIGC将赋能影视制作全流程，从策略、摄制、制作到宣发阶段，大幅低落影视行业门槛，提供内容创意参考的同时，实现行业的降本增效。在策划阶段，深度学习算法可通过快速大量阅读已发布影片，再结合关键词，为编剧提供剧本创意参考的同时，在剧本完成后，也可资助编剧进行润色和翻译等工作。在摄制阶段，一方面，导演可利用AIGC资助完成分镜绘制、镜头语言设计等工作；另一方面，制片人可省去日程安排、制片统筹、剧组预算等基础工作所需时间，实现工作的简化并节省时间成本。在后期制作阶段，AIGC可完成如添加字幕、视频剪辑、视频调色等基础工作，随着技能的成熟，也渐渐可完成特效制作、动画制作等复杂工作。以2023年奥斯卡最佳影片《瞬息全宇宙》为例，这部科幻电影的视觉结果团队仅有五人，他们通过与Runway合作，使用其AI工具完成背景、放慢视频、制作无限延伸的图片等工作，极大地提升了视觉特效制作效率。

尽管AIGC可大幅提高各行业的智能化水平及运营效率，但其发展仍存在一定局限性，应用端存在诸多挑战
SaaS。AIGC在SaaS行业中的应用带来了数据隐私和信息安全等标题。在提供个性化服务和支持的过程中，AIGC需要输入企业内部运营、财政、个人生意业务等敏感信息数据。而AIGC模型具有潜在的影象能力，在生成内容的过程中可能偶尔提取其他用户的私人数据，由此带来严肃的隐私泄露风险。
数字设计。设计行业对版权要求尤为重要。AIGC通过来自互联网、第三方数据集等大规模数据进行训练时，可能包罗通过网络爬虫或其他方法获取的未经授权的数据，进而生成类似风格的衍生作品，易产生已存在内容和新创意元素的混合物，进而引发知识产权归属混乱的标题，产生潜在的法律风险和版权纠纷。尤其在数字设计范畴，AIGC的应用可能涉及大量原始数据的使用和转换，生成作品版权归属存在较大争议。
金融。金融行业大多生意业务需参考各方信息，对信息准确性要求较高。然而，基于历史和实时信息，AIGC所做分析准确性仍有待提高且无法猜测不测事件的发生。比年来，金融机构纷纷推出智能顾问等生成式AI工具，若投资者过度依靠其提供的猜测和建议，可能导致不理智的投资举动，加剧羊群效应，进而增长风险集中度。别的，AIGC易生成虚假新闻或误导信息，导致投资者做出错误决策的同时，可能导致市场代价异常波动。
游戏。作为一种高度强调实时人机互动的娱乐形式，AIGC的出现让玩家在虚拟世界得到了更好的沉浸式体验，但不受剧情控制、无限延展的人机对话，在交互内容合规方面存在较大不确定性，若AIGC对过滤词把控不力，玩家可能会受到得罪或伤害。
影视。对于需引起情感共鸣的影视行业，相对于人类基于丰富情感和深厚阅历的创作，AIGC仅能依靠已有数据和算法生成较为生硬、酷寒的内容，拟人化的情感表达尚待提升。
出版。在文学范畴，对于内容所涉及的伦理和道德标题要求较为严酷，目前，AIGC无法确保生成内容的合规性，用于开发AIGC模型的训练数据可能包罗鄙视、暴力等内容，从而生成种族鄙视、性别鄙视等有害内容。
总体而言，AIGC依托多模态大模型、深度学习算法等赋能金融、游戏、出版等千行百业，但带来的如伦理、版权、数据安全等标题与挑战也不容忽视。
04、发展展望

Sora等软件展示的跨模态生成能力意味着AGI时代将加速到来
通用人工智能（Artificial General Intelligence，AGI）是一种可以在任何专业范畴内像人类一样思考、学习、修正并实行智力任务的人工智能体系，要求AI体系具备人类所理解的常识、共同行动规范和代价观，最大特点是对真实世界的规则，如物理状态、自然规律、化学变革等因素做出反馈，是人工智能发展的最高目的之一。Sora、ChatGPT等应用软件的发布意味着AI技能范畴取得突破性进展，具备更强的时空建模能力和更高的盘算复杂度，可模拟具有三维空间、符合物理规律的真实物理世界，为理解现实世界和模拟世界的实现打下技能基础，也将推动多模态AI加速发展，并进一步加速AGI的发展进程。
技能创新与技能融合将推动AIGC的生成能力和应用能力不停增强
未来，一方面，随着深度学习、盘算机视觉等技能的不停成熟和如知识蒸馏等新技能的持续创新，AIGC的生成质量、速度和效率等方面能力将进一步提升；另一方面，多模态大模型将与如自然语言处理技能、虚拟现实、增强现实、数字孪生等更丰富的技能融合，拓展如主动驾驶、药品研发、安防等更多应用场景的同时，为用户提供更丰富的办理方案，满足越来越多用户需求。如在主动驾驶范畴，AIGC技能可创造更多合成数据，补充真实数据不敷的缺陷，加速仿真场景的搭建，提升仿真测试效率。
怎样学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给各人。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋侪们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习蹊径
AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包罗640份报告的合集，涵盖了AI大模型的理论研究、技能实现、行业应用等多个方面。无论您是科研职员、工程师，还是对AI大模型感爱好的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技能的飞速发展，AI大模型已经成为了当今科技范畴的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的熟悉。 那以下这些PDF籍就黑白常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不停提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的康健发展贡献气力。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。