0. 前言
天生式人工智能 (Generative Artificial Intelligence, GAI) 是一种人工智能方法，旨在通过学习训练数据的分布模子来天生新的、原创的数据。人工智能天生内容 (Artificial Intelligence Generated Content, AIGC) 是天生式人工智能的一个具体应用和实现方式，是指利用人工智能技能天生各种形式的内容，如笔墨、图像、音频和视频等。本节将介绍天生模子基本概念，起首介绍天生模子的基本概念，然后，构建用于衡量天生模子性能的框架，并介绍一些重要的核心概念。然后，介绍当前主流的天生模子技能及其分类。
1. 天生模子
天生模子 (Generative Model) 是机器学习的一个分支，通过训练模子以天生与给定命据集类似的新数据，换句话说模子通过学习训练数据的分布特征，天生与之类似但又不完全相同的新数据。
假设有一个包罗猫图片的数据集，假如在该数据集上训练一个天生模子，以捕捉图像中像素之间的复杂关系。然后，我们可以利用该模子进行采样，天生原始数据集中不存在的逼真(猫)图像，如下图所示。
为了构建天生模子，我们需要一个包罗许多我们要天生的实例的数据集，这被称为训练数据 (training data)，此中每一个数据点称为一个观测值 (observation)。
每个观测值由许多特征 (features) 组成，对于图像天生题目，特征通常是各个像素的像素值；对于文本天生题目，特征通常是单词或字母组合。我们的目标是构建一个模子，可以天生看起来像是利用与原始数据相同规则创建的新特征集。对于图像天生来说，这是一个非常困难的任务，不但由于天生的图像需要具有真实世界的特征和细节，包括纹理、颜色、外形等，同时图像天生模子通常需要大量的训练数据来学习图像的特征和分布。
天生模子还必须是概率性的 (probabilistic)，而不是确定性的 (deterministic)，因为我们希望能够采样出具有差别变化的输出，而不是每次得到相同的输出，对于图像数据而言，天生的图像应该具有差别的风格、角度和变化，而不是仅仅复制训练数据中的图像。假如我们的模子仅仅是一个固定的计算，例如在训练数据集中每个像素的均匀值，那么它就不是天生模子，天生模子必须包罗一个影响模子天生的随机因素。
换句话说，我们假设存在某种未知的概率分布，其可以表明图像在训练数据集中存在(或不存在)的合理性。天生模子的目标是构建一个尽可能准确地模仿这个分布的模子，然后从中进行采样，天生看起来像是原始训练集中可能包罗的新的、独特的样本数据。
2. 天生模子与判别模子的区别
2.1 模子对比
为了了解天生模子及其重要性，起首需要介绍判别模子。假设我们有一个绘画的数据集，此中包罗莫奈与一些其他艺术家的画作。通过利用充足的数据，可以训练一个判别模子，以预测给定的画作是否由莫奈绘制。判别模子能够学到画作中的颜色、外形和纹理特征，以便判定画作是否由莫奈所绘制，对于具有莫奈画作特征的绘画，模子会相应地增长其预测权重。下图展示了判别模子的构建过程：
在构建判别模子时，训练数据中的每个观测值都有一个标签 (label)。对于二分类题目，比如上述画作鉴别器，将莫奈的画作标记为 1，非莫奈的画作标记为 0。然后，判别模子学习如何区分这两组画作，并预测新数据样本属于标签 1 的概率，即样本是由莫奈绘制的概率。
而天生模子不需要数据集带有标签，因为天生模子关注的是天生新图像，而非试图预测给定图像的标签。接下来，利用公式正式定义天生模子和判别模子。
- 判别模子估计 p ( y ∣ x ) p(y|x) p(y∣x)，即在给定输入 x x x 的情况下，输出 y y y 的概率。此中 y y y 是标签， x x x 是观测值
- 天生模子估计 p ( x ) p(x) p(x)，即天生给定输入 x x x 的观测值的概率，而不考虑标签
- 判别模子关注如何根据观测值来预测标签，而天生模子关注如何根据概率分布来天生观测值
- 在判别模子中，可以利用逻辑回归、支持向量机等算法来构建模子。而在天生模子中，常利用天生对抗网络 (Generative Adversarial Networks, GAN) 或扩散模子等算法来天生新的观测值
总结而言，判别模子和天生模子是两种差别的机器学习方法。判别模子通过观测值预测标签，而天生模子通过学习数据分布来天生新的观测值。
天生模子估计 p ( x ) p(x) p(x)，即天生观测值 x x x 的概率。也就是说，天生模子旨在对观测值 x x x 进行建模，从所学分布中进行采样可以天生新的观测值。
2.2 条件天生模子
也可以构建天生模子来建模条件概率 p ( x ∣ y ) p(x|y) p(x∣y)，即观察到具有特定标签 y y y 的观测值 x x x 的概率。例如，假如数据集包罗差别范例的水果，可以训练天生模子仅仅天生苹果图像。
需要注意的，即使我们能够构建一个完善的判别模子识别莫奈的画作，但它仍旧无法创作一幅具备莫奈风格的画作，它只是被训练用于输出关于现有图像的类别概率。相反，天生模子被训练用于从该模子中进行采样，以天生具有高概率属于原始训练数据集的图像。
2.3 天生模子的发展
数年来，判别模子一直是推动机器学习发展的主要动力。这是因为相对于判别题目，相应的天生题目通常更难明决。例如，训练一个模子预测一幅画是否是莫奈所作比起训练一个模子来天生莫奈风格的画作要容易得多；同样，训练一个模子来预测一篇小说是否是莎士比亚所写比起构建一个模子来天生一篇莎士比亚风格的小说要容易得多。
近来，随着机器学习技能的发展，解决天生题目变得不再遥不可及。通过将机器学习应用于构建天生模子的新颖应用得到了快速发展。下图展示了图像天生模子在面部图像天生方面的研究希望。
除了更容易解决的上风之外，判别模子在实际题目中的应用也比天生模子更广泛。例如，能够预测给定视网膜图像是否隐含青光眼迹象的模子对医疗领域具有重要作用，但能够天生眼部图片的模子可能并无作用。
但随着越来越多的公司开始提供面向特定业务题目的天生服务，天生模子的应用范围正在快速扩展。例如，只需提供特定的主题质料，就可以通过 API 访问天生原创博客文章的服务，还可以天生在差别场景下的产品图像，或者编写与品牌和目标信息相匹配的交际媒体内容和广告文案。同时，天生式AI在游戏设计和影戏制作等行业也渐渐得到应用。
2.4 天生模子与人工智能
除了天生模子的实际应用，天生模子的发展尚有三个更深条理的原因，天生模子是实现更风雅人工智能形式的关键，逾越了仅靠判别模子所能实现的范围。
起首，从理论角度来看，不应该局限于对数据进行简单分类。为了完整性，还应该关注能够捕捉数据分布更完整(逾越特定标签)理解的模子。由于输出空间的维度较高，天生模子的构建无疑是一个更难明决的题目。许多判别模子中的关键技能，如深度学习等，也可以被天生模子所利用。
其次，天生模子现在正被用于推动人工智能的其他领域取得希望，例如强化学习等。假设要训练一个机器人在给定的地形上移动，传统方法是在计算机中模仿运行许多实验，此中智能体尝试利用差别的策略。随着实验的进行，智能体将学会哪些策略更有效，从而渐渐改善性能。这种方法的一个缺点是它的可扩展性较差，因为它是为一个特定任务优化策略。近来流行起来的另一种方法是放弃训练智能体优化特定任务的策略，转而利用天生模子训练智能体学习情况的世界模子，其独立于特定任务。智能体可以通过在本身的世界模子中测试策略来快速适应新任务，而不是在真实情况中进行测试，这种方法通常更高效，而且不需要为每个新任务重新训练。
最后，假如我们真的已经构建了一台具有与人类相媲美智能形式的机器，那么天生模子将是此中必不可少的部分。自然界中最好的天生模子之一就是人类，我们能够想象以任何可能的角度看小猫的样子；可以想象出电视节目几种差别的合理了局。当前神经科学理论表明，我们对现实的感知并不是一个在感官输入上运算的高度复杂的判别模子，用于预测我们经历的事物，而是一个从出生开始便不断训练的天生模子，用于产生准确匹配未来的情况模仿。显然，如何构建具备这种能力的机器对于我们了解解大脑运作和人工智能至关重要。
3. 天生模子示例
3.1 简单示例
起首，我们将利用一个简单示例展示天生模子。在二维空间中，利用 P d a t a P_{data} Pdata 规则天生如下图所示点集，我们的目标是得到二维空间中新的点 x = ( x 1 , x 2 ) x=(x_1,x_2) x=(x1,x2)，使其看起来像是由相同规则天生的。
我们可以根据已有数据点的知识选择一个位置，构建模子 p m o d e l p_{model} pmodel，用于估计该点可能出现的位置。此时， p m o d e l p_{model} pmodel 是 p d a t a p_{data} pdata 的一个估计。 p m o d e l p_{model} pmodel 可能如下图中的矩形框所示，点只可能出现在框内，而框外的地区则可能没有任何点。
为了天生一个新的观测值，可以在框内随机选择一个点，或者说从分布 p m o d e l p_{model} pmodel 中进行采样。这就可以视为一个简单的天生模子，我们利用训练数据(黑色点)构建了一个模子(橙色地区)，可以从中进行采样，天生看起来属于训练集的点。
3.2 天生模子框架
我们可以通过以下框架来表达我们构建天生模子的目标：
- 准备一组观测数据 X X X
- 假设这些观测数据是根据某一分布 p d a t a p_{data} pdata 天生的
- 目标是构建天生模子 p m o d e l p_{model} pmodel，以近似 p d a t a p_{data} pdata，假如实现了此目标，就可以从 p m o d e l p_{model} pmodel 中进行采样，天生看起来像是从 p d a t a p_{data} pdata 中抽取的观测数据
因此， p m o d e l p_{model} pmodel 需要包罗以下属性：
- 准确性：假如 p m o d e l p_{model} pmodel 天生的观测样本准确性较高，则观测样本应该看起来像是从 p d a t a p_{data} pdata 中抽取的；假如 p m o d e l p_{model} pmodel 天生的观测样本准确性较低，则观测样本不应该看起来像是从 p d a t a p_{data} pdata 中抽取的
- 天生性：能够简单地从 p m o d e l p_{model} pmodel 中进行采样天生新的观测样本
- 表现性：能够理解 p m o d e l p_{model} pmodel 如何表现数据中差别的高级特征
接下来，我们利用简单数据天生分布 p d a t a p_{data} pdata，并利用上述框架进行处理，如下图所示，数据天生规则设定命据样本在蓝色地区匀称分布，且数据样本不能出现在黄色地区。
我们利用的模子 p m o d e l p_{model} pmodel (灰色地区)是对真实数据天生分布 p d a t a p_{data} pdata 的简化模子。数据样本 A、B 和 C 是模子 p m o d e l p_{model} pmodel 模仿 p d a t a p_{data} pdata 天生的数据：
- 点 A 是由模子天生的观测样本，但看起来并不像是由 p d a t a p_{data} pdata 天生的，因为它位于黄色地区中
- 点 B 无法由模子天生，因为它位于灰色地区之外，因此，可以说 B 为模子无法在整个可能性范围内的天生观测样本
- 点 C 是一个合理的数据样本点，因为它既可以由模子 p m o d e l p_{model} pmodel 天生，也可以由真实分布 p d a t a p_{data} pdata 天生
尽管模子 p m o d e l p_{model} pmodel 存在缺陷，但该模子易于进行抽样，因为它是一个灰色框内的匀称分布，我们可以简单地从该框中随机选择一个点来进行抽样。
别的，天生模子 p m o d e l p_{model} pmodel 是对底层复杂分布的简单表现，但其也捕捉了一些底层高级特征。真实分布被分别为多个蓝色地区和黄色地区，这相称于本例的高级特征，固然模子 p m o d e l p_{model} pmodel 也捕捉到这一高级特征，但其将其近似为单个蓝色地区。
上述示例演示了天生模子的基本概念，固然天生模子是一个丰富多彩的领域，且题目的定义与处理也多种多样，但处理天生模子题目时基本遵照上述基本框架。
4. 表现学习
假设我们想向一个不认识的人描述本身的外貌，我们并不会逐个描述本身照片的每个像素。相反，我们会起首合理地假设对方对普通人的外貌有基本的了解，然后通过描述外貌特征，例如黑色的头发、褐色的眼睛等，对方就能够将这个描述映射回照片像素，从而在脑海中天生一个基本图像，固然这个图像可能并不完善，但充足接近真实外貌，能够用于在数百个人中准确的识别。
据此，表现学习 (Representation Learning) 的核心头脑可以描述如下：模子并不会尝试直接对高维样本空间建模，而是利用一些低维潜空间 (Latent Space) 描述训练集中的每个观测样本，然后学习一个映射函数，可以将潜空间中的点映射到原始领域中。换句话说，潜空间中的每个点都是某一高维观测样本的表现 (Representation)。
假设有如下训练集，此中包罗了大量圆柱体的灰度图像。
对于人类而言，很明显可以利用圆柱体的高度和半径这两个特征唯一的表现这些圆柱体。也就是说，我们可以将每个圆柱体的图像转换为两维潜空间中的一个点，即使训练集中的图像是以高维像素空间表现的。这也意味着我们可以通过将适当的映射函数 f 应用于潜空间中的新点来天生不在训练集中的圆柱体图像。
对于机器而言，利用较简单的潜空间来描述原始数据集并非易事，机器起首需要确定高度和半径是最得当描述该数据集的两个潜空间维度，然后学习能够将该空间中的点映射到灰度圆柱体图像的映射函数 f f f。机器学习(尤其是深度学习)能够训练机器在没有人类引导的情况下学习这些高度复杂的映射函数。
表现学习能够以更易管理、且能够影响图像高级属性的隐空间中进行操作。例如，通过调整每个像向来增长圆柱体图像的高度并非易事，但在潜空间中，只需要增长高度对应的潜维度，然后应用映射函数即可反映到图像域上。
表现学习能够学习用于描述给定观测样本最为重要的特征，以及如何根据原始数据天生这些特征。将训练数据集编码为潜空间，以便可以从中进行采样，并将采样点解码回原始域，是许多天生模子构建的基础。从数学角度来说，表现学习试图将数据所处的高度非线性流形 (nonlinear manifold) (例如，像素空间)转化为更简单的潜空间，以便可以从中进行采样，从概率上而言，潜空间中的任何一点都能作为一个图像的表现。通过调整隐空间中的特征值，就可以天生新的表现，然后将其映射回原始数据域(例如图像)时，就可以得到逼真数据样本(例如图像数据)。
5. 天生模子与概率论
天生模子与概率分布的统计建模密切相关，因此，需要了解一些核心统计概念，用于表明每个天生模子的理论配景。为了充分理解要解决的任务，需要创建对基本概率理论的扎实理解，以理解差别范例的天生模子。
样本空间
样本空间 (sample space) 是观测样本 x \textbf x x 可以获取的所有值的完整集合。例如，在上述数据分布示例中，样本空间图像中的横纵坐标 ( x , y ) (x, y) (x,y) 组成。例如， x = ( 40 , 10 ) \textbf x=(40,10) x=(40,10) 是样本空间中属于真实数据天生分布的一个点。
概率密度函数
概率密度函数( probability density function，或简称密度函数)是一种将样本空间中的点 x \textbf x x 映射到 0 到 1 之间的数值的函数 p ( x ) p(\textbf x) p(x)。密度函数在样本空间中所有点上的积分必须等于 1，以确保其是一个明白定义的概率分布。
在上述数据分布示例中，天生模子的密度函数在灰色框之外为 0，在灰色框内为常数，因此密度函数在整个样本空间上的积分等于 1。
固然只有一个真实的密度函数 p d a t a ( x ) p_{data}(\textbf x) pdata(x) 能够真正天生可观测数据集，但有无穷多个密度函数 p m o d e l ( x ) p_{model}(\textbf x) pmodel(x) 可以用来估计 p d a t a ( x ) p_{data}(\textbf x) pdata(x)。为了能够找出合适的 p m o d e l ( x ) p_{model}(\textbf x) pmodel(x)，可以利用参数化建模 (parametric modeling) 技能。
参数化建模
参数化建模 (parametric modeling) 是一种用来寻找合适 p m o d e l ( x ) p_{model}(\textbf x) pmodel(x) 的方法。参数模子 p θ ( x ) p_θ(\textbf x) pθ(x) 是一系列密度函数，可以通过有限数量的参数 θ θ θ 来描述。
假如我们将匀称分布假设为模子簇，那么在上述数据分布示例中，我们可以绘制的所有可能框的集合就是参数化模子的一个例子。在这种情况下，我们需要四个参数：方框的左下角 ( θ 1 , θ 2 ) (θ_1, θ_2) (θ1,θ2) 和右上角 ( θ 3 , θ 4 ) (θ_3, θ_4) (θ3,θ4) 的坐标。
因此，该参数模子中的每个密度函数 p θ ( x ) p_θ(\textbf x) pθ(x) (即每个方框)可以由四个数字 θ = ( θ 1 , θ 2 , θ 3 , θ 4 ) θ=(θ_1, θ_2, θ_3, θ_4) θ=(θ1,θ2,θ3,θ4) 唯一的表现。
似然函数
给定某个观测样本 x \textbf x x，参数集 θ θ θ 的似然函数 L ( θ ∣ x ) L(θ|\textbf x) L(θ∣x) 是一个量度 θ θ θ 在给定观测点 x \textbf x x 处的合理性的函数，其定义如下：
L ( θ ∣ x ) = p θ ( x ) \mathscr{L}(θ|\textbf x) = p_θ(\textbf x) L(θ∣x)=pθ(x)
也就是说，给定某个观测样本 x \textbf x x， θ θ θ 的似然性表现用参数 θ θ θ 表现点 x \textbf x x 上的密度函数值，假如我们有一个完整的独立观测数据集 X \textbf X X，则可以写成：
L ( θ ∣ X ) = Π x ∈ X p θ ( x ) \mathscr L(θ|\textbf X) = \underset {\textbf x \in \textbf X} {\Pi}p_θ(\textbf x) L(θ∣X)=x∈XΠpθ(x)
由于计算 0 到 1 之间大量项的乘积可能非常困难，因此通常利用对数似然度ℓ取代：
ℓ ( θ ∣ x ) = ∑ x ∈ X l o g p θ ( x ) \ell (θ|\textbf x) = \sum_{\textbf x\in \textbf X} log p_θ(\textbf x) ℓ(θ∣x)=x∈X∑logpθ(x)
在上述数据分布示例中，只覆盖图像左半部分的灰色框的似然性为 0，因为我们观察到的数据点位于图像右半部分，因此该框不可能天生数据集。图像中的灰色框的似然性为正数，因为在该模子下所有数据点的密度函数都是正数。
似然函数的此种定义方式是具有统计意义的，但我们也可以直观地理解这个定义。我们可以简单的将参数集 θ θ θ 的似然函数定义为：在由参数集 θ θ θ 定义的模子中，观测到数据的概率。
需要注意的是，似然函数是参数的函数，而不是数据的函数。不应将其表明为给定参数集正确的概率，换句话说，它不是参数空间上的概率分布(即在参数方面不会求和/积分为1)。
直观而言，参数化建模应该专注于找到最优的参数 θ ^ \hat θ θ^，以最大化数据集 X \textbf X X 观测值的似然性。
最大似然估计
最大似然估计 (maximum likelihood estimation) 是一种估计密度函数 p θ ( x ) p_θ(\textbf x) pθ(x) 的参数集 θ ^ \hat θ θ^ 的方法，该参数集能够最合理的表明观测数据集 X \textbf X X，更正式的定义如下：
θ ^ = a r g m a x θ L ( θ ∣ X ) \hat θ = \underset {θ} {argmax}\mathscr L(θ|\textbf X) θ^=θargmaxL(θ∣X)
θ ^ \hat θ θ^ 也被称为最大似然估计 (maximum likelihood estimate, MLE)。在上述数据分布示例中，MLE 是包罗训练集中所有点的最小矩形。
神经网络通常需要最小化损失函数，等价的，我们可以找到使负对数似然最小化的参数集：
θ ^ = a r g m i n θ − L ( θ ∣ X ) = a r g m i n θ − l o g p θ ( x ) \hat θ = \underset {θ} {argmin} -\mathscr L(θ|\textbf X) = \underset {θ} {argmin} -log p_θ(\textbf x) θ^=θargmin−L(θ∣X)=θargmin−logpθ(x)
天生模子可以视为最大似然估计的一种形式，此中参数 θ θ θ 是模子中包罗的神经网络的权重。我们试图找到这些参数的值，以最大化观察到的数据的似然性(或等价地，最小化负对数似然)。
然而，在高维题目中，直接计算 p θ ( x ) p_θ(\textbf x) pθ(x) 通常是不可能的，因为它过于复杂的，差别范例的天生模子采用差别的方法来解决这一题目。
6. 天生模子分类
尽管所有范例的天生模子终极都旨在解决同一任务，但它们在对密度函数 p θ ( x ) p_θ(\textbf x) pθ(x) 进行建模时采取了差别的方法。广义上说，有以下三种方法：
- 显式地对密度函数进行建模，但通过肯定方式对模子进行约束，使密度函数可计算
- 显式地对密度函数的可计算近似进行建模
- 通过直接天生数据的随机过程来隐式地对密度函数进行建模
天生模子分类方式如下所示，这些模子簇并不是互斥的，有很多模子混淆利用了两种及以上的差别方法。
我们可以起首将模子分为显式建模概率密度函数 p ( x ) p(\textbf x) p(x) 的模子和隐式建模概率密度函数的模子。
隐式密度模子并不直接估计概率密度，而专注于直接天生数据的随机过程。天生对抗网络 (Generative Adversarial Networks, GAN) 是典型的隐式天生模子。显式密度模子可以进一步分为直接优化密度函数(可计算密度模子)和优化其近似值的模子。
可计算密度模子通过对模子架构进行约束，使得密度函数具有易于计算的形式。例如，自回归模子对输入特征进行排序，以便可以按序天生输出，比如逐字天生或逐像素天生。正则流模子将一系列可计算的可逆函数应用于简单分布，以天生更复杂的分布。
近似密度模子包括变分自编码器，引入潜变量并优化团结密度函数的近似值。能量模子也利用近似方法，但是其通过马尔可夫链采样而非变分方法。扩散模子通过训练模子渐渐去噪给定图像来近似密度函数。
小结
本节介绍了人工智能的一个重要分支——天生模子，介绍了天生模子理论和应用的最新希望。我们从一个简单的示例开始，了解了天生模子终极关注的是对数据的潜伏分布进行建模。通过总结天生模子框架，以理解天生模子的重要属性。然后，介绍了有助于理解天生模子的理论基础和关键概率概念，并概述了天生模子的分类方法。
系列链接
AIGC实战——深度学习 (Deep Learning, DL)
AIGC实战——卷积神经网络(Convolutional Neural Network, CNN)
AIGC实战——自编码器(Autoencoder)
AIGC实战——变分自编码器(Variational Autoencoder, VAE)
AIGC实战——利用变分自编码器天生面部图像
AIGC实战——天生对抗网络(Generative Adversarial Network, GAN)
AIGC实战——WGAN(Wasserstein GAN)
AIGC实战——条件天生对抗网络(Conditional Generative Adversarial Net, CGAN)
AIGC实战——自回归模子(Autoregressive Model)
AIGC实战——改进循环神经网络
AIGC实战——像素卷积神经网络(PixelCNN)
AIGC实战——归一化流模子(Normalizing Flow Model)
AIGC实战——能量模子(Energy-Based Model)
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
