花瓣小跑 发表于 昨天 05:37

机器学习的基本概念

        机器学习是人工智能的一个紧张研究领域。与计算机科学、生理学等多种学科都有密切的关系,扳连的面比力宽,而且许多理论及技术上的问题尚处于研究之中,接下来对它的一些基本概念和方法作一简要讨论,以便对它有一个初步的熟悉。
一、什么是机器学习

(一)学习:从数据到知识的映射

1. 基本思想与界说

基本思想:学习是智能体系通过与情况交互,从履历数据中获取规律、改进性能的过程。其焦点是通过算法主动发现数据中的模式,并将其转化为可用于猜测或决策的知识。
如今,对“学习”这一概念的研究有较大影响的观点主要有以下几种:
(1)学习是体系改进其性能的过程。这是西蒙关于“学习”的观点。1980年他在卡内基-梅隆大学召开的机器学习研讨会上做了“为什么机器应该学习”的发言,在此发言中他把学习界说为:学习是体系中的任何改进,这种改进使得体系在重复同样的工作或举行类似的工作时,能完成得更好。这一观点在机器学习研究领域中有较大的影响,学习的基本模子就是基于这一观点建立起来的。
(2)学习是获取知识的过程。这是从事专家体系研究的人们提出的观点。由于知识获取一直是专家体系建造中的困难问题,因此他们把机器学习与知识获取联系起来,盼望通过对机器学习的研究,实现知识的主动获取。
(3)学习是技能的获取。这是生理学家关于如何通过学习获得熟练技能的观点。人们通过大量实践和反复练习可以改进机制和技能,如像骑自行车、弹钢琴等都是这样。但是,学习并不光仅只是获得技能,它只是反映了学习的一个方面。
(4)学习是事物规律的发现过程。在20世纪80年代,由于对智能机器人的研究取得了肯定的进展,同时又出现了一些发现体系,于是人们开始把学习看作是从感性知识到理性知识的熟悉过程,从表层知识到深层知识的特化过程,即发现事物规律、形成理论的过程。
上述各种观点分别是从不同角度理解“学习”这一概念的,若把它们综合起来可以以为:学习是一个有特定目的的知识获取过程,其内在举动是获取知识、积累履历、发现规律;外部体现是改进性能、顺应情况、实现体系的自我美满。
界说(基于王永庆理论拓展):设学习体系的输入为数据集https://i-blog.csdnimg.cn/direct/3a4447638bb84aa6b4e54aa7e194de3d.png,其中 x_i ∈X为输入空间的样本,y_i ∈Y为输出空间的标签。学习过程可情势化为探求一个映射 f: X → Y,使得在新样本 x_new 上的猜测误差 L(f(x_new), y_new) 最小化,其中 L 为损失函数。
2. 表示情势与实现过程

表示情势:
(1)参数化表示:如线性模子https://i-blog.csdnimg.cn/direct/4011d82398cc4e6fbf66eeac35a8bbe6.png,通过参数 w, b 形貌输入输出关系;
(2)非参数化表示:如决策树、支持向量机(SVM),通过结构或核函数隐式界说映射;
(3)概率表示:如贝叶斯模子,通过后验概率 P(y|x) 建模不确定性。
实现过程(以监视学习为例):
(1)数据预处置惩罚:洗濯数据、特性工程(如归一化 https://i-blog.csdnimg.cn/direct/118310e45dda429fb7ca0ed158c5d300.png);
(2)模子假设:选择模子类https://i-blog.csdnimg.cn/direct/afaf7131c4e64e8e9f6961a7af1060c1.png,如神经网络https://i-blog.csdnimg.cn/direct/877c90e76dfc4cdfb462635692eba14f.png;
(3)损失界说:界说履历风险https://i-blog.csdnimg.cn/direct/baab94a6f1cf4150b35c77435a90bd06.png;
(4)优化求解:通过梯度下降https://i-blog.csdnimg.cn/direct/35b163cb5914481bb70af0c61cf2198f.png探求最优参数;
(5)泛化评估:利用测试集计算泛化误差https://i-blog.csdnimg.cn/direct/df9b705c6b924d3f92a4365f93e1b1df.png。
3. 算法形貌:以线性回归为例

(1)目标函数:最小化均方误差https://i-blog.csdnimg.cn/direct/e7d8fa0769124da8a59e94391897acb3.png 
(2)梯度计算:https://i-blog.csdnimg.cn/direct/51e565962efa42d682f3fe4ac85ea52b.png 
(3)更新规则:https://i-blog.csdnimg.cn/direct/253f16526b6d4a369a0d6abdc428cc4d.png
4. 具体示例:房价猜测流程

数据:输入特性 x = [面积, 房间数],输出 y = 代价;
模子:线性函数 https://i-blog.csdnimg.cn/direct/da7c013bacb744339e91d59f167acd16.png;
练习:
(1)初始化 w = , b = 0;
(2)计算猜测值https://i-blog.csdnimg.cn/direct/154832febda643cd9494109de9523aa2.png;
(3)计算梯度https://i-blog.csdnimg.cn/direct/0dc86fc9b72c4b6982ac6e0c28d789a5.png,更新 w, b;
(4)重复直至收敛;
猜测:输入新样本 x_new,输出 f(x_new)。
(二)机器学习:主动化知识获取的工程范式

所谓机器学习,就是要使计算机能模似人的学习举动,主动地通过学习获取知识和技能,不断改善性能,实现自我美满。作为人工智能的一个研究领域,机器学习的研究工作主要是围绕着以下三个基本方面举行的:
(1)学习机理的研究。这是对人类学习机制的研究,即人类获取知识、技能和抽象概念的天赋本领。通过这一研究,将从根本上解决机器学习中存在的种种问题。
(2)学习方法的研究。研究人类的学习过程,探索各种大概的学习方法,建立起独立于具体应用领域的学习算法。
(3)面向任务的研究。根据特定任务的要求,建立相应的学习体系。
界说:机器学习是研究如何让计算机体系从数据中主动学习规律,以完成猜测、分类、控制等任务的学科。其本质是通过算法将数据转化为可复用的模子,实现“数据→模子→决策”的闭环。 焦点特性:
(1)数据驱动:依赖大规模数据集而非手工规则;
(2)迭代优化:通过练习数据调解模子参数或结构;
(3)泛化本领:模子需在未知数据上体现良好(如通过正则化https://i-blog.csdnimg.cn/direct/64e4df620029426ca2f7ce887eef5e0c.png 防止过拟合)。

二、学习体系的构成要素(王永庆体系理论拓展)

为了使计算机体系具有某种程度的学习本领,使它能通过学习增长知识、改善性能、提高智能程度,必要为它建立相应的学习体系。
所谓学习体系,是指可以或许在肯定程度上实现机器学习的体系。1973年萨利斯(Saris)曾对学习体系给出如下界说:假如一个体系可以或许从某个过程或情况的未知特性中学到有关信息,并且能把学到的信息用于未来的估计、分类、决策或控制,以便改进体系的性能,那么它就是学习体系。1977年施密斯等人又给出了一个类似的界说:假如一个体系在与情况相互作用时,能利用过去与情况作用时得到的信息,并提高其性能,那么这样的体系就是学习体系。
由上述界说可以看出,一个学习体系应具有如下条件和本领:
(一)具有恰当的学习情况

无论是在萨利斯的界说中照旧在施密斯等人的界说中,都利用了“情况”这一术语。这里对情况界说是:为学习体系提供原始信息的泉源,包括练习数据、交互反馈等。
(1)监视学习情况:提供带标签数据 (x, y),如图像分类中的标注数据集;
(2)强化学习情况:提供状态 s、动作 a、奖励 r 的序列,如机器人控制中的实时反馈。
示例:垃圾邮件分类体系的情况是用户标记的邮件集合 D = {(x_i, y_i)},其中 x_i 是邮件特性向量(如词频),y_i ∈ {0, 1}表示是否为垃圾邮件。
(二)具有肯定的学习本领

情况只是为学习体系提供了学习及应用的条件,为要从中学到有关信息,它还必须有合适的学习方法及肯定的学习本领。否则它仍旧学不到知识,或者学得不好。
学习本领的度量:
(1)假设空间容量:模子类 F 的表达本领,如 VC维 VC(F);
(2)优化效率:算法在多项式时间内找到近似解的本领,如梯度下降的收敛速率https://i-blog.csdnimg.cn/direct/8cf1d1621bdf4e5cbbef99c545285fae.png。
算法示例:决策树学习本领体如今递归划分特性空间,ID3 算法通过信息增益https://i-blog.csdnimg.cn/direct/8de5fbc054bb488faee1986a57cd29a5.png选择分裂特性,其中熵 https://i-blog.csdnimg.cn/direct/ad3e043299954660857b46552993bc43.png。
(三)能应用学到的知识求解问题

学习的目的在于应用,对人是这样,对学习体系也是这样。在萨利斯的界说中,就明确指出了学习体系应“能把学到的信息用于未来的估计、分类、决策或控制”,夸大学习体系应该做到学以致用。事实上,假如一个人或者一个体系不能应用学到的知识求解遇到的现实问题,那他(它)也就失去了学习的作用及意义。
知识应用情势:
(1)猜测任务:回归(如房价猜测)、分类(如垃圾邮件识别);
(2)生成任务:图像合成(如GAN模子 https://i-blog.csdnimg.cn/direct/e38f0488bbec40e0bedfb6a948fbe7a8.png);
(3)决策任务:强化学习中的策略 pi(a|s) 选择最优动作。

流程示例:图像识别体系的推理过程:
(1)输入图像 x 预处置惩罚为张量;
(2)通过CNN模子 f(x; θ) 提取特性(卷积层 https://i-blog.csdnimg.cn/direct/e66139277d604cd0a39e49ef2d094bc5.png);
(3)全毗连层输出种别概率 p(c|x) = softmax(f(x));
(4)选择概率最高的种别https://i-blog.csdnimg.cn/direct/875cb2ce18264acaad08e0e29cf839d3.png 作为猜测结果。
(四)能提高体系的性能

这是学习体系应该达到的目标。通过学习,体系应能增长知识,提高技能,改善体系的性能,使它能完成原来不能完成的任务,或者比原来做得更好。比方对于博弈体系,假如它第一次失败了,那么它应能从失败中吸取履历教导,通过与情况的相互作用学到新的知识,做到“吃一堑,长一智”,使得以后不重蹈覆辙。
由以上分析可以看出,一个学习系同一般应该有情况、学习、知识库、执行与评价等四个基本部门构成,各部门之间的关系如图所示。
https://i-blog.csdnimg.cn/direct/27672cd440cb43b48085f238fc3e9055.png
1.性能指标:

(1)准确率:分类准确样本数 / 总样本数;
(2)均方误差(MSE):回归任务中 https://i-blog.csdnimg.cn/direct/ba17d626c28443579122268c4af0c0be.png;
(3)奖励累积:强化学习中 https://i-blog.csdnimg.cn/direct/173cc9c518734618a0f623046d43fe0a.png,γ 为折扣因子。
2.提升机制:

(1)参数调解:通过梯度下降优化损失函数;
(2)结构优化:神经网络中的剪枝、AutoML 主动选择模子架构;
(3)数据增强:图像旋转、翻转等扩充练习数据,低落过拟合风险。

三、机器学习的发展进程(联合神经科学与符号主义演进)

(一)神经元模子的研究(1940s-1960s)

这一阶段主要研究工作是应用决策理论的方法研制可顺应情况的通用学习体系(General PurposeLearningSystem)。它所基于的基本思想是:假如给系同一组刺激、一个反馈源和修改自身构造的自由度,那么体系就可以自顺应地趋向最优构造。这现实上是盼望构造一个神经网络和自构造体系。
在此期间有代表性的工作是1957年罗森勃拉特(F.Rosenblatt)提出的感知器模子,它由阈值性神经元构成,试图模仿动物和人脑的感知及学习本领。别的,这阶段最有影响的研究成果是塞缪尔研制的具有自学习、自构造、自顺应本领的跳棋步调。该步调在分析了约175000幅不同棋局后,归纳出了棋类书上推荐的走法,能根据下棋时的现实情况决定走步的策略,准确率达到48%,是机器学习发展史上一次卓有成效的探索。
1969年明斯基和佩珀特(Papert)发表了颇有影响的论著“Perceptron”,对神经元模子的研究作出了悲观的论断。鉴于明斯基在人工智能界的职位及影响以及神经元模子自身的局限性,致使对它的研究开始走向低潮。
起源:McCulloch-Pitts神经元模子(1943)提出人工神经元概念,情势化为:
https://i-blog.csdnimg.cn/direct/cefc2be422474de882106e65f1e868db.png
代表算法:Rosenblatt 感知机(1957),权重更新规则:https://i-blog.csdnimg.cn/direct/d5a94f0e2869465e87c44ac1b53044ae.png 
局限:Minsky《感知机》(1969)指出其无法解决异或(XOR)问题,导致毗连主义研究陷入低谷。
(二)符号学习研究(1970s-1990s)

当时对专家体系的研究已经取得了很大成功,迫切要求解决获取知识难的问题,这一需求刺激了机器学习的发展,研究者们力图在高层知识符号表示的基础上建立人类的学习模子,用逻辑的演绎及归纳推理代替数值的或统计的方法。莫斯托夫(D.J.Mostow)的引导式学习、温斯顿(Winston)和卡鲍尼尔(J.G.Carbonell)的类比学习以及米切尔(T.M.Mitchell)等人提出的表明学习都是在这阶段提出来的。
焦点思想:通过符号逻辑表示知识,构建基于规则的学习体系。
代表方法:
(1)决策树:ID3 算法(Quinlan, 1986),通过信息增益选择分裂特性,示例流程:
1)计算根节点熵https://i-blog.csdnimg.cn/direct/92d9b6a6e725490fa0ac8f3587308e44.png;
2)对每个特性 A,计算分裂后熵https://i-blog.csdnimg.cn/direct/7fba8f8fab41407ea218b7c8e2e726d8.png;
3)选择 IG(S, A) = H(S) - H(S|A) 最大的特性分裂;
4)递归生成子树,直至纯度达标。
(2)基于规则的学习:AQ算法(Michalski, 1969)生成“假如 - 那么”规则,如 色泽=青绿 ∧ 根蒂=蜷缩 ⇒ 好瓜。
上风与局限:可表明性强,但依赖人工特性工程,难以处置惩罚高维复杂数据。
(三)毗连学习的复兴与深度学习(2000s至今)

当时由于人工智能的发展与需求以及VLSI技术、超导技术、生物技术、光学技术的发展与支持,使机器学习的研究进人了更高层次的发展时期。当年从事神经元模子研究的学者们经过10多年的潜心研究,降服了神经元模子的局限性,提出了多层网络的学习算法,从而使机器学习进人了毗连学习的研究阶段。毗连学习是一种以非线性大规模并行处置惩罚为主流的神经网络的研究;该研究如今仍在继续举行之中。
在这一阶段中,符号学习的研究也取得了很大进展,它与毗连学习各有所长,具有较大的互补性。就如今的研究情况来看,毗连学习实用于连续发音的语音识别及连续模式的识别;而符号学习在离散模式识别及专家体系的规则获取方面有较多的应用。如今人们已开始把符号学习与毗连学习联合起来举行研究,里奇(E.Rich)开发的集成体系就是其中的一个例子。
1.关键突破:

(1)多层感知机与反向传播(Rumelhart, 1986):通过链式法则计算梯度,解决多层网络练习问题。对于隐含层 h,输出层 o,损失 L,梯度为:
https://i-blog.csdnimg.cn/direct/f35aa966be714af7a700c6a76696b0bc.png
(2)深度神经网络:AlexNet(2012)在ImageNet比赛中准确率远超传统方法,引入ReLU激活函数https://i-blog.csdnimg.cn/direct/ac20befb840442eebf86897659d96002.png缓解梯度消散。
(3)规模化练习:大数据(如ImageNet 1400万张图像)与GPU并行计算推动模子容量提升,Transformer模子(Vaswani, 2017)通过自注意力机制https://i-blog.csdnimg.cn/direct/db7cd96fa6564928a837191876c8db7f.png
2.当前趋势:
(1)预练习模子:BERT(Devlin, 2019)通过掩码语言模子https://i-blog.csdnimg.cn/direct/fb6c2e8a65284fc985e8c1184d3dae6e.png学习通用语义表示;
(2)神经符号联合:将神经网络与逻辑规则融合,如知识图谱嵌入模子https://i-blog.csdnimg.cn/direct/78fa5b64c7f34530a6941922920d2cd3.png,实现可表明推理。

四、机器学习的分类体系(多维视角下的模子划分)

(一)按学习方法分类(数据标注与交互方式)

1. 监视学习(Supervised Learning)

焦点特性:利用带标签数据 (x, y) 学习映射 x → y。
(1)回归:输出为连续值,如线性回归https://i-blog.csdnimg.cn/direct/9ee157be62be4773beac58758b14f054.png,损失函数 MSE;
(2)分类:输出为离散种别,如逻辑回归 https://i-blog.csdnimg.cn/direct/dde4eaa398aa45699876dd48eaf62ecf.png,损失函数交叉熵 https://i-blog.csdnimg.cn/direct/274ce3d1538f4e6fb957aa39f7263ed6.png。
示例:手写数字识别(MNIST数据集)
(1)输入:28×28 像素图像 https://i-blog.csdnimg.cn/direct/93e9084c709444fe8b227568bf3a9d65.png;
(2)输出:种别 y ∈ {0, 1, ..., 9};
(3)模子:全毗连神经网络,Softmax 输出层 https://i-blog.csdnimg.cn/direct/ca9f2c92de894dccaf2f654fa0e9f7bd.png;
(4)练习:最小化交叉熵损失,反向传播更新权重。
有关“模子优化之强化学习(RL)与监视微调(SFT)的区别和联系”可以看我的CSDN文章:模子优化之强化学习(RL)与监视微调(SFT)的区别和联系_sft和rl区别-CSDN博客 
2. 无监视学习(Unsupervised Learning)

焦点特性:仅利用无标签数据 x 发现内在结构。
聚类:如 K-means算法,流程:
(1)随机初始化 K 个质心https://i-blog.csdnimg.cn/direct/3c8d2c6e03b64fb8aa0353fc4531517a.png;
(2)分配每个样本到最近质心 https://i-blog.csdnimg.cn/direct/00e5424527c2464db5822b7f7e81e61d.png;
(3)重新计算质心https://i-blog.csdnimg.cn/direct/57bc08c4257444ecb7011ab11645dab2.png;
(4)重复直至质心稳定。
降维:如PCA,最大化投影方差 https://i-blog.csdnimg.cn/direct/d08f678ba9fc4bdc85572a33d5fe9e52.png,束缚https://i-blog.csdnimg.cn/direct/487baba09f1d4082b7fbd36935b9ae47.png,解为样本协方差矩阵的前 d 个特性向量。
3. 半监视学习(Semi-Supervised Learning)

焦点特性:联合少量标签数据 L = {(x_i, y_i)} 和大量无标签数据 U = {x_j},如自我练习(Self-Training):
(1)用标签数据练习分类器 f;
(2)对无标签数据猜测伪标签https://i-blog.csdnimg.cn/direct/aafbe69834ed4e5eb3e93a1100c52092.png;
(3)将高置信度样本https://i-blog.csdnimg.cn/direct/8d2cebe9798344fba4828d138e560fec.png加入练习集;
(4)重复直至收敛。
4. 强化学习(Reinforcement Learning)

焦点特性:智能体通过与情况交互,最大化恒久累积奖励。
(1)要素:状态 S、动作 A、奖励 R、转移概率 P(s'|s, a)、策略 pi(a|s);
(2)值函数:状态值https://i-blog.csdnimg.cn/direct/a7ae160fa2f8474392b9fa0010b24001.png,动作值https://i-blog.csdnimg.cn/direct/7651e060174e4c5985b29b8339a75f93.png;
(3)算法:Q-learning 更新规则 https://i-blog.csdnimg.cn/direct/8b8a3c60a0ca484e9badd5240fcfe375.png。

示例:围棋AI AlphaGo的练习流程:
(1)监视学习阶段:从人类对弈数据学习策略网络 pi_θ (a|s);
(2)强化学习阶段:通过自我对弈,用Q-learning优化策略,联合蒙特卡洛树搜索(MCTS)选择动作。
(二)按推理方式分类(从特殊到一般的逻辑路径)

1. 归纳学习(Inductive Learning)

焦点:从具体样本中归纳一般规律,即“从特殊到一般”。
(1)示例空间学习:如决策树通过样本划分特性空间,形成种别判断规则;
(2)统计学习:通过大数定律,用履历风险最小化(ERM)逼近期望风险,如SVM最大化分类间隔https://i-blog.csdnimg.cn/direct/14555be05de0454c891380f1dc154965.png,等价于https://i-blog.csdnimg.cn/direct/425c49071c6f4b14a9b1c78f3074e68d.png 束缚https://i-blog.csdnimg.cn/direct/fd875519641944eba662dc9031b72289.png。
2. 演绎学习(Deductive Learning)

焦点:从一般知识推导出具体结论,即“从一般到特殊”。
(1)基于知识的学习:将先验知识编码为逻辑规则,如专家体系中的产生式规则 IF 条件 THEN 结论,联合数据举行演绎推理;
(2)符号逻辑与神经网络联合:如神经符号体系(Neurosymbolic AI),用神经网络提取特性,再通过逻辑规则举行决策。
3. 类比学习(Analogical Learning)

焦点:通过相似性匹配,将已知领域的知识迁移到新领域。
(1)迁移学习:如微调预练习模子,将ImageNet上练习的ResNet迁移到医学影像分类,固定底层特性提取层,仅练习顶层分类器;
(2)度量学习:学习样本相似度函数 d(x_i, x_j),如三元组损失 L = max(0, d(x_a, x_p) - d(x_a, x_n) + \margin),其中 x_a 为锚样本,x_p 为正样本,x_n 为负样本。
(三)按综合属性分类(模子动态性与学习模式)

1. 批量学习(Batch Learning)

特性:一次性处置惩罚全部练习数据,练习完成后模子参数固定。
上风:便于并行计算,适合静态数据集;
局限:无法顺应数据分布变化,如概念漂移(Concept Drift)场景。
2. 在线学习(Online Learning)

特性:按次序处置惩罚数据样本,实时更新模子参数,如随机梯度下降(SGD)每接收一个样本即更新一次:https://i-blog.csdnimg.cn/direct/896eb9bfeae24e3d87ce06632cbe13d2.png
应用:推荐体系实时响应用户举动变化,股票猜测模子处置惩罚流式数据。
3. 增量学习(Incremental Learning)

特性:在已有知识基础上渐渐学习新数据,避免“灾难性遗忘”。
技术:弹性权重巩固(EWC)通过惩罚参数变化https://i-blog.csdnimg.cn/direct/70332668520240ed838014ddca352143.png,其中 F 为Fisher信息矩阵,记录旧任务紧张参数;
示例:图像识别模子新增种别时,生存对旧种别识别本领。
4. 主动学习(Active Learning)

特性:主动选择最有代价的样本举行标注,低落数据标注本钱。
查询策略:
(1)不确定性采样:选择模子猜测最不确定的样本,如分类中概率靠近 0.5 的样本;
(2)委员会查询:多个模子意见分歧大的样本;
流程:
(1)用少量初始标注数据练习模子;
(2)对无标签数据排序,选择 top-k 最有代价样本;
(3)人工标注后加入练习集,重复练习。

五、数学基础与理论保证(增补王永庆书中的情势化分析)

(一)泛化误差界

根据统计学习理论,对于假设空间 F 中的模子 f,泛化误差 R(f) 满意:
https://i-blog.csdnimg.cn/direct/a448c03a005a4565acdb97d1c2bb41b6.png
其中 |F| 为假设空间大小,N 为样本数,δ为置信度。该不等式表明模子复杂度与样本量的权衡关系(偏差 - 方差困境)。
(二)VC 维理论

VC维 d_VC 描画模子的表达本领,对于二分类问题,若存在 d 个样本可被模子打散(即能表示所有 2^d 种标签组合),则 d_{VC} ≥ d。VC维越高,模子容量越大,但过拟合风险也越高。
(三)凸优化与非凸优化

(1)凸损失函数(如线性回归的 MSE):存在唯一全局最优解,梯度下降可收敛到全局最优;有关凸函数可以看我的CSDN文章:优化算法中的凸函数_凸优化-CSDN博客 
(2)非凸损失函数(如神经网络的交叉熵):存在多个局部最优解,需通过初始化、学习率调度、动量项(https://i-blog.csdnimg.cn/direct/52e85e3c2a2e43a3b665597c5fc770c4.png)等本领逃离鞍点。有关非凸函数可以看我的CSDN文章:常用于优化算法测试的python非凸函数有哪些?_rastrigin函数-CSDN博客 

总结与猜测

机器学习从早期的神经元模子和符号学习,发展到如今的深度学习与大规模预练习模子,其焦点始终围绕 “如何从数据中高效提取可泛化知识”。未来发展将出现以下趋势:
(1)神经符号融合:联合神经网络的感知本领与符号逻辑的推理本领,实现可表明AI;
(2)自监视学习:利用海量无标签数据,通过对比学习(如 SimCLR https://i-blog.csdnimg.cn/direct/e1290f1185e645e782f3b32bf18251b8.png)构建通用特性表示;
(3)低碳机器学习:研究高效模子压缩(如知识蒸馏https://i-blog.csdnimg.cn/direct/7b9ae3ca9383494496a20b2c443f4ebe.png)与边沿设备部署,低落算力斲丧。

通过理解机器学习的基本概念、体系构成、发展脉络与分类体系,我们得以把握这一学科的焦点逻辑,并为现实应用提供理论支持。从数学建模到工程实现,机器学习始终是理论与实践紧密联合的典范,其进步将连续推动人工智能在各领域的落地与创新。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 机器学习的基本概念