神经网络是一种模仿生物神经体系的计算模子，具有广泛的应用和紧张的研究代价。以下将从不同方面详细先容神经网络。
一、神经网络的发展进程
- 20 世纪 60 年代，Hubel 和 Wiesel 在研究猫脑皮层中发现了用于局部敏感和方向选择的神经元结构，卷积神经网络就是在今生物学的基础上发展而来的8。
- 随着互联网和计算机信息技术的不断发展，图神经网络已成为人工智能和大数据处置惩罚范畴的紧张研究方向。图神经网络可对相邻节点间的信息举行有用传播和聚合，并将深度学习理念应用于非欧几里德空间的数据处置惩罚中1。
- 深度神经网络在过去几年中不停是机器学习范畴的热门研究课题。图形处置惩罚单元（GPU）的引入和硬件的进步使得深度神经网络的训练成为大概。从前由于所需的训练样本数量巨大，训练过程是不大概的。新的训练引入的架构在不同的分类和回归问题中已经逾越了经典方法4。
二、神经网络的类型
- 图神经网络：图神经网络可对相邻节点间的信息举行有用传播和聚合，并将深度学习理念应用于非欧几里德空间的数据处置惩罚中。简述图计算、图数据库、知识图谱、图神经网络等图结构的相干研究希望，从频域和空间域角度分析与比较基于不同信息聚合方式的图神经网络结构，重点讨论图神经网络与深度学习技术相团结的研究范畴，总结归纳图神经网络在动作检测、图体系、文本和图像处置惩罚任务中的详细应用1。
- 卷积神经网络：卷积神经网络是一种前馈神经网络，作为一种深度学习算法，它可以对特定范围内的其他单元做出反应，并且能够很好地处置惩罚巨大的图像。卷积神经网络是传达视觉信息的非常方便的工具，并且可以很好地进步识别精度。然而，体积神经网络也增加了网络的复杂性，使其更难以优化并且更轻易过拟合。近年来，对卷积神经网络的改进主要在六个主要部分：卷积层、池化层、激活函数、损失函数、正则化和优化，这淘汰了卷积神经网络的冗余，并使其能够更快、更正确地处置惩罚10。
- 量子神经网络：量子计算与人工神经网络相团结的量子神经网络有大概成为未来信息处置惩罚的紧张手段。分析了人工神经网络向量子神经网络演变的动因及形式、量子神经网络的上风及大概的物理实现方法。着重讨论了几种量子神经网络模子的结构、学习方法及特性，并阐述了量子神经网络在模式识别、纠缠计算、函数近似等方面的初步应用7。
三、神经网络与生物大脑的关系
- 神经网络与人类大脑有一定的相似性。人类大脑由 100000 亿条神经构成，这些神经由神经元构成，神经元具有一定的权重并接收信号，这些信号被处置惩罚并转换为所需的输出。类似地，神经网络作为一种并行设备产生，可以比通例体系更快地执行计算任务。神经网络的基本任务是根据估计、改进和信息聚类来感知示例和分组能力，因此被称为人工神经网络（ANN）。这个网络充当人类大脑的角色，积极解决复杂的问题。ANN 是并行分布式处置惩罚体系或连接体系3。
- 第 1 章先容了生物大脑的功能构造。首先描述了神经元，它们是大脑的基本单元。这些结构能够网络信号、处置惩罚它们并将它们传递给后续单元。同时，它们是动态的，可以根据环境条件而变化。本章的第二部分致力于描述突触：神经元之间连接的动态实际上是学习和记忆过程的基础。两者都与信号强度和迭代的概念有关。因此，提出了关于信息怎样存储的详细描述。本章以对使神经环境成为高度互连构造的一些特性的描述性概述竣事9。
四、神经网络的训练方法
- 最近的机器学习大部分都会合在深度学习上，此中神经网络权重通过随机梯度下降的变体训练。另一种方法来自神经进化范畴，该范畴利用了进化算法来优化神经网络，这是受天然大脑自己是进化过程的产物的启发。神经进化可以实现基于梯度的方法通常不可用的紧张功能，包括学习神经网络构建块（比方激活功能），超参数，体系结构，甚至是学习自己的算法。神经进化也通过在搜索过程中维持大量解决方案，实现极端探索和大规模平行化，这也与深度学习（和深度增强学习）不同5。
- 自尺寸估计前馈网络（SSFN）是一种前馈多层网络，在训练过程中具有低复杂性，因为其权重中利用了随机矩阵实例。其权重矩阵通过逐层凸优化方法（监视训练）与随机矩阵实例（无监视训练）相团结举行训练。探索利用确定性变换来替换 SSFN 权重矩阵中的随机矩阵实例。利用确定性变换自动降低计算复杂性，因为其结构允许通过快速算法举行计算。研究了几种确定性变换，如离散余弦变换、哈达玛变换和小波变换等。为此，开辟了两种基于特性统计参数的方法。所提出的方法在每一层上实现，以决定利用的确定性变换。通过 SSFN 在对象分类任务中利用几个基准数据集说明了所提出方法的有用性。结果表现出与原始 SSFN 相似的得当性能，并且在不同数据集上也具有一致性。因此，证明了在机器学习研究中引入确定性变换的大概性4。
五、神经网络的应用
- 图神经网络在动作检测、图体系、文本和图像处置惩罚任务中有详细应用1。
- 卷积神经网络主要用于图像分类、文本处置惩罚、视频处置惩罚等10。
- 量子神经网络在模式识别、纠缠计算、函数近似等方面有初步应用7。
- 深度神经网络在许多图像分析任务中实现人类程度性能，但 DNN 大多部署到消耗相当数量的电力的 GPU 平台。新硬件平台采用较低精度算术实现功耗的急剧淘汰。最近，脑引发的尖峰神经芯片已经实现了毫无武力的耗材甚至较低的功耗，同时仍提供实时处置惩罚6。 1
图神经网络综述王健宗 3
Neural Networks and Their ApplicationsShivani Joshi 4
Development of Neural Networks Using Deterministic TransformsGrau Jurado, Pol 5
通过神经进化计划神经网络Kenneth O. Stanley 6
进步尖端神经网络馈电神经网络的分类精度Antonio Jimeno Yepes 睁开
神经网络的发展进程中有哪些关键节点和紧张技术突破？
神经网络的发展进程漫长而曲折，履历了多个关键节点和紧张技术突破。以下是对神经网络发展进程中的关键节点和紧张技术突破的详细阐述：
一、早期探索阶段
20 世纪 40 年代至 60 年代，神经网络开始了早期的探索。
- 麦卡洛克 - 皮茨神经元模子：1943 年，神经生理学家沃伦・麦卡洛克（Warren McCulloch）和数学家沃尔特・皮茨（Walter Pitts）提出了麦卡洛克 - 皮茨神经元模子，这是第一个人工神经元模子，为后来神经网络的发展奠基了基础2。该模子将神经元的运动描述为一个二进制的阈值逻辑单元，能够对输入举行加权求和，并根据阈值举行输出决策。这个模子固然简朴，但它初次将神经元的运动举行了数学建模，为理解大脑的信息处置惩罚机制提供了一个初步的框架。
- 感知机模子：1957 年，弗兰克・罗森布拉特（Frank Rosenblatt）提出了感知机模子，这是第一个具有学习能力的神经网络模子3。感知机是一种简朴的线性分类器，它可以通过调整权重来学习输入数据的模式，从而实现对不同类别的分类。感知机的出现引起了广泛的关注，它为神经网络的学习算法提供了一个紧张的范例。然而，由于感知机只能处置惩罚线性可分的问题，对于复杂的非线性问题无能为力，这也导致了后来神经网络发展的一段停滞期。
二、低潮期
20 世纪 60 年代末至 80 年代，神经网络的发展进入了低潮期。
- 明斯基和佩珀特的批评：1969 年，马文・明斯基（Marvin Minsky）和西摩・佩珀特（Seymour Papert）出版了《感知机》一书，对感知机的范围性举行了深入的分析和批评4。他们指出，感知机只能处置惩罚线性可分的问题，对于复杂的非线性问题无能为力，而且感知机的学习算法也存在一些问题。这本书的出版对神经网络的发展产生了重大的影响，使得神经网络的研究陷入了一段长时间的停滞期。
三、复兴阶段
20 世纪 80 年代至 90 年代，神经网络的发展迎来了复兴。
- 反向传播算法：1986 年，大卫・鲁梅尔哈特（David Rumelhart）、杰弗里・辛顿（Geoffrey Hinton）和罗纳德・威廉姆斯（Ronald Williams）提出了反向传播算法，这是一种用于训练多层神经网络的有用算法5。反向传播算法通过计算网络输出与盼望输出之间的误差，并将误差反向传播到网络的各个层，从而调整网络的权重，使得网络的输出渐渐迫近盼望输出。反向传播算法的出现使得多层神经网络的训练成为大概，极大地推动了神经网络的发展。
- 卷积神经网络：20 世纪 80 年代末至 90 年代初，卷积神经网络开始出现6。卷积神经网络是一种专门用于处置惩罚图像等二维数据的神经网络，它通过卷积层和池化层的组合，能够有用地提取图像的特性，从而实现对图像的分类和识别。卷积神经网络的出现使得计算机视觉范畴取得了重大的突破，成为了神经网络发展的一个紧张里程碑。
四、蓬勃发展阶段
21 世纪以来，神经网络的发展进入了蓬勃发展阶段。
- 深度学习的兴起：2006 年，杰弗里・辛顿等人提出了深度信心网络（Deep Belief Network，DBN），并通过无监视学习的方法对其举行预训练，然后再用有监视学习的方法对其举行微调，从而有用地解决了深度神经网络的训练问题7。这一突破引发了深度学习的热潮，使得深度神经网络在图像识别、语音识别、天然语言处置惩罚等范畴取得了巨大的乐成。
- 循环神经网络和长短时记忆网络：20 世纪 80 年代末至 90 年代初，循环神经网络（Recurrent Neural Network，RNN）开始出现8。循环神经网络是一种专门用于处置惩罚序列数据的神经网络，它通过循环结构能够有用地捕捉序列数据中的时间依赖关系。然而，传统的循环神经网络存在恒久依赖问题，即难以有用地处置惩罚长序列数据中的恒久依赖关系。为相识决这个问题，1997 年，塞普・霍奇里特（Sepp Hochreiter）和尤尔根・施密德胡伯（Jürgen Schmidhuber）提出了长短时记忆网络（Long Short-Term Memory，LSTM）9。长短时记忆网络通过引入门控机制，能够有用地控制信息的流动，从而解决了传统循环神经网络的恒久依赖问题。长短时记忆网络的出现使得循环神经网络在天然语言处置惩罚等范畴取得了重大的突破。
- 图神经网络：近几年来，将深度学习应用到处置惩罚和图结构数据相干的任务中越来越受到人们的关注。图神经网络的出现使其在上述任务中取得了重大突破，比如在外交网络、天然语言处置惩罚、计算机视觉甚至生命科学等范畴得到了非常广泛的应用10。图神经网络可以把实际问题看作图中节点之间的连接和消息传播问题，对节点之间的依赖关系举行建模，从而能够很好地处置惩罚图结构数据。
- 量子深度学习神经网络：2019 年，有研究对量子深度学习神经网络的近况举行了观察。发现几个公司增加了量子计算机的库存，新算法解决了量子网络的训练问题，新量子感知机解决了神经网络的非线性函数问题。这些成果大概会带来真正的量子深度学习神经网络11。
综上所述，神经网络的发展进程中履历了多个关键节点和紧张技术突破，这些突破不断推动着神经网络的发展，使其在各个范畴得到了广泛的应用。随着技术的不断进步，相信神经网络在未来还会取得更多的突破和创新。
2
Introduction to Neural NetworksGrégoire Montavon
3
Neural Networks and Their ApplicationsShivani Joshi
4
Development of Neural Networks Using Deterministic TransformsGrau Jurado, Pol
5
通过神经进化计划神经网络Kenneth O. Stanley
6
进步尖端神经网络馈电神经网络的分类精度Antonio Jimeno Yepes
睁开
不同类型的神经网络在应用中有哪些上风和范围性？
神经网络在近年来得到了广泛的应用，不同类型的神经网络具有各自独特的上风和范围性。以下将详细先容几种常见类型神经网络的特点。
一、深度神经网络（DNN）
深度神经网络在角度到达估计问题中具有明显上风。Oded Bialer、Noa Garnett 和 Tom Tirer 在 2019 年发表的 “Performance Advantages of Deep Neural Networks for Angle of Arrival Estimation” 中指出，当信号源数量较大时，最大似然估计器由于复杂度极高而难以处置惩罚，而深度神经网络方法可以在具有可行复杂度的情况下达到最大似然性能，并且在各种信噪比和阵列相应不正确的情况下优于其他可行的信号处置惩罚估计方法20。
然而，深度神经网络也存在一些范围性。比方，训练深度神经网络必要大量的数据和计算资源，并且轻易出现过拟合问题。别的，深度神经网络的解释性较差，难以理解其决策过程。
二、宽神经网络
从 “The Limitations of Large Width in Neural Networks: A Deep Gaussian Process Perspective” 这一研究来看，作者 Geoff Pleiss 和 J. Cunningham 在 2021 年指出，大宽度的神经网络在一定条件下大概存在范围性。通例网络随着宽度增加会得到更强的表示能力，但这大概掩盖了一些负面效应。理论和实证结果表明，大宽度大概对条理模子不利，非参数深度高斯过程会收敛到高斯过程，变得更浅且表示能力没有增加。在特定宽度（如宽度为 1 或 2）时大概达到最佳测试性能，凌驾这个宽度后性能大概会下降21。
三、神经网络集成
王正群、陈世福和陈兆乾在 2005 年发表的 “优化分类型神经网络线性集成” 中，提出了一种构造多神经网络集成体系的方法。该体系的输出由个体神经网络的输出线性加权产生，并提出了一种鉴别函数来度量个体神经网络在不同权重下的集成性能，函数表示了由个体神经网络输出描画的模式类内会聚性和类间散布性。通过遗传算法求解最优个体网络集成权重问题，分析了该鉴别函数的公道性及其与 Bayes 决策规则的关系22。
神经网络集成的上风在于可以团结多个神经网络的上风，进步体系的性能和泛化能力。然而，神经网络集成也存在一些范围性，如计算复杂度较高，必要更多的训练时间和资源。
四、BP 神经网络
汪拥军、赵时和马曾在 2009 年发表的 “BP 神经网络在网络通信中的应用” 中，根据神经网络的原理和 BP 神经网络的特点，说明了将 BP 神经网络技术应用在网络通信中的上风，并从三个方面先容了 BP 神经网络在网络通信中的应用，末了分析了如今神经网络技术在网络通信中应用研究的近况和发展趋势23。
BP 神经网络的上风在于具有较强的自学习和自适应能力，可以处置惩罚非线性问题。但是，BP 神经网络也存在一些范围性，如轻易陷入局部极小值、训练速率较慢、对初始权值敏感等。
五、两层神经网络
Behrooz Ghorbani、Theodor Misiakiewicz 和 Song Mei 在 2020 年发表的 “两层神经网络懒惰训练的范围性” 中，研究了特性向量为 D 维高斯且相应为未知二次函数的模子以及特性向量为两个 D 维居中高斯混合且 Y_I 为相应类标签的模子。利用双层神经网络具有二次激活，并比较了随机特性（RF）制度、神经切线（NT）制度和全训练的神经网络（NN）制度三种不同的学习制度。结果表明，当神经元的数量小于环境维度时，这三种训练制度中实现的预测风险之间存在潜伏的无染色差距。当神经元数大于尺寸的数量时，NT 和 NN 学习都实现零风险24。
六、尖峰神经网络（SNN）
“Efficient Spiking Neural Networks With Radix Encoding” 中，作者 Zhehui Wang、Xiaozhe Gu 和 Rick Siow Mong Goh 在 2022 年提出了一种基数编码的尖峰神经网络，具有超短的尖峰序列。能够在不到六个时间步长内实现比传统对应物更高的正确性，同时还开辟了一种将基数编码技术融入人工神经网络到尖峰神经网络转换方法的方法，以便在成熟平台和硬件上更有用地训练基数编码的尖峰神经网络。尖峰神经网络由于其事件驱动的计算机制和用加法代替耗能的权重乘法，在延迟和能量效率方面比传统人工神经网络具有上风25。
但尖峰神经网络也面临一些挑战，如必要特定的硬件支持、训练算法相对复杂等。
七、量子神经网络（QNN）
李飞、赵生妹和郑宝玉在 2004 年发表的 “量子神经网络及其应用” 中，分析了人工神经网络向 QNN 演变的动因及形式、QNN 的上风及大概的物理实现方法。着重讨论了几种 QNN 模子的结构、学习方法及特性，并阐述了 QNN 在模式识别、纠缠计算、函数近似等方面的初步应用。量子神经网络有大概成为未来信息处置惩罚的紧张手段，其上风在于利用量子计算的特性可以进步计算速率和处置惩罚复杂问题的能力7。
然而，量子神经网络如今还处于发展的早期阶段，面临着许多技术挑战，如量子比特的稳定性、量子纠错等问题。
八、卷积神经网络（CNN）
Bernardo Janko Gongalves Biesseck、Edson Roteia Araujo Junior 和 Erickson R. Nascimento 在 2019 年发表的 “探索卷积神经网络对局部特性二元测试选择的范围性” 中，研究了卷积神经网络在局部特性二元测试选择的问题。结果表现了存在局部最小值以及不精确的渐变组件的问题，但卷积神经网络通过学习本地表示，在局部特性提取中贡献明显，比方升力方法产生的关键点描述符比手工算法更具辨别力27。
卷积神经网络的上风在于在图像识别、目标检测等任务中表现出色，能够自动学习特性。但也存在一些范围性，如必要大量的训练数据、对参数调整敏感等。
九、硬件尖峰神经网络
在 “Advantages of binary stochastic synapses for hardware spiking neural networks with realistic memristors” 中，作者 K. Sulinskas 和 M. Borg 在 2022 年研究了硬件实现尖峰神经网络的问题。发现当利用基于尖峰时间依赖可塑性的无监视训练时，二进制随机突触与实际模仿忆阻器相比具有上风。二进制随机尖峰神经网络在思量具有实际位分辨率的忆阻器以及在具有相当大的周期噪声的情况下，性能与模仿确定性尖峰神经网络相似甚至更好，并且必要更少的权重更新来训练，从而更好地利用实际忆阻设备中的有限耐久性28。
总的来说，不同类型的神经网络在应用中各有上风和范围性。在实际应用中，必要根据详细问题选择合适的神经网络类型，并团结数据特点和计算资源等因素举行综合思量。
7
量子神经网络及其应用李飞
20
Performance Advantages of Deep Neural Networks for Angle of Arrival EstimationOded Bialer
21
The Limitations of Large Width in Neural Networks: A Deep Gaussian Process PerspectiveGeoff Pleiss
22
优化分类型神经网络线性集成王正群
23
BP神经网络在网络通信中的应用汪拥军
睁开
神经网络的训练方法怎样进一步优化以进步性能和效率？
神经网络的训练方法不停是机器学习范畴的研究重点，优化训练方法可以明显进步神经网络的性能和效率。以下将从几个方面探究神经网络训练方法的优化计谋。
一、参数通讯优化
在卷积神经网络的并行训练中，可以将梯度计算和参数通讯同时执行，利用计算时间来覆盖通讯时间34。通过改变通讯方式，利用归约和冗余通讯方式淘汰参数通讯时的同步等候时间。这样可以进步并行训练的效率，从而间接进步整个神经网络的训练效率。
二、数据加载优化
利用预加载和异步拷贝的方式将数据提前加载并拷贝到 GPU 显存空间，淘汰数据加载带来的时间消耗34。这一计谋可以确保在训练过程中数据能够快速地被神经网络利用，避免因为数据加载等候而降低训练效率。
三、代价函数优化
一样平常而言，误差代价函数是一个跟神经网络在特定训练数据聚集上误差情况的可微分函数。通过利用数学方法寻求这个函数的最小值，可以进一步使权值最优化35。可以尝试不同的代价函数，或者对现有的代价函数举行改进，以更好地衡量神经网络的输出精确性，从而引导神经网络朝着更优的方向更新参数。
四、基于元启发式算法的监视学习
对于尖峰神经网络（SNNs），由于直接利用基于反向传播的监视学习方法具有挑战性，因此可以采用基于元启发式算法的监视学习方法。比方，通过适应时间误差函数，利用七种着名的元启发式算法，如和声搜索（HS）、布谷鸟搜索（CS）、差分进化（DE）、粒子群优化（PSO）、遗传算法（GA）、人工蜂群（ABC）和语法进化（GE）作为搜索方法举行网络训练38。相对目标触发时间被用来代替固定和预定的时间，使得误差函数的计算更加简朴。实验结果表明，这种方法在解决四个分类基准数据集方面具有竞争上风。
五、知识蒸馏
对于尖峰神经网络，可以通过知识蒸馏的方法举行训练。详细来说，可以利用 Kullback-Leibler 散度（KL 散度）举行知识蒸馏，训练低延迟的尖峰神经网络。这种方法可以在不损失正确性的情况下实现最快的推理，相比其他最先进的 SNN 模子具有上风31。
综上所述，通过参数通讯优化、数据加载优化、代价函数优化、基于元启发式算法的监视学习以及知识蒸馏等方法，可以进一步优化神经网络的训练方法，进步其性能和效率。
先容神经网络的类型 - 豆包神经网络是一种模仿生物神经体系的计算模子，具有广泛的应用和紧张的研究代价。以下将从不同方面详细先容神经网络。https://www.doubao.com/thread/we77da3781100498c
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
|
