体系分类
一般来说，最优化算法研究可以分为：构造最优化模子、确定最优化问题的类型与设盘算法、实现算法或调用优化算法软件包举行求解。
最优化模子的构造与现实问题息息相关。打个比方，给定二维欧几里得空间的若干个分离点，假定它们可以通过一条直线分成两部门，也可以通过一条曲线分成两部门。那么分别利用直线和曲线所得到的最优化模子是不同的。在前文的问题中，目标函数与束缚函数都是由模子来决定的。在确定模子后，我们再对模子对应的优化问题举行分类。为什么要对问题再次分类呢？缘故原由是：
不存在对于所有优化问题的一个同一的算法。
所以我们必要针对具体优化问题所属的类别，来设计或者调用相应的算法求解器。
最后就是模子的求解过程。同一类优化问题往往存在不同的求解算法。对于具体的优化问题，我们必要充分利用问题的结构，并根据问题的需求（求解精度和速率等）来设计相应算法。另外，根据算法得到的结果，我们可以判定模子构造是否合理或进一步改进模子。假如构造的模子比较复杂，那么算法求解起来相对困难（时间慢或精度差）。此时算法分析可以帮助我们设计更换模子，以确保快速且比较精致地求出问题的解。
这三个部门的研究对于形成完备的最优化体系是很有必要的。现实应用导出的各种最优化模子给最优化领域不断地注入新鲜血液，对现有的优化算法举行挑战并推动其向前发展。最优化算法的设计以及理论分析帮助现实问题建立模子更加方便快捷，且建立出来的模子更加稳固。模子与算法是相辅相成的，这才能使得最优化领域不断发展。
一连和离散优化问题
最优化问题可分为一连和离散优化问题两大类。一连优化问题是指决策变量所在的可行域是一连的，比如平面、区间等。如稀疏优化问题的束缚聚集就是一连的。离散优化问题是指决策变量在离散聚集上取值，比如离散点集、整数集等。常见的离散优化问题有整数规划，其对应的决策变量的取值范围是整数聚集。
一连优化问题的办理方法：可以根据邻域内的取值信息来判定该点是否最优。
离散优化问题的办理方法：往往将其转变为一连优化问题（通过分段等本领）
无束缚和束缚优化问题
另一种重要的分类是是否存在束缚。无束缚优化指的是优化问题的决策变量没有束缚条件限制。相对地，束缚优化问题指的是带有束缚条件的问题。现实中，这两类优化问题广泛存在。无束缚优化问题对应于在欧几里得空间中求解一个函数的最小值点。
与此同时，很多束缚优化问题的求解也是转化为无束缚问题，所以在某种水平上，束缚优化问题就是无束缚优化问题。很多束缚优化问题的求解也是转化为一系列无束缚问题来做，常见的方式有增广，拉格朗日函数法，罚函数法等。尽管如此，束缚优化问题的理论以及算法研究仍然是很重要的。主要缘故原由是，借助于束缚函数，我们可以更好地形貌可行域的多少性质，进而找到最优解。对于范例的束缚和无束缚优化模子，我们将会在本书的第三章中先容，相应的理论以及算法会之后举行教学。
凸优化和非凸优化问题
凸优化：最小化问题中的目标函数与可行域分别是凸函数与凸集。特点：凸优化问题的恣意局部最优解都是全局最优解。因此，在现实问题中，我们尝尝更加倾向于得到一个凸优化问题模子。
全局和局部最优解
优化算法
若一个优化问题可用代数表达式给出其最优解，那么此解为显式解。现实问题往往无法体现求解的，因此常利用迭代算法。
迭代算法思想：从一个初始点x0，以一个特定的规律举行迭代，得到一个序列{xk},若迭代在有限步内终止，那么希望该序列的最后一点为解；若迭代点列是无穷聚集，那么希望该序列的极限点为解。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
