本章主要介绍线性可分支持向量机与硬隔断最大化。
前提知识：
统计学习方法（第二版） 第七章 拉格朗日对偶性-CSDN博客
目录
前言
题目引出与思考回首
1.回首感知机
2.回首逻辑回归
3.探求更好的超平面
一、线性可分支持向量机与硬隔断最大化
1.线性可分支持向量机
2.函数隔断与几何隔断
3.隔断最大化
4.最大隔断分离超平面存在唯一性
5.支持向量与隔断边界
6.求支持向量例题
7.学习的对偶算法
8.使用对偶函数来求线性可分支持向量机
总结
前言
支持向量机是传统的呆板学习方法，在接触到呆板学习时，它对我的印象特别深刻，但当时由于时间和本事的有限，只是简单的学习了一下，只是大致了解支持向量机表层是如何工作的，并没有深入了解，今天在以数学的视角再来学习，希望本身能有所劳绩。
支持向量机（support vector machine），简称SVM，是一种二分类模型。它的基本模型是界说在特性空间上的隔断最大的线性分类器，隔断最大使它有别于感知机；支持向量机还包罗核本事，这使它成为实质上的非线性分类器。支持向量机的学习计谋就是隔断最大化，可形式化为求解凸二次规划的题目，也等价于正则化的合页损失函数的最小化题目。支持向量机的学习算法是求解凸二次规划的最优化算法。
支持向量机的学习方法包含构建由简至繁的模型，接下来会一点点的介绍。
题目引出与思考回首
1.回首感知机
感知机是对于线性可分的数据集来说，就是探求一个超平面，将正例和负例区分开来，创建感知的损失函数应用随机梯度下降法，求解参数，进而求出超平面。我们知道所求出的超平面是不唯一的，终极结果取决于参数的初值选取和误分类点的选取次序。对于线性可分的题目，肯定有一个超平面能最好的区分，那这超平面怎么求呢？
对于一个线性可分的数据集来说，让训练误差为零的决策边界有无数条。
2.回首逻辑回归
逻辑回归在我的个人理解就是探求一个超平面，颠末逻辑斯蒂分布的映射，进而获得概率模型，又回归到探求一个超平面了，那么照旧哪个超平面最好呢？
3.探求更好的超平面
这里以二维空间来举例子，方便理解。
探求更好的超平面，以将正例和负例分的开的程度来衡量，超平面分的越开，表示模型的泛化本事比力好，比如下面的例子。
从图中我们可以看到很显着第二个直线将数据集分的更开，因为将数据分开的隔断最大。
注意：在橙色线上的数据点为支持向量。后面又支持向量的界说。
一、线性可分支持向量机与硬隔断最大化
1.线性可分支持向量机
线性可分，存在无穷个分离超平面，使用线性可分支持向量机使用隔断最大化，得出最优超平面。
2.函数隔断与几何隔断
函数隔断：顾名思义就是以函数直接来计算出的隔断。
几何隔断：顾名思义就是点到直线隔断公式。
3.隔断最大化
探求几何隔断最大化的超平面。
这里欠好理解的就是为什么函数隔断，对目的函数的优化没有影响呢？
我们知道当给定一个超平面时，大概对应无穷个（w，b），这些（w，b）成倍数关系，但一个超平面所确定的支持向量是确定的，那么我们就大概能通过（w，b）到（aw，ab）使得所有支持向量到超平面的函数隔断为1，而对于原来的几何隔断没有变，也就是说对目的函数的优化也没有影响。
这里不理解的好好回到上面再看一下函数隔断与几何隔断。
4.最大隔断分离超平面存在唯一性
最大隔断分离超平面存在唯一性的证明，了解即可。
5.支持向量与隔断边界
6.求支持向量例题
起首构建约束条件。
求解w，b求出超平面，函数隔断等于1的点（数据）为支持向量。
求解约束题目的方法就不详细介绍了，可以用拉格朗日乘数法。
7.学习的对偶算法
通过求解原题目的对偶题目的解来求原题目的解是常用的方法，颠末前面的学习多少对对偶题目有了解，凸优化题目的求解。
统计学习方法（第二版） 第七章 拉格朗日对偶性-CSDN博客
8.使用对偶函数来求线性可分支持向量机
总结
熟悉函数隔断和几何隔断，并理解隔断最大化，与原题目的提出，学会使用拉格朗日对偶性来通过对偶函数求解原题目的解，熟悉支持向量，求解支持向量，通过学习的对偶算法来求解超平面。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
