统计学习方法(第二版) 第七章 支持向量机（第一节）
本章主要介绍线性可分支持向量机与硬隔断最大化。前提知识：
统计学习方法（第二版） 第七章 拉格朗日对偶性-CSDN博客
目录
前言
题目引出与思考回首
1.回首感知机
2.回首逻辑回归
3.探求更好的超平面
一、线性可分支持向量机与硬隔断最大化
1.线性可分支持向量机
2.函数隔断与几何隔断
3.隔断最大化
4.最大隔断分离超平面存在唯一性
5.支持向量与隔断边界
6.求支持向量例题
7.学习的对偶算法
8.使用对偶函数来求线性可分支持向量机
总结
前言
支持向量机是传统的呆板学习方法，在接触到呆板学习时，它对我的印象特别深刻，但当时由于时间和本事的有限，只是简单的学习了一下，只是大致了解支持向量机表层是如何工作的，并没有深入了解，今天在以数学的视角再来学习，希望本身能有所劳绩。
支持向量机（support vector machine），简称SVM，是一种二分类模型。它的基本模型是界说在特性空间上的隔断最大的线性分类器，隔断最大使它有别于感知机；支持向量机还包罗核本事，这使它成为实质上的非线性分类器。支持向量机的学习计谋就是隔断最大化，可形式化为求解凸二次规划的题目，也等价于正则化的合页损失函数的最小化题目。支持向量机的学习算法是求解凸二次规划的最优化算法。
支持向量机的学习方法包含构建由简至繁的模型，接下来会一点点的介绍。
题目引出与思考回首
1.回首感知机
感知机是对于线性可分的数据集来说，就是探求一个超平面，将正例和负例区分开来，创建感知的损失函数应用随机梯度下降法，求解参数，进而求出超平面。我们知道所求出的超平面是不唯一的，终极结果取决于参数的初值选取和误分类点的选取次序。对于线性可分的题目，肯定有一个超平面能最好的区分，那这超平面怎么求呢？
https://i-blog.csdnimg.cn/direct/80b8d4b0ab3e4f86b6fcd5e755320538.png
对于一个线性可分的数据集来说，让训练误差为零的决策边界有无数条。
https://i-blog.csdnimg.cn/direct/b5e8a910b94f49c0954f090c3fd5584d.png
2.回首逻辑回归
逻辑回归在我的个人理解就是探求一个超平面，颠末逻辑斯蒂分布的映射，进而获得概率模型，又回归到探求一个超平面了，那么照旧哪个超平面最好呢？
https://i-blog.csdnimg.cn/direct/0ca49a44147f4b2da34b21f04c0b31de.png
3.探求更好的超平面
这里以二维空间来举例子，方便理解。
探求更好的超平面，以将正例和负例分的开的程度来衡量，超平面分的越开，表示模型的泛化本事比力好，比如下面的例子。
https://i-blog.csdnimg.cn/direct/cf949168c2c84b14af5a376c328c2f2a.jpeg
从图中我们可以看到很显着第二个直线将数据集分的更开，因为将数据分开的隔断最大。
注意：在橙色线上的数据点为支持向量。后面又支持向量的界说。
一、线性可分支持向量机与硬隔断最大化
1.线性可分支持向量机
https://i-blog.csdnimg.cn/direct/b84dd853fc43439c8d01458f014e140b.png
线性可分，存在无穷个分离超平面，使用线性可分支持向量机使用隔断最大化，得出最优超平面。
https://i-blog.csdnimg.cn/direct/f6ed8e8b4ab34644b74ba577335e7bed.png
https://i-blog.csdnimg.cn/direct/e44fa2a7c6364c6aaf0b9b84540475f4.png
2.函数隔断与几何隔断
函数隔断：顾名思义就是以函数直接来计算出的隔断。
https://i-blog.csdnimg.cn/direct/aa46766d6a5f456590f01f1e4411ceb3.png
几何隔断：顾名思义就是点到直线隔断公式。
https://i-blog.csdnimg.cn/direct/b6b3752b5d164be5b0bfefdc9bed421b.png
https://i-blog.csdnimg.cn/direct/bd00a2e55e234c759891aec445549d32.png
3.隔断最大化
探求几何隔断最大化的超平面。
https://i-blog.csdnimg.cn/direct/02c5892bfef6472fbcfef06b6b37347d.png
https://i-blog.csdnimg.cn/direct/acbf30d8f6f144918b46090b76a11e48.png
https://i-blog.csdnimg.cn/direct/a59e1b82fbfe4dffab6d0cfe9fadd652.png
https://i-blog.csdnimg.cn/direct/2779aeae860240b79c4730ec9cee80f0.png
这里欠好理解的就是为什么函数隔断，对目的函数的优化没有影响呢？
我们知道当给定一个超平面时，大概对应无穷个（w，b），这些（w，b）成倍数关系，但一个超平面所确定的支持向量是确定的，那么我们就大概能通过（w，b）到（aw，ab）使得所有支持向量到超平面的函数隔断为1，而对于原来的几何隔断没有变，也就是说对目的函数的优化也没有影响。
这里不理解的好好回到上面再看一下函数隔断与几何隔断。
https://i-blog.csdnimg.cn/direct/34a1aad5deaa4d5fb8c28d4250525d78.png
https://i-blog.csdnimg.cn/direct/6e0495df0ffd4a6f80b51e2231fb0df3.png
https://i-blog.csdnimg.cn/direct/c091680762154668943a8f60f9d80171.png
https://i-blog.csdnimg.cn/direct/f31ef48f339049eaa14e516145235ad6.png
4.最大隔断分离超平面存在唯一性
最大隔断分离超平面存在唯一性的证明，了解即可。
https://i-blog.csdnimg.cn/direct/08d8a6b45c58415ba3f2eb0d47236347.png
5.支持向量与隔断边界
https://i-blog.csdnimg.cn/direct/6d6d17f1b8284a4ebdb69e0717da4484.png
https://i-blog.csdnimg.cn/direct/0de29d4361f841cd9858351884d401b7.png
https://i-blog.csdnimg.cn/direct/68506d80203a4cf696aa2cb4d4a69be6.png
6.求支持向量例题
https://i-blog.csdnimg.cn/direct/304c3c9ebc0640f89c645cb70e96742f.png
起首构建约束条件。
https://i-blog.csdnimg.cn/direct/c184adca5da24af9979335f56042de7e.png
求解w，b求出超平面，函数隔断等于1的点（数据）为支持向量。
求解约束题目的方法就不详细介绍了，可以用拉格朗日乘数法。
https://i-blog.csdnimg.cn/direct/7250ed0eb76e4d5f98989ef5cc487aa3.png
7.学习的对偶算法
通过求解原题目的对偶题目的解来求原题目的解是常用的方法，颠末前面的学习多少对对偶题目有了解，凸优化题目的求解。
统计学习方法（第二版） 第七章 拉格朗日对偶性-CSDN博客
https://i-blog.csdnimg.cn/direct/afe63833d703454b89e2c8691230c0eb.png
https://i-blog.csdnimg.cn/direct/2d8853ab6c554941b5c9df621085e0af.jpeg
https://i-blog.csdnimg.cn/direct/b18d99762b9c4b28aba8157a05a8c5dc.jpeg
https://i-blog.csdnimg.cn/direct/c3a203314f0e48fc87483b15ab1d5860.png
https://i-blog.csdnimg.cn/direct/496e8ece454f4b558e9b1c2c7475ec15.png
https://i-blog.csdnimg.cn/direct/daf9856a7fac4dcbb17ca59b9c92ae69.png
https://i-blog.csdnimg.cn/direct/5d996219e3fa49a6be0b5befd60bdcca.png
https://i-blog.csdnimg.cn/direct/789b9fb0c0d2410faaaa4424bba5aed3.png
https://i-blog.csdnimg.cn/direct/8771b105f27f4ecfb96c911c4aff56fa.png
https://i-blog.csdnimg.cn/direct/533b83bb085a41568f8225af4a59d196.png
https://i-blog.csdnimg.cn/direct/09be9c24c6fa41ff9c66100d83d1cd3c.png
https://i-blog.csdnimg.cn/direct/3a5b0090b4b44c14aad4cc8bfcaf7b3d.png
https://i-blog.csdnimg.cn/direct/aed45c73649640308a50fd5a40e8acd5.png
https://i-blog.csdnimg.cn/direct/9c093d2107954b63b8c3e39dff4ebdc3.png
https://i-blog.csdnimg.cn/direct/b8cafb67e1e140ad8daf648f2261879f.png
https://i-blog.csdnimg.cn/direct/3ff356eeeb2d4266a0667305910c173c.png
8.使用对偶函数来求线性可分支持向量机
https://i-blog.csdnimg.cn/direct/1d5fac5ff2d94f3eb574308e7cbb529e.png
https://i-blog.csdnimg.cn/direct/1f655a1e826b4c8eb6a58d0ad8720ca0.png
总结
熟悉函数隔断和几何隔断，并理解隔断最大化，与原题目的提出，学会使用拉格朗日对偶性来通过对偶函数求解原题目的解，熟悉支持向量，求解支持向量，通过学习的对偶算法来求解超平面。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]