支持向量机

打印 上一主题 下一主题

主题 1950|帖子 1950|积分 5850



支持向量机(SVMs)是一种用于分类、回归和异常检测的有监督学习方法。
支持向量机的长处有:


  • 在高维空间里也非常有用 对于数据维度远高于数据样本量的环境也有用
  • 在决议函数中使用训练集的子集(也称为支持向量),因此也是内存高效使用的。
  • 通用性:可以为决议函数指定不同的核函数。已经提供了通用核函数,但也可以指定自界说核函数。
支持向量机的缺点包括:

如果特征数量远远大于样本数,则在选择核函数和正则化项时要避免过度拟合。
SVMs不直接提供概率估计, 这些盘算使用昂贵的五倍交叉验证(见分数和概率)。
how

原理(简述)

比如赤色表示“吸烟”,黄色表示“不吸烟”,那么怎样找到一个平面最大化的将两类群体分开。
如上图所示,分开有很多种方式,左侧也可以分开,右侧也能分开。但明显的,右侧会“分的更开”,因而怎样寻找到这样的一个空间平面,让标签项各类别最为明显的分开,此算法过程即为支持向量机。
将点分开时,离平面最近的点要尽可能的远,比如右侧时A点和B点离平面最近,那么算法须要想办法让该类点尽可能地远离平面,这样就称为“分的更好”。左侧时挨着平面最近的两个点离平面太近,以是右侧的分类更好。
与此同时,理论上可以找到‘空间平面’,将点彻底完全地分开,但此种环境并没有用,因为它只是数学上彻底地分开,但对真实数据业务并没有资助,与此同时,数学盘算上如果尽可能地让点分开,那么很容易出现‘过拟合’现象,即训练数据时模型构建完善,但测试数据上的表现糟糕,因而通过可对此类环境进行惩罚,即设置‘毛病项惩罚系数值’。

另外,为构建出空间平面,还须要使用到非线性函数,SVM模型时称‘核函数’,其用用于将特征从低维(比如二维XY轴平面)向高维空间转换,而且对其进行一定参数设置,以寻找较优模型。
核心概念

最大间隔超平面:

SVM的目标是找到能够最大化训练样本间隔的超平面。间隔被界说为到最近训练样本点的距离,这些点被称为支持向量。这种策略的优势在于它提供了一种防止模型过拟合的方法,从而提高了泛化本领。
核本领:

在实际应用中,许多数据集不是线性可分的,这就须要使用核本领。核本领通过一个非线性映射将原始特征空间映射到一个更高维的空间,在这个新空间中,数据更有可能是线性可分的。常用的核函数包括线性核、多项式核、径向基函数(RBF)核等。
软间隔与正则化:

在存在噪声或异常点的数据会合,强制完全分离可能不是最佳选择,因此引入了软间隔的概念。软间隔答应某些数据点违反间隔规则,从而在保持间隔宽度和淘汰分类毛病之间达到平衡。这是通过调解正则化参数C来实现的,C值较小答应更多的违规点,提高模型的机动性,而C较大则强制更严格的分离,增加模型的束缚。
优化问题:

SVM的训练过程本质上是解决一个凸优化问题,目标是最小化一个包含正则化项的丧失函数。这通常通过拉格朗日乘数法和序列最小优化(SMO)算法来实现,后者是解决SVM优化问题的一种有用方法。
多类分类:

原始的SVM是一个二分类器。对于多类分类任务,可以采用“一对一”(OvO)或“一对多”(OvR)策略将多类问题分解为多个二分类问题来处置惩罚。
where


  • 图像分类:在ImageNet竞赛中,固然深度学习模型渐渐占据主导地位,但SVM在早期也取得了明显的结果。例如,通过联合SIFT等特征提取方法和SVM分类器,可以实现高效的图像分类。
  • 金融敲诈检测:多家银行和金融机构采用SVM模型进行敲诈检测。这些模型通太过析生意业务数据、用户行为等特征,能够及时发现并阻止潜伏的敲诈行为。【应该属于异常点检测】
  • 医疗诊断:在医疗领域,SVM被用于多种疾病的诊断。例如,通太过析患者的医疗影像数据,SVM可以辅助大夫进行肺癌、乳腺癌等疾病的早期诊断。
须要注意的是,随着技术的不绝发展,SVM的应用场景也在不绝拓展和深化。同时,SVM也常与其他呆板学习算法联合使用,以提高模型的性能和泛化本领。
参考

[支持度向量机与深度学习的融合:未来趋势与实践] https://blog.csdn.net/universsky2015/article/details/137304073
[sklearn支持向量机阐明] http://scikit-learn.org.cn/view/83.html
[支持向量机普通导论(理解SVM的三层地步)] https://blog.csdn.net/v_july_v/article/details/7624837

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

知者何南

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表