IT评测·应用市场-qidao123.com技术社区

标题: 机器学习笔记五-SVM [打印本页]

---

作者: 光之使者    时间: 2024-8-21 10:58
标题: 机器学习笔记五-SVM
支持向量机（Support Vector Machine, SVM） 是一种监视学习算法，广泛应用于分类、回归和非常检测任务。SVM 的告急思想是找到一个能够将数据最大化间隔分开的超平面，从而实现对新数据的分类或猜测。
SVM 的基本概念

• 超平面（Hyperplane）:
  
  
  
  • 在 SVM 中，超平面是一个能够将不同种别的数据点分开的决策界限。在二维空间中，超平面是一条线；在三维空间中，超平面是一个平面。
    
  
  
• 支持向量（Support Vectors）:
  
  
  
  • 支持向量是距离超平面近来的那些数据点，这些点决定了超平面的位置和方向。SVM 的目标是找到最优的超平面，使得支持向量与超平面之间的间隔（也称为“边距”）最大化。
    
  
  
• 边距（Margin）:
  
  
  
  • 边距是支持向量与超平面的距离。SVM 寻找的是能够使边距最大的那个超平面，如许能够增加分类模子的泛化本领。
    
  
  

SVM 的类型

• 线性 SVM:
  
  
  
  • 线性 SVM 用于可以通过线性超平面直接分开的数据集。其目标是找到一个线性超平面将不同种别的数据点分开。
    
  
  
• 非线性 SVM:
  
  
  
  • 对于无法通过线性超平面分开的数据，SVM 通过 核技巧（Kernel Trick） 将数据映射到更高维的空间，在高维空间中寻找线性超平面。常用的核函数包括多项式核、径向基函数（RBF）核等。
    
  
  

SVM 的优化目标

SVM 的目标是通过最大化边距来最小化分类错误率。这个优化问题可以形式化为一个约束优化问题，利用拉格朗日乘数法解决。最终得到的优化问题是一个凸优化问题，确保可以找到全局最优解。
核函数（Kernel Function）

核函数是 SVM 中的一个关键概念，它通过将数据映射到高维空间来处理非线性问题。常见的核函数包括：

• 线性核:
  
  
  
  • 实用于线性可分的数据。
    
  
  
• 多项式核:
  
  
  
  • 实用于具有多项式关系的数据。
    
  
  
• RBF 核（径向基函数核）:
  
  
  
  • 实用于大多数非线性数据，是 SVM 中最常用的核函数。
    
  
  
• Sigmoid 核:
  
  
  
  • 类似于神经网络中的激活函数，实用于某些特定的应用场景。
    
  
  

优缺点

优点:

• 高效的处理高维数据: SVM 在高维空间中仍然体现良好，特殊得当维度很高的情况下。
  
• 鲁棒性强: SVM 对于少量的噪声和数据偏差不敏感，能较好地处理非线性问题。
  
• 理论底子坚实: SVM 有着坚实的理论底子（基于统计学习理论），可以包管肯定程度的泛化本领。
  

缺点:

• 盘算复杂度高: 对于非常大的数据集，SVM 的训练速度较慢，且内存斲丧较大。
  
• 对参数和核函数敏感: SVM 对于超参数（如正则化参数、核函数参数）较为敏感，选择不当会影响模子性能。
  
• 不得当处理大量噪声数据: SVM 在数据中包含大量噪声时，大概会导致模子性能降落。
  

SVM 的应用场景

• 文本分类:
  
  
  
  • SVM 广泛用于文本分类任务，如垃圾邮件过滤、感情分析等。
    
  
  
• 图像识别:
  
  
  
  • 在图像识别任务中，SVM 经常与其他特性提取方法联合使用，如 HOG、SIFT 等。
    
  
  
• 生物信息学:
  
  
  
  • SVM 也常用于基因表达数据的分类和分析。
    
  
  

示例代码（使用 sklearn）：

1. import numpy as np
2. import matplotlib.pyplot as plt
3. from sklearn import datasets
4. from sklearn.model_selection import train_test_split
5. from sklearn.svm import SVC
6. from sklearn.metrics import classification_report, confusion_matrix
8. # 加载示例数据集（鸢尾花数据集）
9. iris = datasets.load_iris()
10. X = iris.data[:, :2]  # 只取前两个特征用于可视化
11. y = iris.target
13. # 分割数据集
14. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
16. # 初始化并训练SVM模型
17. model = SVC(kernel='linear', C=1.0)
18. model.fit(X_train, y_train)
20. # 预测和评估
21. y_pred = model.predict(X_test)
22. print(classification_report(y_test, y_pred))
24. # 可视化决策边界
25. def plot_decision_boundary(X, y, model):
26.     x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
27.     y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
28.     xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
29.                          np.arange(y_min, y_max, 0.02))
30.     Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
31.     Z = Z.reshape(xx.shape)
32.     plt.contourf(xx, yy, Z, alpha=0.8)
33.     plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k', marker='o')
34.     plt.show()
36. plot_decision_boundary(X_train, y_train, model)

复制代码

示例代码剖析：

• 数据集：代码使用了 sklearn 提供的鸢尾花数据集，并只选取了前两个特性用于可视化。
  
• 模子训练：使用 SVC 类初始化并训练一个线性核的 SVM 模子。
  
• 评估：通过混淆矩阵和分类报告评估模子性能。
  
• 可视化：通过自定义的 plot_decision_boundary 函数，绘制 SVM 的决策界限。
  

总结

SVM 是一种强大的分类和回归工具，尤其在高维空间中体现良好。它通过寻找最大化边距的超平面来实现对数据的分类，并可以通过核函数扩展到非线性问题。尽管在处理大型数据集时大概盘算复杂度较高，但通过适当的参数调优，SVM 可以在许多实际应用中取得良好的结果。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)

Powered by Discuz! X3.4