【AI知识】有监视学习分类使命之支持向量机

1.支持向量机概念
支持向量机（Support Vector Machine, SVM） 是一种有监视学习算法，重要用于分类使命（也可用于回归使命，即支持向量回归，SVR）。SVM的核心头脑是找到一个最优的超平面（hyperplane） 来将不同类别的数据分开，且最大化类别间边界（间隔），从而提高模子的泛化本领。
如，在二分类标题中，SVM的目标是找到一个最优的超平面（即决定边界），该平面能够将数据集中的正负类样本分开，下面都以二分类标题为例说明：
支持向量机的几个概念：

• 超平面（Hyperplane） ： 超平面将数据空间分割成两个部门。在二维空间中，超平面是一条直线；在三维空间中，超平面是一个平面；在高维空间中，超平面是一个维度比数据空间少1的超平面。对于一个二维空间中的分类标题，SVM的使命就是找到一个直线（超平面），将正负类样本分开。
  
• 最大化间隔： SVM的关键头脑是最大化分隔正负类的间隔。间隔是指从数据点到超平面的垂直距离。在SVM中，支持向量是距离决定边界近来的那些点，这些点决定了超平面的最优位置。假设我们的数据点有两个类别，+1 和 -1 类，我们希望找到一个超平面，使得这个平面把两类数据完全分开，并且两类数据到超平面的距离最大。
  

细节我有点看不懂了。。。。
SVM实例+可视化：

1. import numpy as np
2. import matplotlib.pyplot as plt
3. from sklearn import datasets
4. from sklearn.svm import SVC
5. from sklearn.model_selection import train_test_split
6. from sklearn.preprocessing import StandardScaler
8. # 创建线性可分数据集
9. def generate_linear_data():
10.     # 使用sklearn生成一个线性可分的数据集
11.     X, y = datasets.make_classification(n_samples=200, n_features=2, n_informative=2,
12.                                          n_redundant=0, n_clusters_per_class=1, class_sep=2)
13.     return X, y
15. # 创建非线性可分数据集
16. def generate_nonlinear_data():
17.     # 使用sklearn生成一个非线性可分的数据集
18.     # 它生成的是一个包含两个类别的数据集，其中样本数据分布在两个同心圆形状的区域内
19.     X, y = datasets.make_circles(n_samples=200, noise=0.1, factor=0.5)
20.     return X, y
22. # 绘制SVM的决策边界
23. def plot_decision_boundary(X, y, clf):
24.     h = 0.02  # 网格间距
25.     x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
26.     y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
27.     xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
29.     Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
30.     Z = Z.reshape(xx.shape)
32.     plt.contourf(xx, yy, Z, alpha=0.3)
33.     plt.scatter(X[:, 0], X[:, 1], c=y, marker='o', edgecolors='k', s=50)
34.     plt.title("SVM Decision Boundary")
35.     plt.show()
37. # 训练并可视化SVM模型
38. def train_and_visualize(X, y, kernel_type='linear'):
39.     # 切分数据集为训练集和测试集
40.     X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
42.     # 数据标准化
43.     scaler = StandardScaler()
44.     X_train = scaler.fit_transform(X_train)
45.     X_test = scaler.transform(X_test)
47.     # 初始化SVM分类器
48.     clf = SVC(kernel=kernel_type)
49.    
50.     # 训练SVM
51.     clf.fit(X_train, y_train)
53.     # 打印支持向量信息
54.     print(f"Number of support vectors: {len(clf.support_)}")
56.     # 可视化决策边界
57.     plot_decision_boundary(X_train, y_train, clf)
59. # 主函数
60. def main():
61.     # 1. 线性可分数据
62.     print("Training with linearly separable data...")
63.     X_linear, y_linear = generate_linear_data()
64.     train_and_visualize(X_linear, y_linear, kernel_type='linear')
66.     # 2. 非线性可分数据
67.     print("Training with non-linearly separable data...")
68.     X_nonlinear, y_nonlinear = generate_nonlinear_data()
69.     train_and_visualize(X_nonlinear, y_nonlinear, kernel_type='rbf')
71. if __name__ == "__main__":
72.     main()

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。