支持向量机

一、根本理论

• 焦点头脑
  
  
  
  • 最大间隔分类器：探求能最大化种别间隔的超平面，提升模子泛化能力。
    
  • 支持向量：离超平面最近的样本点，决定超平面位置。
    
  
  
• 线性可分情况（硬间隔 SVM）
  
  
  
  • 优化目标：
    
    
    
  • 对偶标题：通过拉格朗日乘数法转化为对偶形式，引入核函数处理非线性标题。
    
  
  
• 线性不可分情况（软间隔 SVM）
  
  
  
  • 松弛变量：允许部门样本违反束缚，引入惩罚参数 C 平衡间隔与分类错误。
    
  • 优化目标：
    
    
    
  
  

二、常见的核函数 

1. 线性核（Linear Kernel）

• 表达式：
  
  
  
• 特点：直接盘算原始特性的内积，无映射。
  
• 适用场景：线性可分数据（如文本分类、高维希奇数据）。
  
• 优势：盘算高效（复杂度 
  
  ），无需调参。
  
• 范围性：无法处理非线性标题。
  

2. 多项式核（Polynomial Kernel）

• 表达式：
  
  ，此中，
  
  为多项式次数。
  
• 特点：通过多项式睁开映射到高维空间。
  
• 适用场景：特性工程中的非线性关系（如金融风控、基因数据分析）。
  
• 优势：可捕捉特性间的交互作用。
  
• 范围性：盘算复杂度高
  
  ，对噪声敏感，需审慎选择 d。
  

3. 高斯核（RBF 核，Radial Basis Function Kernel）

• 表达式：
  
  ，此中 
  
  。
  
• 特点：无穷维映射，可处理任意非线性关系。
  
• 适用场景：低维密集数据（如图像识别、生物信息学）。
  
• 优势：万能核，机动性高，是工业界默认选择。
  
• 范围性：参数 
  
   对模子影响大(
  
  过大会导致过拟合）。
  

4. Sigmoid 核

• 表达式：
  
  此中 
  
  。
  
• 特点：形式类似神经网络的激活函数。
  
• 适用场景：近似神经网络模子（如简单模式识别）。
  
• 优势：盘算效率较高。
  
• 范围性：需严格调参（如 
  
   和 r），否则可能退化为线性核。
  

5. 拉普拉斯核（Laplacian Kernel）

• 表达式：
  
  ，此中 
  
  。
  
• 特点：基于 L1 范数的距离（L1 范数是向量中所有元素绝对值的和，数学表达式为：
  
  ），对噪声鲁棒性更强。
  
• 适用场景：特性维度差异较大的数据（如时间序列分析）。
  

6. 字符串核（String Kernel）

• 表达式： 盘算字符串间的相似性（如子序列匹配）。
  
• 特点：专门处理文本、DNA 序列等非结构化数据。
  
• 适用场景：自然语言处理（NLP）、生物序列分析。
  

7. 自定义核函数

• 定义：根据领域知识筹划满意 Mercer 条件的核函数。
  
• 示例：图核（Graph Kernel）、直方图核（Histogram Intersection Kernel）。
  
• 适用场景：特定领域标题（如社交网络分析、图像检索）。
  

核函数选择指南

• 数据特性：
  
  
  
  • 高维希奇数据（如文本）→ 线性核。
    
  • 低维密集数据（如图像）→ RBF 核。
    
  • 特性交互复杂 → 多项式核。
    
  
  
• 盘算资源：
  
  
  
  • 线性核和 Sigmoid 核通常比 RBF 核更快。
    
  
  
• 过拟合风险：
  
  
  
  • RBF 核需审慎调整
    
    ，避免过拟合。
    
  
  
• 领域知识：
  
  
  
  • 字符串数据 → 字符串核；生物序列 → 特定生物核函数。
    
  
  

典范工具与参数调优

• LIBSVM：支持线性、多项式、RBF、Sigmoid 核，提供交错验证调参。
  
• scikit-learn：通过 SVC(kernel=...) 实现，参数如 gamma（RBF 核）、degree（多项式核）。
  
• 调参建议：
  
  
  
  • 利用网格搜索或贝叶斯优化探求最优参数。
    
  • 优先实行线性核和 RBF 核，再思量复杂核函数。
    
  
  

总结：核函数的选择直接影响 SVM 的性能，需结合数据特性、盘算成本和领域知识综合决策。实行表明，RBF 核在多数场景下表现稳健，但线性核在高维希奇数据中每每更高效。
三、Mercer条件

1. Mercer 条件的定义

核函数 

 满意 Mercer 条件，当且仅当：

• 对称性：
  
  对所有 
  
   成立。
  
• 半正定性：对于任意有限样本聚集 
  
  ，对应的 Gram 矩阵 G 是半正定的，即：
  
  
  

2. Mercer 定理

• 焦点结论：若核函数 
  
  满意 Mercer 条件，则存在一个特性映射
  
  ，使得：
  
  即核函数等价于高维特性空间中的内积。
  
• 意义：确保 SVM 的优化标题（最大化间隔）是凸二次规划标题，存在唯一最优解。
  

3. 验证 Mercer 条件的方法

• 直接验证：
  
  
  • 对称性：检查 
    
    
    
  • 半正定性：
    
    
    
    • 对任意有限样本聚集，盘算 Gram 矩阵并验证其所有特性值非负。
      
    • 或通过积分形式验证（若
      
      是连续函数）：
      
      
      
    
    
  
  
• 间接方法：
  
  
  
  • 利用已知满意 Mercer 条件的核函数（如线性核、RBF 核）。
    
  • 通过 Mercer 定理构造新核函数（如核函数的乘积、线性组合）。
    
  
  

4. 常见核函数的 Mercer 条件

核函数是否满意 Mercer 条件阐明线性核是直接对应原始特性的内积。多项式核是当 

 时成立（通常默认参数满意）。RBF 核是无穷维映射，满意 Mercer 条件。Sigmoid 核不一定仅在特定参数范围（如 

）下成立。拉普拉斯核是基于 L1 范数的距离，满意条件。自定义核函数需验证必须满意对称性和半正定性。 5. 违反 Mercer 条件的结果

• 非凸优化标题：Gram 矩阵非半正定，导致 SVM 的对偶标题（最大化间隔）可能出现局部最优解。
  
• 数值不稳定：盘算 Gram 矩阵时可能出现负特性值，引发奇异矩阵或无法求解。
  

6. 实际应用建议

• 优先选择标准核函数：如线性核、RBF 核，避免手动构造核函数。
  
• 参数调优：对 Sigmoid 核等需审慎选择参数，确保满意 Mercer 条件。
  
• 验证 Gram 矩阵：
  
  
  
  • 利用小规模数据测试 Gram 矩阵的特性值。
    
  • 通过交错验证评估模子稳定性。
    
  
  

总结

Mercer 条件是核函数的理论基石，确保核方法的数学严谨性和优化标题的可解性。实际应用中，选择满意 Mercer 条件的核函数（如 RBF 核）可避免理论风险，而自定义核函数需严格验证对称性和半正定性。
四、优化算法

• 对偶标题与拉格朗日乘数法
  
  
  
  • 将原始标题转化为对偶形式，引入拉格朗日乘子 
    
    ，最终优化目标为：
    
    
    
  • 束缚条件：
    
    
    
  
  
• 序列最小优化（SMO 算法）
  
  
  
  • 焦点头脑：每次优化两个变量，别的变量固定，通过解析求解快速迭代。
    
  • 步调：
    
    
    • 选择违反 KKT 条件的样本对 
      
      。
      
    • 盘算 
      
      的更新范围，更新后调整 
      
      。
      
    • 更新 b 和偏差缓存。
      
    
    
  • 优势：避免存储大型矩阵，适合大规模数据。
    
  
  

五、扩展应用

• 多分类 SVM
  
  
  
  • 一对多（One-vs-Rest）：训练 k 个二分类器，猜测时取最大得分种别。
    
  • 一对一（One-vs-One）：训练 
    
     个二分类器，投票决定种别。
    
  
  
• 支持向量回归（SVR）
  
  
  
  • 目标：拟合回归函数 
    
    ，允许偏差在
    
     范围内。
    
  • 优化目标：
    
    
    
  
  

六、优缺点与适用场景

• 优点
  
  
  
  • 适合高维数据，避免维度灾难。
    
  • 核技巧机动处理非线性标题。
    
  • 理论根本扎实，泛化能力强。
    
  
  
• 缺点
  
  
  
  • 对大规模数据盘算效率较低（SMO 改进后有所缓解）。
    
  • 参数 C 和核函数参数需调优。
    
  
  
• 适用场景
  
  
  
  • 小样本高维数据（如文本分类、基因表达分析）。
    
  • 数据分布复杂但特性可分性较好的场景。
    
  
  

七、关键总结

• 焦点公式：最大间隔优化、对偶标题、核函数选择。
  
• 理论保障：Mercer 条件确保核函数有效性。
  
• 算法焦点：SMO 算法高效求解对偶标题。
  
• 扩展方向：多分类、回归、半监视学习（如直推式 SVM）。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。