线性可分支持向量机的原理推导 最大化几何间隔d 公式解析
本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。公式 9-4 为：
max w , b d \max_{\mathbf{w}, b} \quad d w,bmaxd
subject to y i ( w ⋅ x i + b ∥ w ∥ ) ≥ d , i = 1 , 2 , ⋯ , N \text{subject to} \quad y_i \left( \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} \right) \geq d, \quad i = 1, 2, \cdots, N subject toyi(∥w∥w⋅xi+b)≥d,i=1,2,⋯,N
现在我们来详细解释这个准确的公式 9-4。
1. 公式 9-4 的含义
这个公式形貌了支持向量机中的最大化分类间隔的问题。公式中的目标是最大化几何间隔 d d d，并且所有样本点都必须满意约束条件。详细地：
[*]目标函数： max w , b d \max_{\mathbf{w}, b} \, d maxw,bd 表示我们希望找到一个使几何间隔 d d d 最大的 w \mathbf{w} w 和 b b b。
[*]约束条件： y i ( w ⋅ x i + b ∥ w ∥ ) ≥ d y_i \left( \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} \right) \geq d yi(∥w∥w⋅xi+b)≥d，表示每个样本点 x i \mathbf{x}_i xi 到超平面的几何距离至少为 d d d，同时确保它们被准确分类。
几何间隔解释：
几何间隔是样本点到超平面的距离，在支持向量机中，目标是最大化这个几何间隔，即找到一个最能有效分离差异类别的超平面。
2. 公式推导中的关键
这个公式中的几何间隔 d d d 通过以下方式表示：
w ⋅ x i + b ∥ w ∥ \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} ∥w∥w⋅xi+b
此中：
[*] w ⋅ x i + b \mathbf{w} \cdot \mathbf{x}_i + b w⋅xi+b 表示超平面的分类函数，决定了样本点 x i \mathbf{x}_i xi 与超平面的相对位置。
[*] ∥ w ∥ \|\mathbf{w}\| ∥w∥ 是超平面法向量 w \mathbf{w} w 的范数，表示分类超平面的陡峭水平。
通过将样本点的分类函数归一化为 ∥ w ∥ \|\mathbf{w}\| ∥w∥，可以确保公式计算的是几何意义上的实际距离，而不是受法向量巨细影响的带符号距离。
3. 约束条件的意义
约束条件：
y i ( w ⋅ x i + b ∥ w ∥ ) ≥ d , i = 1 , 2 , ⋯ , N y_i \left( \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} \right) \geq d, \quad i = 1, 2, \cdots, N yi(∥w∥w⋅xi+b)≥d,i=1,2,⋯,N
确保了每个样本点 x i \mathbf{x}_i xi 的分类结果与它的真实类别 y i y_i yi 同等。详细来说：
[*]对于 y i = + 1 y_i = +1 yi=+1 的正类样本，约束条件要求 w ⋅ x i + b ≥ ∥ w ∥ d \mathbf{w} \cdot \mathbf{x}_i + b \geq \|\mathbf{w}\| d w⋅xi+b≥∥w∥d，也就是说，正类样本位于超平面的“正侧”且距离至少为 d d d。
[*]对于 y i = − 1 y_i = -1 yi=−1 的负类样本，约束条件要求 w ⋅ x i + b ≤ − ∥ w ∥ d \mathbf{w} \cdot \mathbf{x}_i + b \leq -\|\mathbf{w}\| d w⋅xi+b≤−∥w∥d，负类样本位于超平面的“负侧”且距离至少为 d d d。
因此，这个约束确保了所有样本点不仅被准确分类，而且它们与超平面的距离不小于 d d d。
4. 间隔最大化的头脑
支持向量机的焦点头脑是最大化最小间隔，即找到一个超平面，使得最靠近超平面的样本点（即支持向量）到超平面的距离 d d d 尽大概大。在这个公式中，目标是直接最大化这个最小间隔 d d d，在包管分类约束条件的情况下。
5. 公式 9-4 的进一步简化
接下来的推导中，最大化几何间隔 d d d 的优化问题可以进一步简化。因为几何间隔的绝对值 d d d 实际上不会影响问题的求解，因此在后续公式中我们可以假设 d = 1 d = 1 d=1，将问题简化为：
min w , b 1 2 ∥ w ∥ 2 \min_{\mathbf{w}, b} \quad \frac{1}{2} \|\mathbf{w}\|^2 w,bmin21∥w∥2
subject to y i ( w ⋅ x i + b ) ≥ 1 , i = 1 , 2 , ⋯ , N \text{subject to} \quad y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad i = 1, 2, \cdots, N subject toyi(w⋅xi+b)≥1,i=1,2,⋯,N
这就是支持向量机优化问题的标准情势，即最小化法向量的范数 ∥ w ∥ \|\mathbf{w}\| ∥w∥ 的平方，同时确保所有样本点满意分类约束。
总结
公式 9-4 的目标是最大化几何间隔 d d d，确保每个样本点与超平面的距离至少为 d d d 且被准确分类。这是支持向量机的焦点头脑，后续通过固定 d = 1 d = 1 d=1 来简化优化问题，从而得到最小化 w \mathbf{w} w 的范数的最终优化情势。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]