感知机与逻辑回归的异同点
1. 共同点
(1) 应用场景
[*]都用于二分类题目。
[*]都假设数据是线性可分或近似线性可分的。
(2) 决策界限
[*]两者都通过探求一个超平面来区分数据。
[*]决策函数是线性的，情势为： https://latex.csdn.net/eq?f%28x%29%20%3D%20w%5ET%20x%20+%20b
(3) 输入特征
[*]都可以处置处罚连续和离散特征。
[*]都可以通过添加非线性变换扩展到非线性分类题目。
(4) 参数更新
[*]都通过学习权重 w 和偏置 b 来调整模型。
2. 不同点
(1) 理论基础
[*]感知机：基于几何表明，通过迭代调整权重探求能将数据线性分开的超平面。
[*]逻辑回归：基于概率模型，输出的是样本属于某一类别的概率，优化的是最大似然估计。
(2) 损失函数
[*] 感知机：
[*]使用感知机损失函数（误分类点的损失）。只有误分类的样本会参与权重更新。
[*]损失函数：https://latex.csdn.net/eq?L%20%3D%20-%20%5Csum_%7Bi%3D1%7D%5En%20y_i%20%5Ccdot%20%28w%5ET%20x_i%20+%20b%29%20%5Cquad(仅对误分类样本)
[*] 逻辑回归：
[*]使用负对数似然损失函数（Log Loss），全部样本都参与权重更新。
[*]损失函数：https://latex.csdn.net/eq?L%20%3D%20-%5Cfrac%7B1%7D%7Bn%7D%20%5Csum_%7Bi%3D1%7D%5En%20%5Cleft%5B%20y_i%20%5Clog%28p_i%29%20+%20%281%20-%20y_i%29%20%5Clog%281%20-%20p_i%29%20%5Cright%5D 其中，https://latex.csdn.net/eq?p_i%20%3D%20%5Csigma%28w%5ET%20x_i%20+%20b%29，https://latex.csdn.net/eq?%5Csigma%28z%29%20%3D%20%5Cfrac%7B1%7D%7B1%20+%20e%5E%7B-z%7D%7D 是 Sigmoid 函数。
(3) 输出情势
[*] 感知机：
[*]输出是一个二值类别 {+1,−1}，决策规则为： https://latex.csdn.net/eq?y%20%3D%20%5Cbegin%7Bcases%7D%201%2C%20%26%20%5Ctext%7Bif%20%7D%20%7Bw%5ET%20x%20+%20b%7D%20%5Cgeq%200%20%5C%5C%200%2C%20%26%20%5Ctext%7Bif%20%7D%20%7Bw%5ET%20x%20+%20b%7D%20%3C%200%20%5Cend%7Bcases%7D
[*] 逻辑回归：
[*]输出是一个概率 P(y=1∣x)∈，通过设定阈值（通常为 0.5）实现二分类： https://latex.csdn.net/eq?P%28y%3D1%7Cx%29%20%3D%20%5Csigma%28w%5ET%20x%20+%20b%29
(4) 优化方法
[*] 感知机：
[*]使用简单的迭代更新规则： https://latex.csdn.net/eq?w%5Cleftarrow%20w%20+%20y_i%20x_i%2C%20%5Cquad%20b%20%5Cleftarrow%20b%20+%20y_i（仅在误分类样本上更新）。
[*]不必要学习率调节。
[*] 逻辑回归：
[*]使用梯度下降或其他优化算法（如随机梯度下降、牛顿法等）最小化损失函数： https://latex.csdn.net/eq?w%5Cleftarrow%20w%20-%20%5Calpha%20%5Cfrac%7B%5Cpartial%20L%7D%7B%5Cpartial%20w%7D%2C%20%5Cquad%20b%20%5Cleftarrow%20b%20-%20%5Calpha%20%5Cfrac%7B%5Cpartial%20L%7D%7B%5Cpartial%20b%7D 必要选择合适的学习率 α。
(5) 收敛性
[*] 感知机：
[*]在数据线性可分的环境下保证收敛，找到一个分离超平面。
[*]如果数据线性不可分，算法将永远无法收敛。
[*] 逻辑回归：
[*]无论数据是否线性可分，逻辑回归总能收敛到最优参数（在数值计算允许的范围内）。
(6) 对噪声和异常值的处置处罚
[*]感知机：
[*]对噪声和异常值敏感，因为误分类样本的权重更新幅度较大，容易导致不稳定。
[*]逻辑回归：
[*]更加鲁棒，因为损失函数对概率输出进行了平滑处置处罚，噪声对整体优化影响较小。
(7) 概率输出
[*]感知机：
[*]仅输出类别标签，不提供概率表明。
[*]逻辑回归：
[*]输出样本属于某一类别的概率，可用于更机动的决策。
(8) 应用场景
[*] 感知机：
[*]主要用于研究和简单的线性分类任务。
[*]作为更复杂模型（如支持向量机）的理论基础。
[*] 逻辑回归：
[*]广泛应用于现实题目，如医学诊断、市场推测、名誉评分等场景。
3. 总结对比表
特性感知机逻辑回归理论基础几何超平面分离最大似然估计损失函数感知机损失（仅误分类样本参与更新）对数似然损失输出类别标签（+1 或 -1）概率值P(y=1|x) 优化方法简单迭代更新规则梯度下降或其他优化算法收敛性数据线性可分时保证收敛无论线性可分与否，均可收敛对噪声的敏感性高较低应用场景简单线性分类题目现实中的概率推测和分类题目 4. 结论
[*]感知机是一个基础的线性分类算法，主要用于理论研究和简单分类题目。
[*]逻辑回归更为机动和实用，能够处置处罚线性不可分题目，并提供概率表明，因此在现实应用中更常用。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]