【机器学习】逻辑回归

目录
一、什么是逻辑回归
二、Sigmoid函数
三、更新参数
四、总结

---

一、什么是逻辑回归

        逻辑回归并不是解决回归使命的，而是常用于解决二分类使命的。
        逻辑回归是最简单的机器学习算法，但这并不意味着它是最没用的。由于像神经网络这种复杂的机器学习算法，一是会消耗时间计算机资源，二是过于强大而导致提高了过拟合风险（计算机容易学死），对于全部标题并不是用神经网络的结果一定比简单的算法结果好。所以选择机器学习算法时，是先选择简单的，结果不可的情况下，再选择复杂的。因此，逻辑回归通常是作为基准模型，是最常用到的机器学习算法。
        逻辑回归的决策界限可以是非线性的，形象地说，将两个类别分开的线可以是直线（线性），也可以是弯曲的线类似下图所示（非线性）。

二、Sigmoid函数

        将回归使命转换为分类使命，需要将猜测值（猜测的实际数值）转换为概率值（属于当前类别的概率），即0~1的数值，这个转换用Sigmoid函数实现。公式如下：

                                                  式（1）

        函数图像如下：

三、交叉熵丧失

        交叉熵丧失是一种丧失函数，常与Softmax激活函数搭配，解决多分类标题。它等于m个样本的匀称交叉熵偏差，公式如下：

        如果第 i 个样本的标签为第 k 个类别，那么 

 ，

 的值就是1，

 的值就是0。因此，多分类标题的交叉熵丧失只与样本的真实类别对应的模型猜测概率有关，这适用于每个类别都是互斥的情况，即每个样本只能被标记为一种标签的情况。
四、更新参数

       猜测函数、最小似然估计、梯度降落具体内容，参考链接：http://t.csdnimg.cn/S9bfQ
       将猜测函数带入式（1），猜测值转换为概率值，得到：
       

，其中

，i 表示第 i 个特征。 
        二分类使命中真值1表示属于该类，真值0表示不属于该类，分别对应的猜测函数为：

        

                                       式（2）

        

                                   式（3）

       但如许分开求丧失函数计算权重，并不方便，因此需要归并，得到最终的猜测函数：
       

，当y=1，变成式（2）；当y=0，变成式（3）。
        然后接着做极大似然估计，似然函数：
        

，其中 i 表
示第 i 个样本。
        似然函数取对数：
        

，其中i表示第 i 个样本。
        但是在反向传播中，我们通常风俗于做梯度降落使命，由于这符合逻辑上的将丧失降到最小，因此将取对数的结果再加上负号，把梯度上升标题改为了梯度降落标题。除以m是取丧失的匀称值，得到了二分类交叉熵：
        

，其中 i 表示第 i 个样本，m表示样本总数。二分类交叉熵是一种丧失函数，是交叉熵的一个特例，常与Sigmoid激活函数搭配使用，处理二分类标题。想用逻辑回归解决多分类标题，需要用Softmax激活函数和交叉熵丧失函数。
        求导过程（不紧张，我们只需要知道结果）：

        其中，i 表示第 i 个样本，j 表示第 j 个特征，末了要把求得梯度反向才是梯度降落的方向。
        参数更新：

。
四、总结

        基本上全部的分类标题都可以用逻辑回归解决。它的求解速率快；模型可表明性强，很多参数都有物理含义，便于我们明确，比如大的

表示特征紧张，小的

表示特征不紧张。但是像神经网络、支持向量机这种复杂的算法，它计算得到的很多参数都是没有物理意义的，只是求得的结果有用而已，不利于明确。因此，拿到使命后发起先用逻辑回归试一下，不可再思量一些复杂的算法。




免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。