深度学习之sigmoid函数介绍

打印 上一主题 下一主题

主题 558|帖子 558|积分 1674

1. 根本概念
Sigmoid函数,也称为Logistic函数,是一种常用的数学函数,其数学表达式为:

其中,e是自然对数的底数,Zj是输入变量。
Sigmoid函数曲线如下所示:

计算示例:
原始输出结果Zj:[-0.6, 1.4, 2.5]
利用Sigmoid函数后输出为:[0.35, 0.8 , 0.92]
2. Sigmoid函数特点
        Sigmoid函数具有以下特点:
        值域限定在(0, 1)之间:Sigmoid函数的输出范围是0到1之间。当输入趋近于正无穷大时,函数值逼近于1;当输入趋近于负无穷大时,函数值逼近于0。这种性子使得Sigmoid函数常被用于表现概率大概作为激活函数。
        具有可微性:Sigmoid函数在定义域内是可微的,这对于利用梯度下降等优化算法进行参数训练黑白常紧张的。
        Sigmoid函数是一个S形曲线:在输入靠近0时,Sigmoid函数的斜率最大,输出靠近于0.5。随着输入的增大或减小,斜率逐渐减小,输出趋近于0或1。
3. 在机器学习和神经网络中的应用
        由于其非线性的特性,Sigmoid函数在机器学习和神经网络中具有广泛的应用,尤其在早期的模型中。它紧张用于以下方面:
        逻辑回归:Sigmoid函数常用于逻辑回归模型中,将线性组合的输入转换为一个处于(0, 1)区间的概率值,用于预测样本属于某一类别的概率。
        神经网络:Sigmoid函数在传统的神经网络布局中被用作激活函数。它将神经元的输出范围限定在(0, 1)之间,可以用于将输入信号的加权和映射到一个概率值,大概用于对输入进行适当的缩放,将输出范围限定在(-1, 1)之间。
        尽管Sigmoid函数在已往被广泛利用,但比年来,一些新的激活函数(如ReLU、Leaky ReLU等)被提出并取得了更好的性能,在深度学习领域中得到了广泛应用。这些新的激活函数在办理梯度消失题目、提高模型训练速度和性能方面具有肯定的优势。因此,在实际应用中,根据具体题目和模型的需求选择适当的激活函数是很紧张的。
4.作为分类器
        Sigmoid函数可以用于多标签分类题目。在多标签分类中,一个样本可以同时属于多个类别,而不但仅是单个类别。Sigmoid函数在这种环境下可以用作激活函数来输出每个类别的概率。
        对于每个类别,可以利用一个独立的Sigmoid函数作为输出层的激活函数。这样,每个Sigmoid函数都会将输入映射到一个处于(0, 1)区间的概率值,表现样本属于该类别的概率。每个Sigmoid函数的输出是独立的,不受其他类别的影响。
        在训练阶段,通常利用二元交叉熵丧失函数来度量每个类别的预测与实际标签之间的差异。通过最小化丧失函数,模型可以学习到适当的参数,以使每个类别的预测概率尽可能靠近实际标签。
        在预测阶段,可以根据每个Sigmoid函数的输出阈值来确定样本属于哪些类别。通常,可以将输出概率大于某个阈值的类别作为预测结果。
5. 多标签示例:
        当利用Sigmoid函数进行多标签分类时,可以思量一个示例来说明其应用。
        假设我们有一个图像分类任务,必要将图像分为多个可能的类别,比方猫、狗和鸟。这是一个多标签分类题目,因为一张图像可以同时包罗猫、狗和鸟。
        在这种环境下,我们可以利用具有三个输出节点的神经网络。对于每个输出节点,我们利用一个独立的Sigmoid函数作为激活函数。每个Sigmoid函数的输出表现图像属于相应类别的概率。
        让我们假设我们的神经网络输出三个值:y1, y2和y3。我们将它们分别通过Sigmoid函数进行映射,得到p1, p2和p3,表现图像属于猫、狗和鸟的概率。这些概率值的范围在(0, 1)之间。
        比方,对于某个图像,我们得到了以下概率值:p1 = 0.75,p2 = 0.90和p3 = 0.30。这意味着该图像有75%的概率是猫,90%的概率是狗,30%的概率是鸟。
        在预测阶段,我们可以选择一个阈值来确定每个类别的预测结果。比方,如果我们将阈值设置为0.5,我们可以将概率大于0.5的类别作为预测结果。在这种环境下,我们预测该图像同时包罗狗和猫,因为p1和p2都大于0.5,而p3小于0.5。
        通过对每个类别利用独立的Sigmoid函数,我们能够对多个类别进行独立建模,并得到每个类别的概率估计。这使得Sigmoid函数成为处置惩罚多标签分类题目的一种常用选择。
        综上所述,Sigmoid函数在多标签分类中可以用来估计每个类别的概率,并且适用于那些样本可能属于多个类别的环境。这使得它成为处置惩罚多标签分类题目的一种常用选择。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

圆咕噜咕噜

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表