逻辑回归(下): Sigmoid 函数的发展汗青

[复制链接]
发表于 2026-1-14 06:46:38 | 显示全部楼层 |阅读模式
配景

闲来无事翻了一下之前买的一个呆板学习课程及之前记载的网络条记,发现遇到公式都是截图,乃至是在纸上用笔推导的。重新整理一遍之前逻辑回归函数的学习条记,重要是为了玩一下 LaTex 语法,写公式挺故意思的。
整理之前三篇条记汇总如下:

  • 逻辑回归(上):函数求导过程自推 LaTex 语法
  • 逻辑回归(中):数学公式学习条记 LaTeX 版
  • 逻辑回归(下): Sigmoid 函数的发展汗青
逻辑回归 S 曲线的发展汗青

Sigmoid 这个S 形是怎么发展的呢?又怎么想到用它来做分类的呢?罗马不是一天建成的,Sigmoid 函数也不是一天形成的。逻辑回归的汗青相称久长,迄今大概已经有200年。它的前身,则在18世纪就已经出现了。
18世纪,随着工业革命的深入;天下经济、科技的发展;美洲的发现,以及随之而来的大移民和北尤物口迅猛增长……各个学科对于统计学的工具性需求越来越猛烈。到了19世纪,为了研究生齿增长以及化学催化反应与时间的关系,人们发明白逻辑函数。
指数函数

这个各人都不陌生,这就是传说中增长最快的曲线,它的数学表达式为:
                                    f                         (                         x                         )                         =                                   a                            x                                        f(x)=a^x                   f(x)=ax
最初,学者们将生齿(或化合物)的数量与时间的函数界说为                               W                      (                      t                      )                          W(t)               W(t),                              t                          t               t 代表时间变量,                              W                      (                      t                      )                          W(t)               W(t) 代表总量,用指数函数体现为:
                                    W                         (                         t                         )                         =                         a                                   e                                       b                               t                                            ,此中                         a                         ,                         e                         ,                         b                         均为模子参数,                         t                         为模子变量。                               W(t)=ae^{bt},此中 a,e,b 均为模子参数,t 为模子变量。                   W(t)=aebt,此中a,e,b均为模子参数,t为模子变量。
该函数在坐标系中的体现为:

用该模子为一个国家的生齿举行建模,已经被证着实一个国家新建早期生齿增长状态是复合该模子的。马尔克斯的生齿论中报告的「在没有任何外界拦阻的环境下,生齿将以多少级增长」正是基于指数模子。
我还想到了各种投资理论提倡的复利、非线性增长等,也是基于这个模子。
对该函数求微分,就可以得到增长率函数:
                                              W                                                 ′                                            (                         t                         )                         =                                              d                               W                               (                               t                               )                                                 d                               t                                                  W^{'}(t)=\frac{dW(t)}{dt}                   W′(t)=dtdW(t)​
修正指数函数

19世纪早期,开始有数学家、统计学家质疑上述模子:任何事物,如果真的按照多少级数恣意增长下去,都会到达不可思议的数量。
然而,在天然界中,并没有什么东西是在毫无休止地增长的。当一种事物数量越来越多以后,某种阻力也会越来越显着地克制其增长。
比利时数学家 Verhulst 给出了一个新的模子:
                                              W                            ′                                  (                         t                         )                         =                         b                         W                         (                         t                         )                         −                         g                         (                         W                         (                         t                         )                         )                               W'(t)=bW(t)-g(W(t))                   W′(t)=bW(t)−g(W(t))
此中,                              g                      (                      W                      (                      t                      )                      )                          g(W(t))               g(W(t))是以                               W                      (                      t                      )                          W(t)               W(t)为自变量的函数,它代表随着总数增长出现的阻力。
Verhulst 实验了几种差别的阻力函数后,发现 g(W(t)) 是 W(t) 的平方情势时,新模子体现了它的逻辑性。对生齿增长率公式修正,取                               g                      (                      (                      W                      (                      t                      )                      )                      =                                         b                            (                            W                            (                            t                            )                                       )                               2                                            L                                  g((W(t))=\frac{b(W(t))^2}{L}               g((W(t))=Lb(W(t))2​,此中 L 为 W(t) 的上限,增长率函数为:
                                                                                                         W                                                                     ′                                                                (                                     t                                     )                                                                                                             =                                     b                                     W                                     (                                     t                                     )                                     −                                                                  b                                           (                                           W                                           (                                           t                                           )                                                           )                                              2                                                                     L                                                                                                                                                                                                                      =                                     b                                     W                                     (                                     t                                     )                                     (                                     1                                     −                                                                  W                                           (                                           t                                           )                                                      L                                                  )                                                                                           \begin{align} W^{'}(t)&=bW(t)-\frac{b(W(t))^2}{L}\newline &=bW(t)(1-\frac{W(t)}{L})\newline \end{align}                   W′(t)​=bW(t)−Lb(W(t))2​=bW(t)(1−LW(t)​)​​
这个公式将增长率体现为总量 W(t)、极限值L、总量和极限值之间的差比之间的关系。
令                               P                      (                      t                      )                      =                                         W                            (                            t                            )                                  L                                  P(t)=\frac{W(t)}{L}               P(t)=LW(t)​,利用商的求导公式                               u                      =                      W                      (                      t                      )                      ,                      v                      =                      L                          u=W(t),v=L               u=W(t),v=L 盘算该函数的微分:
                                                                                                         P                                                                     ′                                                                (                                     t                                     )                                                                                                             =                                                                                  W                                                                               ′                                                                          (                                           t                                           )                                           ∗                                           L                                           +                                           0                                           ∗                                           L                                                                     L                                           2                                                                                                                                                                                                                                    =                                                                                  W                                                                               ′                                                                          (                                           t                                           )                                                                     L                                           2                                                                                                                                                                                                                                    =                                                                                  W                                                                               ′                                                                          (                                           t                                           )                                                      L                                                                                                        \begin{align} P^{'}(t)&=\frac{W^{'}(t)*L+0*L}{L^2}\newline&=\frac{W^{'}(t)}{L^2}\newline &=\frac{W^{'}(t)}{L} \end{align}                   P′(t)​=L2W′(t)∗L+0∗L​=L2W′(t)​=LW′(t)​​​
将公式 (2)代入公式(5)中,可以得到:
                                                                                                         P                                                                     ′                                                                (                                     t                                     )                                                                                                             =                                                                                  W                                                                               ′                                                                          (                                           t                                           )                                                      L                                                                                                                                                                                                                      =                                                                  b                                           W                                           (                                           t                                           )                                                      L                                                  (                                     1                                     −                                                                  W                                           (                                           t                                           )                                                      L                                                  )                                                                                                                                                                                                         =                                     b                                     P                                     (                                     t                                     )                                     (                                     1                                     −                                     P                                     (                                     t                                     )                                     )                                                                                           \begin{align} P^{'}(t)&=\frac{W^{'}(t)}{L} \newline&=\frac{bW(t)}{L}(1-\frac{W(t)}{L}) \newline&= bP(t)(1-P(t)) \end{align}                   P′(t)​=LW′(t)​=LbW(t)​(1−LW(t)​)=bP(t)(1−P(t))​​
                                        P                         ′                              (                      t                      )                      =                      b                      P                      (                      t                      )                      (                      1                      −                      P                      (                      t                      )                      )                          P'(t)=bP(t)(1-P(t))               P′(t)=bP(t)(1−P(t)),这是一个一阶自治微分方程,导数是自身的函数,联合前面 逻辑回归(上):函数求导过程自推 LaTex 语法 的推导效果,可知,这里 P(t) 就是逻辑回归函数:
                                    g                         (                         z                         )                         =                                   1                                       1                               +                                           e                                               −                                     z                                                                        g(z)=\frac{1}{1+e^{-z}}                  g(z)=1+e−z1​
模子寄义

   意义:当一个物种迁入到一个新生态体系中后,其数量会发生厘革。假设该物种的起始数量小于环境的最大容纳量,则数量会增长。该物种在此生态体系中有天敌、食品、空间等资源也不敷(非理想环境),则增长函数满足逻辑斯谛方程,图像呈S形,此方程是形貌在资源有限的条件下种群增长规律的一个最佳数学模子。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!qidao123.com:ToB企服之家,中国第一个企服评测及软件市场,开放入驻,技术点评得现金

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表