配景
闲来无事翻了一下之前买的一个呆板学习课程及之前记载的网络条记,发现遇到公式都是截图,乃至是在纸上用笔推导的。重新整理一遍之前逻辑回归函数的学习条记,重要是为了玩一下 LaTex 语法,写公式挺故意思的。
整理之前三篇条记汇总如下:
- 逻辑回归(上):函数求导过程自推 LaTex 语法
- 逻辑回归(中):数学公式学习条记 LaTeX 版
- 逻辑回归(下): Sigmoid 函数的发展汗青
逻辑回归 S 曲线的发展汗青
Sigmoid 这个S 形是怎么发展的呢?又怎么想到用它来做分类的呢?罗马不是一天建成的,Sigmoid 函数也不是一天形成的。逻辑回归的汗青相称久长,迄今大概已经有200年。它的前身,则在18世纪就已经出现了。
18世纪,随着工业革命的深入;天下经济、科技的发展;美洲的发现,以及随之而来的大移民和北尤物口迅猛增长……各个学科对于统计学的工具性需求越来越猛烈。到了19世纪,为了研究生齿增长以及化学催化反应与时间的关系,人们发明白逻辑函数。
指数函数
这个各人都不陌生,这就是传说中增长最快的曲线,它的数学表达式为:
f ( x ) = a x f(x)=a^x f(x)=ax
最初,学者们将生齿(或化合物)的数量与时间的函数界说为 W ( t ) W(t) W(t), t t t 代表时间变量, W ( t ) W(t) W(t) 代表总量,用指数函数体现为:
W ( t ) = a e b t ,此中 a , e , b 均为模子参数, t 为模子变量。 W(t)=ae^{bt},此中 a,e,b 均为模子参数,t 为模子变量。 W(t)=aebt,此中a,e,b均为模子参数,t为模子变量。
该函数在坐标系中的体现为:
用该模子为一个国家的生齿举行建模,已经被证着实一个国家新建早期生齿增长状态是复合该模子的。马尔克斯的生齿论中报告的「在没有任何外界拦阻的环境下,生齿将以多少级增长」正是基于指数模子。
我还想到了各种投资理论提倡的复利、非线性增长等,也是基于这个模子。
对该函数求微分,就可以得到增长率函数:
W ′ ( t ) = d W ( t ) d t W^{'}(t)=\frac{dW(t)}{dt} W′(t)=dtdW(t)
修正指数函数
19世纪早期,开始有数学家、统计学家质疑上述模子:任何事物,如果真的按照多少级数恣意增长下去,都会到达不可思议的数量。
然而,在天然界中,并没有什么东西是在毫无休止地增长的。当一种事物数量越来越多以后,某种阻力也会越来越显着地克制其增长。
比利时数学家 Verhulst 给出了一个新的模子:
W ′ ( t ) = b W ( t ) − g ( W ( t ) ) W'(t)=bW(t)-g(W(t)) W′(t)=bW(t)−g(W(t))
此中, g ( W ( t ) ) g(W(t)) g(W(t))是以 W ( t ) W(t) W(t)为自变量的函数,它代表随着总数增长出现的阻力。
Verhulst 实验了几种差别的阻力函数后,发现 g(W(t)) 是 W(t) 的平方情势时,新模子体现了它的逻辑性。对生齿增长率公式修正,取 g ( ( W ( t ) ) = b ( W ( t ) ) 2 L g((W(t))=\frac{b(W(t))^2}{L} g((W(t))=Lb(W(t))2,此中 L 为 W(t) 的上限,增长率函数为:
W ′ ( t ) = b W ( t ) − b ( W ( t ) ) 2 L = b W ( t ) ( 1 − W ( t ) L ) \begin{align} W^{'}(t)&=bW(t)-\frac{b(W(t))^2}{L}\newline &=bW(t)(1-\frac{W(t)}{L})\newline \end{align} W′(t)=bW(t)−Lb(W(t))2=bW(t)(1−LW(t))
这个公式将增长率体现为总量 W(t)、极限值L、总量和极限值之间的差比之间的关系。
令 P ( t ) = W ( t ) L P(t)=\frac{W(t)}{L} P(t)=LW(t),利用商的求导公式 u = W ( t ) , v = L u=W(t),v=L u=W(t),v=L 盘算该函数的微分:
P ′ ( t ) = W ′ ( t ) ∗ L + 0 ∗ L L 2 = W ′ ( t ) L 2 = W ′ ( t ) L \begin{align} P^{'}(t)&=\frac{W^{'}(t)*L+0*L}{L^2}\newline&=\frac{W^{'}(t)}{L^2}\newline &=\frac{W^{'}(t)}{L} \end{align} P′(t)=L2W′(t)∗L+0∗L=L2W′(t)=LW′(t)
将公式 (2)代入公式(5)中,可以得到:
P ′ ( t ) = W ′ ( t ) L = b W ( t ) L ( 1 − W ( t ) L ) = b P ( t ) ( 1 − P ( t ) ) \begin{align} P^{'}(t)&=\frac{W^{'}(t)}{L} \newline&=\frac{bW(t)}{L}(1-\frac{W(t)}{L}) \newline&= bP(t)(1-P(t)) \end{align} P′(t)=LW′(t)=LbW(t)(1−LW(t))=bP(t)(1−P(t))
P ′ ( t ) = b P ( t ) ( 1 − P ( t ) ) P'(t)=bP(t)(1-P(t)) P′(t)=bP(t)(1−P(t)),这是一个一阶自治微分方程,导数是自身的函数,联合前面 逻辑回归(上):函数求导过程自推 LaTex 语法 的推导效果,可知,这里 P(t) 就是逻辑回归函数:
g ( z ) = 1 1 + e − z g(z)=\frac{1}{1+e^{-z}} g(z)=1+e−z1
模子寄义
意义:当一个物种迁入到一个新生态体系中后,其数量会发生厘革。假设该物种的起始数量小于环境的最大容纳量,则数量会增长。该物种在此生态体系中有天敌、食品、空间等资源也不敷(非理想环境),则增长函数满足逻辑斯谛方程,图像呈S形,此方程是形貌在资源有限的条件下种群增长规律的一个最佳数学模子。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!qidao123.com:ToB企服之家,中国第一个企服评测及软件市场,开放入驻,技术点评得现金 |