机器学习底子 - 分类模型之逻辑回归

机器学习： 逻辑回归

<hr>
  
logistic回归简介

logistic回归用于办理的是分类题目，其基本思想是：根据现有数据对分类边界线建立回归公式,以此举行分类。也就是说，logistic 回归不是对所有数据点举行拟合，而是要对数据之间的分界线举行拟合。

• 逻辑回归的本质： 极大似然估计
  
• 逻辑回归的激活函数：Sigmoid
  
• 逻辑回归的代价函数：交叉熵
  

Logistic 回归的数学表达

  h θ ( x ) = s i g m o i d ( θ T X ) = 1 1 + e − θ T X h_\theta(x) = sigmoid(\theta^T X) = \frac{1}{1 + e^{-\theta^T X}} hθ​(x)=sigmoid(θTX)=1+e−θTX1​
如何求解最优的  θ \theta θ

首先，我们仍旧是要找到一个符合的丧失函数，在Logistic回归中的丧失函数为：
  C o s t ( h θ ( x ) , y ) = { − l o g ( h θ ( x ) ) i f   y = 1 − l o g ( 1 − h θ ( x ) ) i f   y = 0 Cost(h_{\theta}(x),y) = \begin{cases} -log(h_{\theta(x)}) & if \, y = 1\\ -log(1-h_{\theta(x)}) & if \, y = 0 \end{cases} Cost(hθ​(x),y)={         −log(hθ(x)​)−log(1−hθ(x)​)​ify=1ify=0​
  J ( θ ) = − 1 m [ ∑ i = 1 m y ( i ) l o g ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) ] J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^m y^{(i)}log(h_\theta(x^{(i)})) + (1-y^{(i)}) log(1 - h_\theta(x^{(i)})) \right] J(θ)=−m1​[i=1∑m​y(i)log(hθ​(x(i)))+(1−y(i))log(1−hθ​(x(i)))]
我们终极给它加一个正则化项：
  J ( θ ) = − 1 m [ ∑ i = 1 m y ( i ) l o g ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) ] + λ 2 m ∑ j = 1 m θ j 2 J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^m y^{(i)}log(h_\theta(x^{(i)})) + (1-y^{(i)}) log(1 - h_\theta(x^{(i)})) \right] + \frac{\lambda}{2m} \sum_{j=1}^{m}\theta_j^2 J(θ)=−m1​[i=1∑

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。