机器学习底子 - 分类模型之逻辑回归
机器学习： 逻辑回归<hr>
logistic回归简介
logistic回归用于办理的是分类题目，其基本思想是：根据现有数据对分类边界线建立回归公式,以此举行分类。也就是说，logistic 回归不是对所有数据点举行拟合，而是要对数据之间的分界线举行拟合。
[*]逻辑回归的本质： 极大似然估计
[*]逻辑回归的激活函数：Sigmoid
[*]逻辑回归的代价函数：交叉熵
Logistic 回归的数学表达
h θ ( x ) = s i g m o i d ( θ T X ) = 1 1 + e − θ T X h_\theta(x) = sigmoid(\theta^T X) = \frac{1}{1 + e^{-\theta^T X}} hθ(x)=sigmoid(θTX)=1+e−θTX1
如何求解最优的θ \theta θ
首先，我们仍旧是要找到一个符合的丧失函数，在Logistic回归中的丧失函数为：
C o s t ( h θ ( x ) , y ) = { − l o g ( h θ ( x ) ) i f y = 1 − l o g ( 1 − h θ ( x ) ) i f y = 0 Cost(h_{\theta}(x),y) = \begin{cases} -log(h_{\theta(x)}) & if \, y = 1\\ -log(1-h_{\theta(x)}) & if \, y = 0 \end{cases} Cost(hθ(x),y)={ −log(hθ(x))−log(1−hθ(x))ify=1ify=0
J ( θ ) = − 1 m [ ∑ i = 1 m y ( i ) l o g ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) ] J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^m y^{(i)}log(h_\theta(x^{(i)})) + (1-y^{(i)}) log(1 - h_\theta(x^{(i)})) \right] J(θ)=−m1
我们终极给它加一个正则化项：
J ( θ ) = − 1 m [ ∑ i = 1 m y ( i ) l o g ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) l o g ( 1 − h θ ( x ( i ) ) ) ] + λ 2 m ∑ j = 1 m θ j 2 J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^m y^{(i)}log(h_\theta(x^{(i)})) + (1-y^{(i)}) log(1 - h_\theta(x^{(i)})) \right] + \frac{\lambda}{2m} \sum_{j=1}^{m}\theta_j^2 J(θ)=−m1[i=1∑
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]