第R1周：LSTM-火灾温度推测：一文搞懂LSTM（黑白期影象网络）
一文搞懂LSTM（黑白期影象网络）一句话先容LSTM，它是RNN的进阶版，假如说RNN的最大限度是明白一句话，那么LSTM的最大限度则是明白一段话，具体先容如下：
LSTM，全称为黑白期影象网络(Long Short Term Memory networks)，是一种特别的RNN，可以大概学习到恒久依靠关系。LSTM由Hochreiter & Schmidhuber (1997)提出，很多研究者举行了一系列的工尴尬刁难其改进并使之发扬光大。LSTM在很多标题上效果非常好，如今被广泛使用。
本文将从LSTM的本质、LSTM的原理两个方面，带你一文搞懂LSTM。
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvOGNjMDkxOTk2OTNkNDAyYmI1MTFlMzA1Mzc5NTU2ZjUucG5nI3BpY19jZW50ZXI=
一、LSTM的本质
RNN 面对标题：RNN（递归神经网络）在处理处罚长序列时面对的重要标题：短时影象和梯度消散/梯度爆炸。
梯度更新规则：
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9kaXJlY3QvOTAyYmQyNWM4Mzc4NDZiN2E3ZmM5ZDU0NDE1ZDNlZWEuanBlZyNwaWNfY2VudGVy
[*] RNN面对的标题1
1）短时影象
●标题形貌：RNN在处理处罚长序列时，由于信息的转达是通过隐蔽状态举行的，随着时间的推移，较早时间步的信息大概会在转达到背面的时间步时徐徐消散或被覆盖。
●影响：这导致RNN难以捕捉和使用序列中的恒久依靠关系，从而限定了其在处理处罚复杂使命时的性能。
2）梯度消散/梯度爆炸
●标题形貌：在RNN的反向流传过程中，梯度会随着时间步的推移而徐徐消散（变得非常小）或爆炸（变得非常大）。
●影响：梯度消散使得RNN在训练时难以学习到恒久依靠关系，由于较早时间步的梯度信息在反向流传到初始层时险些为零。梯度爆炸则大概导致训练过程不稳固，权重更新过大，以致导致数值溢出。
[*] LSTM的提出
LSTM是一种循
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金
页:
[1]