一、 RNN先容
循环神经网络（Recurrent Neural Network，简称 RNN）是一种专门用于处置惩罚序列数据的神经网络，在自然语言处置惩罚、语音辨认、时间序列预测等领域有广泛应用。
传统神经网络
无法训练出具有顺序的数据。模型搭建时没有思量数据上下之间的关系。
提出一种新的神经网络
RNN（Recurrent Neural Network）在处置惩罚序列输入时具有记忆性，可以保留之前输入的信息并继续作为后续输入的一部分进行计算。
RNN的特点：引入了隐状态h（hidden state）的概念，隐状态h可以对序列形的数据提取特征，接着再转换为输出。
（1）、在计算时，每一步利用的参数U、W、b都是一样的，也就是说每个步调的参数都是共享的，这是RNN的重要特点；
（2）、下文的LSTM和GRU中的权值则不共享。
RNN结构中输入是x1, x2, .....xn，输出为y1, y2, ...yn，也就是说，输入和输出序列必须要是等长的。
RNN的局限性：
当出现“我的职业是程序员，…,我最擅长的是电脑”。当须要预测末了的词“电脑”。当前的信息建议下一个词可能是一种技能，但是如果我们须要弄清楚是什么技能，须要先前提到的离当前位置很远的“职业是程序员”的上下文。这说明相干信息和当前预测位置之间的间隔就变得相当的大。
在理论上，RNN绝对可以处置惩罚这样的长期依赖题目。人们可以仔细挑选参数来解决这类题目中的最初级形式，但在实践中，RNN则没法太好的学习到这些知识。
原因是：梯度会随着时间的推移不断下降减少，而当梯度值变得非常小时，就不会继续学习。
二、LSTM
长短期记忆网络（Long Short - Term Memory，LSTM）是一种特别的循环神经网络（RNN），它在处置惩罚序列数据时，能有效解决传统 RNN 存在的梯度消失和梯度爆炸题目，从而更好地捕捉序列中的长期依赖关系。
原理:
传统 RNN 在处置惩罚长序列时，由于在反向流传过程中梯度会不断相乘，轻易导致梯度消失（梯度趋近于 0）或梯度爆炸（梯度变得非常大），使得模型难以学习到序列中的长期依赖信息。LSTM 通过引入门控机制，可以或许选择性地记忆和忘记信息，从而有效解决这一题目。
结构
LSTM 单位重要由三个门（输入门、忘记门、输出门）和一个细胞状态组成：
忘记门（Forget Gate）：
功能：决定应抛弃哪些关键词信息。
步调：来自前一个隐藏状态的信息和当前输入的信息同时传递到 sigmoid 函数中去，输出值介于 0 和 1 之间，越接近 0 意味着越应该抛弃，越接近 1 意味着越应该保留。
输入门（Input Gate）：
功能：用于更新细胞状态。
步调：1、首先将前一层隐藏状态的信息和当前输入的信息传递到 sigmoid 函数中去。将值调解到 0~1 之间来决定要更新哪些信息。0 表现不重要，1 表现重要。2、将前一层隐藏状态的信息和当前输入的信息传递到 tanh 函数中去，创造一个新的侯选值向量。末了将 sigmoid 的输出值与 tanh 的输出值相乘，sigmoid 的输出值将决定 tanh 的输出值中哪些信息是重要且须要保留下来的。
细胞状态（Cell State）：它是 LSTM 的核心，用于保存序列中的长期信息。在每个时间步，细胞状态会根据忘记门和输入门的输出进行更新。
输出门（Output Gate）：
功能：用来确定下一个隐藏状态的值。
步调：1、将前一个隐藏状态和当前输入传递到 sigmoid 函数中，然后将新得到的细胞状态传递给 tanh 函数。2、将 tanh 的输出与 sigmoid 的输出相乘，以确定隐藏状态应携带的信息。再将隐藏状态作为当前细胞的输出，把新的细胞状态和新的隐藏状态传递到下一个时间步长中去。
sigmoid函数图像：
tanh函数图像：
三、总结
RNN：在每个时间步，罗致当前输入和上一时候的隐藏状态，通过激活函数计算当前隐藏状态和输出，信息传递较为直接，但轻易出现梯度消失或爆炸题目，导致长序列信息难以有效传递和利用。
LSTM：在每个时间步，输入门决定当前输入信息有多少要存入细胞状态，忘记门控制细胞状态中须要忘记的信息，输出门根据细胞状态和当前隐藏状态决定输出内容。这种机制使得 LSTM 可以或许选择性地记忆和忘记信息，更有效地处置惩罚长序列中的关键信息。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
| 
