跟李沐学AI：长短期记忆网络LSTM

输入们、忘记门和输出门

LSTM引入输入门、忘记门和输出门

输入门计算公式为：

。
忘记门计算公式为：

。
输出门计算公式为：

。
 它们由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、忘记门和输出门的值。 因此，这三个门的值都在(0,1)的范围内。
候选记忆元

雷同RNN中的

，计算公式为：

。

记忆元

LSTM中，输入门和忘记门雷同GRU中控制输入或忘记的机制。输入们用于控制接纳多少来自

的新数据，忘记门用于控制保留多少已往的记忆元

的内容。随后按元素乘法，得出

。
假如忘记门始终为1且输入门始终为0， 则已往的记忆元Ct−1 将随时间被生存并通报到当前时间步。 引入这种计划是为了缓解梯度消失题目， 并更好地捕捉序列中的长距离依靠关系。

隐状态 

LSTM中，输出门用于计算隐状态：

。只要输出门靠近1，我们就能够有效地将所有记忆信息通报给预测部分， 而对于输出门靠近0，我们只保留记忆元内的所有信息，而不必要更新隐状态。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。