#peephole

深度学习原理:循环神经网络RNN和LSTM网络结构、结构变体(peephole,GRU)、前向传播公式以及TF实现简单解析

循环神经网络背景这里先不介绍了。本文暂时先记录RNN和LSTM的原理。首先RNN。RNN和LSTM都是参数复用的,然后每个时间步展开。RNN的cell比较简单,我们用Xt表示t时刻cell的输入,Ct表示t时刻cell的状态,ht表示t时刻的输出(输出和状态在RNN里是一样的)。那么其前向传播的公式也很简单:$h_t=...