神经网络(RNN)"/>
深度学习之循环神经网络(RNN)
本文转自《零基础入门深度学习》系列文章,阅读原文请移步这里
一、语言模型
RNN是在自然语言处理领域中最先被用起来的，比如，RNN可以为语言模型来建模。那么，什么是语言模型呢？
我们可以和电脑玩一个游戏，我们写出一个句子前面的一些词，然后，让电脑帮我们写下接下来的一个词。比如下面这句：
我昨天上学迟到了，老师批评了____。
我们给电脑展示了这句话前面这些词，然后，让电脑写下接下来的一个词。在这个例子中，接下来的这个词最有可能是『我』，而不太可能是『小明』，甚至是『吃饭』。
语言模型就是这样的东西：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。
语言模型是对一种语言的特征进行建模，它有很多很多用处。比如在语音转文本(STT)的应用中，声学模型输出的结果，往往是若干个可能的候选词，这时候就需要语言模型来从这些候选词中选择一个最可能的。当然，它同样也可以用在图像到文本的识别中(OCR)。
使用RNN之前，语言模型主要是采用N-Gram。N可以是一个自然数，比如2或者3。它的含义是，假设一个词出现的概率只与前面N个词相关。我们以2-Gram为例。首先，对前面的一句话进行切词：
我 昨天 上学 迟到 了 ，老师 批评 了 ____。
如果用2-Gram进行建模，那么电脑在预测的时候，只会看到前面的『了』，然后，电脑会在语料库中，搜索『了』后面最可能的一个词。不管最后电脑选的是不是『我』，我们都知道这个模型是不靠谱的，因为『了』前面说了那么一大堆实际上是没有用到的。如果是3-Gram模型呢，会搜索『批评了』后面最可能的词，感觉上比2-Gram靠谱了不少，但还是远远不够的。因为这句话最关键的信息『我』，远在9个词之前！
现在读者可能会想，可以提升继续提升N的值呀，比如4-Gram、5-Gram…。实际上，这个想法是没有实用性的。因为我们想处理任意长度的句子，N设为多少都不合适；另外，模型的大小和N的关系是指数级的，4-Gram模型就会占用海量的存储空间。
所以，该轮到RNN出场了，RNN理论上可以往前看(往后看)任意多个词。
二、循环神经网络是啥
循环神经网络种类繁多，我们先从最简单的基本循环神经网络开始吧。
1、基本循环神经网络
下图是一个简单的循环神经网络如，它由输入层、一个隐藏层和一个输出层组成：
上图为一个抽象的循环神经网络单元，如果把上面带 W W W的箭头去掉，就变成了最普通的全连接神经网络。 x x x是一个向量，它表示输入层的值，（这里面没有画出来表示神经元节点的圆圈）； s s s是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量 s s s的维度相同）； U U U是输入层到隐藏层的权重矩阵（读者可以回到《深度学习之神经网络和反向传播算法》，看看我们是怎样用矩阵来表示全连接神经网络的计算的）； o o o也是一个向量，它表示输出层的值； V V V是隐藏层到输出层的权重矩阵。那么，现在我们来看看 W W W是什么。循环神经网络的隐藏层的值 s s s不仅仅取决于当前这次的输入 x x x，还取决于上一次隐藏层的值 s s s。权重矩阵 W W W就是隐藏层上一次的值作为这一次的输入的权重。
如果我们把上面的图展开，循环神经网络也可以画成下面这个样子：
现在看上去就比较清楚了，这个网络在t时刻接收到输入 x t x_t xt之后，隐藏层的值是 s t s_t st，输出值是。关键一点是，的值不仅仅取决于，还取决于。我们可以用下面的公式来表示循环神经网络的计算方法： o t = g ( V s t ) ( 式 1 ) o_t=g(Vs_t)\space\space\space\space\space\space\space(式1) ot=g(Vst) (式1) s t = f ( U x t + W s t − 1 ) ( 式 2 ) \space\space\space\space\space\space\space \space\space\space\space\space\space\space \space\space\space s_t=f(Ux_t+Ws_{t-1})\space\space\space\space\space\space\space(式2) st=f(Uxt+Wst−1) (式2)式1是输出层的计算公式，输出层是一个全连接层，也就是它的每个节点都和隐藏层的每个节点相连。 V V V是输出层的权重矩阵， g g g是激活函数。式2是隐藏层的计算公式，它是循环层。 U U U是输入 x x x的权重矩阵， W W W是上一次的值 s t − 1 s_{t-1} st−1作为这一次的输入的权重矩阵， f f f是激活函数。
从上面的公式我们可以看出，循环层和全连接层的区别就是循环层多了一个权重矩阵 W W W。
如果反复把式2带入到式1，我们将得到： o t = g ( V s t ) o_t=g(Vs_t)\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space ot=g(Vst) = V f ( U x t + W s t − 1 ) =Vf(Ux_t+Ws_{t-1})\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space =Vf(Uxt+Wst−1) = V f ( U x t + W f ( U x t − 1 + W s t − 2 ) ) =Vf(Ux_t+Wf(Ux_{t-1}+Ws_{t-2}))\space\space\space\space\space\space\space =Vf(Uxt+Wf(Uxt−1+Wst−2)) = V f ( U x t + W f ( U x t − 1 + W f ( U x t − 2 + W s t − 3 ) ) ) \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=Vf(Ux_t+Wf(Ux_{t-1}+Wf(Ux_{t-2}+Ws_{t-3}))) =Vf(Uxt+Wf(Uxt−1+Wf(Uxt−2+Wst−3))) = V f ( U x t + W f ( U x t − 1 + W f ( U x t − 2 + W f ( U x t − 3 + . . . ) ) ) ) \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=Vf(Ux_t+Wf(Ux_{t-1}+Wf(Ux_{t-2}+Wf(Ux_{t-3}+...)))) =Vf(Uxt+Wf(Uxt−1+Wf(Uxt−2+Wf(Uxt−3+...))))从上面可以看出，循环神经网络的输出值 o t o_t ot，是受前面历次输入值 x t x_t xt、 x t − 1 x_{t-1} xt−1、 x t − 2 x_{t-2} xt−2、 x t − 3 x_{t-3} xt−3、…影响的，这就是为什么循环神经网络可以往前看任意多个输入值的原因。
2、双向循环神经网络
对于语言模型来说，很多时候光看前面的词是不够的，比如下面这句话：
我的手机坏了，我打算____一部新手机。
可以想象，如果我们只看横线前面的词，手机坏了，那么我是打算修一修？换一部新的？还是大哭一场？这些都是无法确定的。但如果我们也看到了横线后面的词是『一部新手机』，那么，横线上的词填『买』的概率就大得多了。
在上一小节中的基本循环神经网络是无法对此进行建模的，因此，我们需要双向循环神经网络，如下图所示：
当遇到这种从未来穿越回来的场景时，难免处于懵逼的状态。不过我们还是可以用屡试不爽的老办法：先分析一个特殊场景，然后再总结一般规律。我们先考虑上图中， y 2 y_2 y2的计算。
从上图可以看出，双向卷积神经网络的隐藏层要保存两个值，一个A参与正向计算，另一个值A’参与反向计算。最终的输出值 y 2 y_2 y2取决于 A 2 A_2 A2和 A 2 ′ A_2' A2′。其计算方法为： y 2 = g ( V A 2 + V ′ A 2 ′ ) y_2=g(VA_2+V'A_2') y2=g(VA2+V′A2′) A 2 A_2 A2和 A 2 ′ A_2' A2′则分别计算： A 2 = f ( W A 1 + U x 2 ) A_2=f(WA_1+Ux_2) A2=f(WA1+Ux2) A 2 ′ = f ( W ′ A 3 ′ + U ′ x 2 ) A_2'=f(W'A_3'+U'x_2) A2′=f(W′A3′+U′x2)现在，我们已经可以看出一般的规律：正向计算时，隐藏层的值 s t s_t st与 s t 1 s_{t_1} st1有关；反向计算时，隐藏层的值 s t ′ s_t' st′与 s t + 1 ′ s_{t+1}' st+1′有关；最终的输出取决于正向和反向计算的加和。现在，我们仿照式1和式2，写出双向循环神经网络的计算方法： o t = g ( V s t + V ′ s t ′ ) o_t=g(Vs_t+V's_t') ot=g(Vst+V′st′) s t = f ( U x t + W s t − 1 ) \space\space\space \space s_t=f(Ux_t+Ws_{t-1}) st=f(Uxt+Wst−1) s t ′ = f ( U ′ x t + W ′ s t + 1 ′ ) \space\space\space \space\space\space\space s_t'=f(U'x_t+W's_{t+1}') st′=f(U′xt+W′st+1′)从上面三个公式我们可以看到，正向计算和反向计算不共享权重，也就是说 U U U和 U ′ U' U′、 W W W和 W ′ W' W′、 V V V和 V ′ V' V′都是不同的权重矩阵。
3、深度循环神经网络
前面我们介绍的循环神经网络只有一个隐藏层，我们当然也可以堆叠两个以上的隐藏层，这样就得到了深度循环神经网络。如下图所示：
我们把第 i i i个隐藏层的值表示为 s t ( i ) s_t^{(i)} st(i)、 s t ′ ( i ) s_t^{'(i)} st′(i)，则深度循环神经网络的计算方式可以表示为： o t = g ( V ( i ) s t ( i ) + V ′ ( i ) s t ′ ( i ) ) o_t=g(V^{(i)}s_t^{(i)}+V^{'(i)}s_t^{'(i)}) ot=g(V(i)st(i)+V′(i)st′(i)) s t ( i ) = f ( U ( i ) s t ( i − 1 ) + W ( i ) s t − 1 ) \space\space\space\space \space\space s_t^{(i)}=f(U^{(i)}s_t^{(i-1)}+W^{(i)}s_{t-1}) st(i)=f(U(i)st(i−1)+W(i)st−1) s t ′ ( i ) = f ( U ′ ( i ) s t ′ ( i − 1 ) + W ′ ( i ) s t − 1 ′ ) \space\space\space\space \space\space\space\space \space\space\space s_t^{'(i)}=f(U^{'(i)}s_t^{'(i-1)}+W'^{(i)}s_{t-1}') st′(i)=f(U′(i)st′(i−1)+W′(i)st−1′) . . . ...\space\space\space\space \space\space\space\space \space\space\space \space\space\space\space \space\space\space\space \space\space\space \space\space\space\space \space\space\space\space \space\space\space \space\space\space\space ... s t ( 1 ) = f ( U ( 1 ) x t + W ( 1 ) s t − 1 ) \space\space\space\space s_t^{(1)}=f(U^{(1)}x_t+W^{(1)}s_{t-1}) st(1)=f(U(1)xt+W(1)st−1) s t ′ ( 1 ) = f ( U ′ ( 1 ) x t + W ′ ( 1 ) s t + 1 ′ ) \space\space\space\space \space\space\space s_t^{'(1)}=f(U^{'(1)}x_t+W'^{(1)}s_{t+1}') st′(1)=f(U′(1)xt+W′(1)st+1′)
三、循环神经网络的训练
1、循环神经网络的训练算法：BPTT (Back Propagation Through Time)
BPTT算法是针对循环层的训练算法，它的基本原理和BP算法是一样的，也包含同样的三个步骤：
- 前向计算每个神经元的输出值；
- 反向计算每个神经元的误差项 δ j \delta_j δj值，它是误差函数 E E E对神经元 j j j的加权输入 n e t j net_j netj的偏导数；
- 计算每个权重的梯度。
最后再用随机梯度下降算法更新权重。
循环层如下图所示：
前向计算
使用前面的(式2)对循环层进行前向计算： s t = f ( U x t + W s t − 1 ) s_t=f(Ux_t+Ws_{t-1}) st=f(Uxt+Wst−1)注意，上面的 s t s_t st、 x t x_t xt、 s t − 1 s_{t-1} st−1都是向量，用黑体字母表示；而 U U U、 V V V是矩阵，用大写字母表示。向量的下标表示时刻，例如， s t s_t st表示在 t t t时刻向量 s s s的值。
我们假设输入向量 x x x的维度是 m m m，输出向量 s s s的维度是 n n n，则矩阵 U U U的维度是 n ∗ m n*m n∗m，矩阵 W W W的维度是 n ∗ n n*n n∗n。下面是上式展开成矩阵的样子，看起来更直观一些： [ s 1 t s 2 t . . s n t ] = f ( [ u 11 u 12 . . . u 1 m u 21 u 22 . . . u 2 m . . u n 1 u n 2 . . . u n m ] [ x 1 x 2 . . x n ] + [ w 11 w 12 . . . w 1 n w 21 w 22 . . . w 2 n . . w n 1 w n 2 . . . w n n ] [ s 1 t − 1 s 2 t − 1 . . s n t − 1 ] ) \begin{bmatrix}s_1^t \\ s_2^t \\ . \\. \\ s_n^t \end{bmatrix}=f(\begin{bmatrix}u_{11}u_{12}...u_{1m} \\ u_{21}u_{22}...u_{2m} \\ . \\. \\ u_{n1}u_{n2}...u_{nm} \end{bmatrix}\begin{bmatrix}x_1 \\ x_2 \\ . \\. \\ x_n \end{bmatrix}+\begin{bmatrix}w_{11}w_{12}...w_{1n} \\ w_{21}w_{22}...w_{2n} \\ . \\. \\ w_{n1}w_{n2}...w_{nn} \end{bmatrix}\begin{bmatrix}s_1^{t-1} \\ s_2^{t-1} \\ . \\. \\ s_n^{t-1} \end{bmatrix}) ⎣⎢⎢⎢⎢⎡s1ts2t..snt⎦⎥⎥⎥⎥⎤=f(⎣⎢⎢⎢⎢⎡u11u12...u1mu21u22...u2m..un1un2...unm⎦⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡x1x2..xn⎦⎥⎥⎥⎥⎤+⎣⎢⎢⎢⎢⎡w11w12...w1nw21w22...w2n..wn1wn2...wnn⎦⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡s1t−1s2t−1..snt−1⎦⎥⎥⎥⎥⎤)在这里我们用手写体字母表示向量的一个元素，它的下标表示它是这个向量的第几个元素，它的上标表示第几个时刻。例如， s j t s_j^t sjt表示向量 s s s的第 j j j个元素在 t t t时刻的值。 u j i u_{ji} uji表示输入层第 i i i个神经元到循环层第 j j j个神经元的权重。 w j i w_{ji} wji表示循环层第 t − 1 t-1 t−1时刻的第 i i i个神经元到循环层第 t t t个时刻的第j个神经元的权重。
误差项的计算
BTPP算法将第 l l l层 t t t时刻的误差项 δ t l \delta_t^l δtl值沿两个方向传播，一个方向是其传递到上一层网络，得到 δ t l − 1 \delta_t^{l-1} δtl−1，这部分只和权重矩阵 U U U有关；另一个是方向是将其沿时间线传递到初始 t 1 t_1 t1时刻，得到 δ 1 l \delta_1^l δ1l，这部分只和权重矩阵 W W W有关。
我们用向量 n e t t net_t nett表示神经元在t时刻的加权输入，因为： n e t t = U x t + W s t − 1 net_t=Ux_t+Ws_{t-1} nett=Uxt+Wst−1 s t − 1 = f ( n e t t − 1 ) s_{t-1}=f(net_{t-1}) st−1=f(nett−1)因此： ∂ n e t t ∂ n e t t − 1 = ∂ n e t t ∂ s t − 1 ∂ s t − 1 ∂ n e t t − 1 \frac{\partial net_t}{\partial net_{t-1}}=\frac{\partial net_t}{\partial s_{t-1}}\frac{\partial s_{t-1}}{\partial net_{t-1}} ∂nett−1∂nett=∂st−1∂nett∂nett−1∂st−1我们用 a a a表示列向量，用 a T a^T aT表示行向量。上式的第一项是向量函数对向量求导，其结果为Jacobian矩阵： ∂ n e t t ∂ s t − 1 = [ ∂ n e t 1 t ∂ s 1 t − 1 ∂ n e t 1 t ∂ s 2 t − 1 . . . ∂ n e t 1 t ∂ s n t − 1 ∂ n e t 2 t ∂ s 1 t − 1 ∂ n e t 2 t ∂ s 2 t − 1 . . . ∂ n e t 2 t ∂ s n t − 1 . . ∂ n e t n t ∂ s 1 t − 1 ∂ n e t n t ∂ s 2 t − 1 . . . ∂ n e t n t ∂ s n t − 1 ] \frac{\partial net_t}{\partial s_{t-1}}=\begin{bmatrix} \frac{\partial net_1^t}{\partial s_1^{t-1}} \space\space \frac{\partial net_1^t}{\partial s_2^{t-1}} \space\space.\space\space. \space\space. \space\space \frac{\partial net_1^t}{\partial s_n^{t-1}} \\ \frac{\partial net_2^t}{\partial s_1^{t-1}} \space\space \frac{\partial net_2^t}{\partial s_2^{t-1}} \space\space.\space\space. \space\space. \space\space \frac{\partial net_2^t}{\partial s_n^{t-1}} \\ . \\. \\ \frac{\partial net_n^t}{\partial s_1^{t-1}} \space\space \frac{\partial net_n^t}{\partial s_2^{t-1}} \space\space.\space\space. \space\space. \space\space \frac{\partial net_n^t}{\partial s_n^{t-1}} \end{bmatrix} ∂st−1∂nett=⎣⎢⎢⎢⎢⎢⎢⎡∂s1t−1∂net1t ∂s2t−1∂net1t . . . ∂snt−1∂net1t∂s1t−1∂net2t ∂s2t−1∂net2t . . . ∂snt−1∂net2t..∂s1t−1∂netnt ∂s2t−1∂netnt . . . ∂snt−1∂netnt⎦⎥⎥⎥⎥⎥⎥⎤ = [ w 11 w 12 . . . w 1 n w 21 w 22 . . . w 2 n . . w n 1 w n 2 . . . w n n ] =\begin{bmatrix}w_{11} \space\space w_{12} \space\space ... \space\space w_{1n} \\ w_{21} \space\space w_{22} \space\space ... \space\space w_{2n} \\ . \\. \\ w_{n1} \space\space w_{n2} \space\space ... \space\space w_{nn} \end{bmatrix} =⎣⎢⎢⎢⎢⎡w11 w12 ... w1nw21 w22 ... w2n..wn1 wn2 ... wnn⎦⎥⎥⎥⎥⎤ = W =W\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space =W 同理，上式第二项也是一个Jacobian矩阵： ∂ s t − 1 ∂ n e t t − 1 = [ ∂ s 1 t − 1 ∂ n e t 1 t − 1 ∂ s 1 t − 1 ∂ n e t 2 t − 1 . . . ∂ s 1 t − 1 ∂ n e t n t − 1 ∂ s 2 t − 1 ∂ n e t 1 t − 1 ∂ s 2 t − 1 ∂ n e t 2 t − 1 . . . ∂ s 2 t − 1 ∂ n e t n t − 1 . . ∂ s n t − 1 ∂ n e t 1 t − 1 ∂ s n t − 1 ∂ n e t 2 t − 1 . . . ∂ s n t − 1 ∂ n e t n t − 1 ] \frac{\partial s_{t-1}}{\partial net_{t-1}}=\begin{bmatrix}\frac{\partial s_1^{t-1}}{\partial net_1^{t-1}} \space\space \frac{\partial s_1^{t-1}}{\partial net_2^{t-1}} \space\space.\space\space. \space\space. \space\space \frac{\partial s_1^{t-1}}{\partial net_n^{t-1}} \\ \frac{\partial s_2^{t-1}}{\partial net_1^{t-1}} \space\space \frac{\partial s_2^{t-1}}{\partial net_2^{t-1}} \space\space.\space\space. \space\space. \space\space \frac{\partial s_2^{t-1}}{\partial net_n^{t-1}} \\.\\.\\ \frac{\partial s_n^{t-1}}{\partial net_1^{t-1}} \space\space \frac{\partial s_n^{t-1}}{\partial net_2^{t-1}} \space\space.\space\space. \space\space. \space\space \frac{\partial s_n^{t-1}}{\partial net_n^{t-1}} \end{bmatrix} ∂nett−1∂st−1=⎣⎢⎢⎢⎢⎢⎢⎢⎡∂net1t−1∂s1t−1 ∂net2t−1∂s1t−1 . . . ∂netnt−1∂s1t−1∂net1t−1∂s2t−1 ∂net2t−1∂s2t−1 . . . ∂netnt−1∂s2t−1..∂net1t−1∂snt−1 ∂net2t−1∂snt−1 . . . ∂netnt−1∂snt−1⎦⎥⎥⎥⎥⎥⎥⎥⎤ = [ f ′ ( n e t 1 t − 1 ) 0 . . . 0 0 f ′ ( n e t 1 t − 1 ) . . . 0 . . 0 0 . . . f ′ ( n e t n t − 1 ) ] \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\begin{bmatrix} f'(net_1^{t-1}) \space\space\space\space\space\space\space\space\space0\space\space\space\space\space\space\space\space\space\space\space .\space\space. \space\space.\space\space\space\space\space\space\space\space0\\ \space\space\space\space\space\space\space0 \space\space\space\space\space\space\space\space\space\space\space f'(net_1^{t-1}) \space\space.\space\space. \space\space.\space\space\space\space\space\space\space\space0\\.\\. \\ \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space0 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space 0\space\space\space\space\space\space\space\space\space .\space\space. \space\space. f'(net_n^{t-1})\end{bmatrix} =⎣⎢⎢⎢⎢⎡f′(net1t−1) 0 . . . 0 0 f′(net1t−1) . . . 0.. 0 0 . . .f′(netnt−1)⎦⎥⎥⎥⎥⎤ = d i a g [ f ′ ( n e t t − 1 ) ] =diag[f'(net_{t-1})]\space\space\space\space\space\space\space\space =diag[f′(nett−1)] 其中， d i a g [ a ] diag[a] diag[a]表示根据向量 a a a创建一个对角矩阵，即 d i a g ( a ) = [ a 1 0 . . . 0 0 a 2 . . . 0 . . 0 0 . . . a n ] diag(a)=\begin{bmatrix}a_1 \space\space0\space.\space.\space.\space 0 \\0\space\space a_2\space\space.\space.\space.\space0\\.\\.\\0 \space\space0\space.\space.\space.\space\space a_n \end{bmatrix} diag(a)=⎣⎢⎢⎢⎢⎡a1 0 . . . 00 a2 . . . 0..0 0 . . . an⎦⎥⎥⎥⎥⎤最后，将两项合在一起，可得 ∂ n e t t n e t t − 1 = ∂ n e t t ∂ s t − 1 ∂ s t − 1 ∂ n e t t − 1 \frac{\partial net_t}{net_{t-1}} = \frac{\partial net_t}{\partial s_{t-1}}\frac{\partial s_{t-1}}{\partial net_{t-1}}\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space nett−1∂nett=∂st−1∂nett∂nett−1∂st−1 = W d i a g [ f ′ ( n e t t − 1 ) ] =Wdiag[f'(net_{t-1})] =Wdiag[f′(nett−1)] = [ w 11 f ′ ( n e t 1 t − 1 ) w 12 f ′ ( n e t 2 t − 1 ) . . . w 1 n f ′ ( n e t n t − 1 ) w 21 f ′ ( n e t 1 t − 1 ) w 22 f ′ ( n e t 2 t − 1 ) . . . w 2 n f ′ ( n e t n t − 1 ) . . w n 1 f ′ ( n e t 1 t − 1 ) w n 2 f ′ ( n e t 2 t − 1 ) . . . w n n f ′ ( n e t n t − 1 ) ] \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\begin{bmatrix} w_{11}f'(net_1^{t-1}) \space\space w_{12}f'(net_2^{t-1}) \space\space.\space\space . \space\space. \space\space w_{1n}f'(net_n^{t-1}) \\ w_{21}f'(net_1^{t-1}) \space\space w_{22}f'(net_2^{t-1}) \space\space.\space\space . \space\space. \space\space w_{2n}f'(net_n^{t-1}) \\.\\.\\w_{n1}f'(net_1^{t-1}) \space\space w_{n2}f'(net_2^{t-1}) \space\space.\space\space . \space\space. \space\space w_{nn}f'(net_n^{t-1}) \end{bmatrix} =⎣⎢⎢⎢⎢⎡w11f′(net1t−1) w12f′(net2t−1) . . . w1nf′(netnt−1)w21f′(net1t−1) w22f′(net2t−1) . . . w2nf′(netnt−1)..wn1f′(net1t−1) wn2f′(net2t−1) . . . wnnf′(netnt−1)⎦⎥⎥⎥⎥⎤上式描述了将 δ \delta δ沿时间往前传递一个时刻的规律，有了这个规律，我们就可以求得任意时刻 k k k的误差项 δ k \delta_k δk： δ k T = ∂ E ∂ n e t k \delta_k^T=\frac{\partial E}{\partial net_k}\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space δkT=∂netk∂E = ∂ E ∂ n e t t ∂ n e t t ∂ n e t k =\frac{\partial E}{\partial net_t}\frac{\partial net_t}{\partial net_k}\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space =∂nett∂E∂netk∂nett = ∂ E ∂ n e t t ∂ n e t t ∂ n e t t − 1 ∂ n e t t − 1 ∂ n e t t − 2 . . . ∂ n e t k + 1 ∂ n e t k =\frac{\partial E}{\partial net_t}\frac{\partial net_t}{\partial net_{t-1}}\frac{\partial net_{t-1}}{\partial net_{t-2}}...\frac{\partial net_{k+1}}{\partial net_k} =∂nett∂E∂nett−1∂nett∂nett−2∂nett−1...∂netk∂netk+1 = W d i a g [ f ′ ( n e t t − 1 ) ] W d i a g [ f ′ ( n e t t − 2 ) ] . . . W d i a g [ f ′ ( n e t k ) ] δ t l \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=Wdiag[f'(net_{t-1})]Wdiag[f'(net_{t-2})]...Wdiag[f'(net_{k})]\delta_t^l =Wdiag[f′(nett−1)]Wdiag[f′(nett−2)]...Wdiag[f′(netk)]δtl = δ t T ∏ i = k t − 1 W d i a g [ f ′ ( n e t i ) ] ( 式 3 ) =\delta_t^T\prod_{i=k}^{t-1}Wdiag[f'(net_i)]\space\space\space\space\space\space\space\space(式3) =δtTi=k∏t−1Wdiag[f′(neti)] (式3)（式3）就是将误差项沿时间反向传播的算法。
循环层将误差项反向传递到上一层网络，与普通的全连接层是完全一样的，这在《深度学习之神经网络和反向传播算法》中已经详细讲过了，在此仅简要描述一下。
循环层的加权输入 n e t l net^l netl与上一层的加权输入 n e t l − 1 net^{l-1} netl−1关系如下： n e t t l = U a t l − 1 + W s t − 1 net_t^l=Ua_t^{l-1}+Ws_{t-1} nettl=Uatl−1+Wst−1 a t l − 1 = f l − 1 ( n e t t l − 1 ) a_t^{l-1}=f^{l-1}(net_t^{l-1}) atl−1=fl−1(nettl−1)上式中 n e t l net^l netl是第 l l l层神经元的加权输入(假设第 l l l层是循环层)； n e t l − 1 net^{l-1} netl−1是第 l − 1 l-1 l−1层神经元的加权输入； a t l − 1 a_t^{l-1} atl−1是第 l − 1 l-1 l−1层神经元的输出； f l − 1 f^{l-1} fl−1是第 l − 1 l-1 l−1层的激活函数。 ∂ n e t t l ∂ n e t t l − 1 = ∂ n e t t l ∂ a t l − 1 ∂ a t l − 1 ∂ n e t t l − 1 \frac{\partial net_t^l}{\partial net_t^{l-1}}=\frac{\partial net_t^l}{\partial a_t^{l-1}}\frac{\partial a_t^{l-1}}{\partial net_t^{l-1}} ∂nettl−1∂nettl=∂atl−1∂nettl∂nettl−1∂atl−1 = U d i a g [ f ′ l − 1 ( n e t t l − 1 ) ] \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=Udiag[f^{'l-1}(net_t^{l-1})] =Udiag[f′l−1(nettl−1)]所以， ( δ t l − 1 ) = ∂ E ∂ n e t t l − 1 (\delta_t^{l-1})=\frac{\partial E}{\partial net_t^{l-1}} (δtl−1)=∂nettl−1∂E = ∂ E ∂ n e t t l ∂ n e t t l ∂ n e t t l − 1 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\frac{\partial E}{\partial net_t^{l}}\frac{\partial net_t^{l}}{\partial net_t^{l-1}} =∂nettl∂E∂nettl−1∂nettl = ( δ t l ) T U d i a g [ f ′ l − 1 ( n e t t l − 1 ) ] ( 式 4 ) \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=(\delta_t^{l})^TUdiag[f^{'l-1}(net_t^{l-1})]\space\space\space\space(式4) =(δtl)TUdiag[f′l−1(nettl−1)] (式4)（式4）就是将误差项传递到上一层算法。
权重梯度的计算
现在，我们终于来到了BPTT算法的最后一步：计算每个权重的梯度。
首先，我们计算误差函数 E E E对权重矩阵 W W W的梯度 ∂ E ∂ W \frac{\partial E}{\partial W} ∂W∂E。
上图展示了我们到目前为止，在前两步中已经计算得到的量，包括每个时刻 t t t循环层的输出值 s t s_t st，以及误差项 δ t \delta_t δt。
在《深度学习之神经网络和反向传播算法》中介绍的全连接网络的权重梯度计算算法：只要知道了任意一个时刻的误差项 δ t \delta_t δt，以及上一个时刻循环层的输出值 s t − 1 s_{t-1} st−1，就可以按照下面的公式求出权重矩阵在 t t t时刻的梯度 ∇ W t E \nabla_{W_t}E ∇WtE： ∇ W t E = [ δ 1 t s 1 t − 1 δ 1 t s 2 t − 1 . . . δ 1 t s n t − 1 δ 2 t s 1 t − 1 δ 2 t s 2 t − 1 . . . δ 2 t s n t − 1 . . δ n t s 1 t − 1 δ n t s 2 t − 1 . . . δ n t s n t − 1 ] ( 式 5 ) \nabla_{W_t}E= \begin{bmatrix} \delta_1^t s_1^{t-1} \space\space \delta_1^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_1^t s_n^{t-1} \\ \\ \delta_2^t s_1^{t-1} \space\space \delta_2^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_2^t s_n^{t-1} \\ . \\.\\ \delta_n^t s_1^{t-1} \space\space \delta_n^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_n^t s_n^{t-1} \end{bmatrix} \space\space\space\space\space\space(式5) ∇WtE=⎣⎢⎢⎢⎢⎢⎢⎡δ1ts1t−1 δ1ts2t−1 . . . δ1tsnt−1δ2ts1t−1 δ2ts2t−1 . . . δ2tsnt−1..δnts1t−1 δnts2t−1 . . . δntsnt−1⎦⎥⎥⎥⎥⎥⎥⎤ (式5)在（式5）中， δ i t \delta_i^t δit表示t时刻误差项向量的第 i i i个分量； s i t − 1 s_i^{t-1} sit−1表示 t − 1 t-1 t−1时刻循环层第 i i i个神经元的输出值。
我们下面可以简单推导一下(式5)。 n e t t = U x t + W s t − 1 net_t=Ux_t+Ws_{t-1} nett=Uxt+Wst−1 [ n e t 1 t n e t 2 t . . n e t n t ] = U x t + [ w 11 w 12 . . . w 1 n w 21 w 22 . . . w 2 n . . w n 1 w n 2 . . . w n n ] [ s 1 t − 1 s 2 t − 1 . . s n t − 1 ] \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space \begin{bmatrix} net_1^t \\net_2^t\\.\\. \\net_n^t \end{bmatrix}=Ux_t+ \begin{bmatrix}w_{11} \space\space w_{12} \space\space ... \space\space w_{1n} \\ w_{21} \space\space w_{22} \space\space ... \space\space w_{2n} \\ . \\. \\ w_{n1} \space\space w_{n2} \space\space ... \space\space w_{nn} \end{bmatrix}\begin{bmatrix} s_1^{t-1} \\s_2^{t-1}\\.\\. \\s_n^{t-1} \end{bmatrix} ⎣⎢⎢⎢⎢⎡net1tnet2t.nt⎦⎥⎥⎥⎥⎤=Uxt+⎣⎢⎢⎢⎢⎡w11 w12 ... w1nw21 w22 ... w2n..wn1 wn2 ... wnn⎦⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡s1t−1s2t−1..snt−1⎦⎥⎥⎥⎥⎤ = U x t + [ w 11 s 1 t − 1 + w 12 s 2 t − 1 + . . . + w 1 n s n t − 1 w 21 s 1 t − 1 + w 22 s 2 t − 1 + . . . + w 2 n s n t − 1 . . w n 1 s 1 t − 1 + w n 2 s 2 t − 1 + . . . + w n n s n t − 1 ] \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space =Ux_t+ \begin{bmatrix} w_{11}s_1^{t-1}+w_{12}s_2^{t-1} +...+w_{1n}s_n^{t-1} \\ w_{21}s_1^{t-1}+w_{22}s_2^{t-1} +...+w_{2n}s_n^{t-1} \\.\\.\\ w_{n1}s_1^{t-1}+w_{n2}s_2^{t-1} +...+w_{nn}s_n^{t-1} \end{bmatrix} =Uxt+⎣⎢⎢⎢⎢⎡w11s1t−1+w12s2t−1+...+w1nsnt−1w21s1t−1+w22s2t−1+...+w2nsnt−1..wn1s1t−1+wn2s2t−1+...+wnnsnt−1⎦⎥⎥⎥⎥⎤因为对 W W W求导与 U x t Ux_t Uxt无关，我们不再考虑。现在，我们考虑对权重项 w j i w_{ji} wji求导。通过观察上式我们可以看到 w j i w_{ji} wji只与 n e t j t net_{j}^t netjt有关，所以： ∂ E ∂ w j i = ∂ E ∂ n e t j t ∂ n e t j t ∂ w j i \frac{\partial E}{\partial w_{ji}}=\frac{\partial E}{\partial net_{j}^t}\frac{\partial net_{j}^t}{\partial w_{ji}} ∂wji∂E=∂netjt∂E∂wji∂netjt = δ j t s i t − 1 =\delta_j^ts_i^{t-1} =δjtsit−1按照上面的规律就可以生成(式5)里面的矩阵。
我们已经求得了权重矩阵 W W W在 t t t时刻的梯度 ∇ W t E \nabla_{W_t}E ∇WtE，最终的梯度 ∇ W E \nabla_{W}E ∇WE是各个时刻的梯度之和： ∇ W E = ∑ i = 1 t ∇ W t E \nabla_{W}E=\sum_{i=1}^t\nabla_{W_t}E\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space ∇WE=i=1∑t∇WtE = [ δ 1 t s 1 t − 1 δ 1 t s 2 t − 1 . . . δ 1 t s n t − 1 δ 2 t s 1 t − 1 δ 2 t s 2 t − 1 . . . δ 2 t s n t − 1 . . δ n t s 1 t − 1 δ n t s 2 t − 1 . . . δ n t s n t − 1 ] + . . . + [ δ 1 1 s 1 0 δ 1 1 s 2 0 . . . δ 1 1 s n 0 δ 2 1 s 1 0 δ 2 1 s 2 0 . . . δ 2 1 s n 0 . . δ n 1 s 1 0 δ n 1 s 2 0 . . . δ n 1 s n 0 ] （ 式 6 ） =\begin{bmatrix} \delta_1^t s_1^{t-1} \space\space \delta_1^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_1^t s_n^{t-1} \\ \\ \delta_2^t s_1^{t-1} \space\space \delta_2^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_2^t s_n^{t-1} \\ . \\.\\ \delta_n^t s_1^{t-1} \space\space \delta_n^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_n^t s_n^{t-1} \end{bmatrix}+...+\begin{bmatrix} \delta_1^1 s_1^{0} \space\space \delta_1^1 s_2^{0} \space\space .\space.\space. \space\space \delta_1^1 s_n^{0} \\ \\ \delta_2^1 s_1^{0} \space\space \delta_2^1 s_2^{0} \space\space .\space.\space. \space\space \delta_2^1 s_n^{0} \\ . \\.\\ \delta_n^1 s_1^{0} \space\space \delta_n^1 s_2^{0} \space\space .\space.\space. \space\space \delta_n^1 s_n^{0} \end{bmatrix}\space\space\space\space\space\space\space\space（式6） =⎣⎢⎢⎢⎢⎢⎢⎡δ1ts1t−1 δ1ts2t−1 . . . δ1tsnt−1δ2ts1t−1 δ2ts2t−1 . . . δ2tsnt−1..δnts1t−1 δnts2t−1 . . . δntsnt−1⎦⎥⎥⎥⎥⎥⎥⎤+...+⎣⎢⎢⎢⎢⎢⎢⎡δ11s10 δ11s20 . . . δ11sn0δ21s10 δ21s20 . . . δ21sn0..δn1s10 δn1s20 . . . δn1sn0⎦⎥⎥⎥⎥⎥⎥⎤ （式6）（式6）就是计算循环层权重矩阵W的梯度的公式。
----------数学公式超高能预警----------
前面已经介绍了 ∇ W E \nabla_{W}E ∇WE的计算方法，看上去还是比较直观的。然而，读者也许会困惑，为什么最终的梯度是各个时刻的梯度之和呢？我们前面只是直接用了这个结论，实际上这里面是有道理的，只是这个数学推导比较绕脑子。感兴趣的同学可以仔细阅读接下来这一段，它用到了矩阵对矩阵求导、张量与向量相乘运算的一些法则。
我们还是从这个式子开始： n e t t = U x t + W f ( n e t t − 1 ) net_t=Ux_t+Wf(net_{t-1}) nett=Uxt+Wf(nett−1)因为 U x t Ux_t Uxt与 W W W完全无关，我们把它看做常量。现在，考虑第一个式子加号右边的部分，因为 W W W和 f ( n e t t − 1 ) f(net_{t-1}) f(nett−1)都是 W W W的函数，因此我们要用到大学里面都学过的导数乘法运算： ( u v ) ′ = u ′ v + u v ′ (uv)'=u'v+uv' (uv)′=u′v+uv′因此，上面第一个式子写成： ∂ n e t t ∂ W = ∂ W ∂ W f ( n e t t − 1 ) + W ∂ f ( n e t t − 1 ) ∂ W \frac{\partial net_t}{\partial W}=\frac{\partial W}{\partial W}f(net_{t-1})+W\frac{\partial f(net_{t-1})}{\partial W} ∂W∂nett=∂W∂Wf(nett−1)+W∂W∂f(nett−1)我们最终需要计算的是 ∇ W E \nabla_{W}E ∇WE： ∇ W E = ∂ E ∂ W \nabla_{W}E=\frac{\partial E}{\partial W}\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space ∇WE=∂W∂E = ∂ E ∂ n e t t ∂ n e t t ∂ W =\frac{\partial E}{\partial net_{t}}\frac{\partial net_{t}}{\partial W}\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space =∂nett∂E∂W∂nett = δ t T ∂ W ∂ W f ( n e t t − 1 ) + δ t T W ∂ f ( n e t t − 1 ) ∂ W （ 式 7 ） \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\delta_t^T\frac{\partial W}{\partial W}f(net_{t-1})+\delta_t^TW\frac{\partial f(net_{t-1})}{\partial W}\space\space\space\space（式7） =δtT∂W∂Wf(nett−1)+δtTW∂W∂f(nett−1) （式7）我们先计算（式7）加号左边的部分。 ∂ W ∂ W \frac{\partial W}{\partial W} ∂W∂W是矩阵对矩阵求导，其结果是一个四维张量(tensor)，如下所示： ∂ W ∂ W = [ ∂ w 11 ∂ W ∂ w 12 ∂ W . . . ∂ w 1 n ∂ W ∂ w 21 ∂ W ∂ w 22 ∂ W . . . ∂ w 2 n ∂ W . . ∂ w n 1 ∂ W ∂ w n 2 ∂ W . . . ∂ w n n ∂ W ] \frac{\partial W}{\partial W}=\begin{bmatrix} \frac{\partial w_{11}}{\partial W} \frac{\partial w_{12}}{\partial W} ... \frac{\partial w_{1n}}{\partial W}\\ \\ \frac{\partial w_{21}}{\partial W} \frac{\partial w_{22}}{\partial W} ... \frac{\partial w_{2n}}{\partial W} \\.\\.\\ \frac{\partial w_{n1}}{\partial W} \frac{\partial w_{n2}}{\partial W} ... \frac{\partial w_{nn}}{\partial W} \end{bmatrix}\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space ∂W∂W=⎣⎢⎢⎢⎢⎢⎢⎡∂W∂w11∂W∂w12...∂W∂w1n∂W∂w21∂W∂w22...∂W∂w2n..∂W∂wn1∂W∂wn2...∂W∂wnn⎦⎥⎥⎥⎥⎥⎥⎤ = [ [ ∂ w 11 ∂ w 11 ∂ w 11 ∂ w 12 . . . ∂ w 11 ∂ w 1 n ∂ w 11 ∂ w 21 ∂ w 11 ∂ w 22 . . . ∂ w 11 ∂ w 2 n . . ∂ w 11 ∂ w n 1 ∂ w 11 ∂ w n 2 . . . ∂ w 11 ∂ w n n ] [ ∂ w 12 ∂ w 11 ∂ w 12 ∂ w 12 . . . ∂ w 12 ∂ w 1 n ∂ w 12 ∂ w 21 ∂ w 12 ∂ w 22 . . . ∂ w 12 ∂ w 2 n . . ∂ w 12 ∂ w n 1 ∂ w 12 ∂ w n 2 . . . ∂ w 12 ∂ w n n ] . . . . . ] \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\begin{bmatrix} \begin{bmatrix} \frac{\partial w_{11}}{\partial w_{11}} \frac{\partial w_{11}}{\partial w_{12}} ... \frac{\partial w_{11}}{\partial w_{1n}}\\ \\ \frac{\partial w_{11}}{\partial w_{21}} \frac{\partial w_{11}}{\partial w_{22}} ... \frac{\partial w_{11}}{\partial w_{2n}} \\.\\.\\ \frac{\partial w_{11}}{\partial w_{n1}} \frac{\partial w_{11}}{\partial w_{n2}} ... \frac{\partial w_{11}}{\partial w_{nn}} \end{bmatrix} \begin{bmatrix} \frac{\partial w_{12}}{\partial w_{11}} \frac{\partial w_{12}}{\partial w_{12}} ... \frac{\partial w_{12}}{\partial w_{1n}}\\ \\ \frac{\partial w_{12}}{\partial w_{21}} \frac{\partial w_{12}}{\partial w_{22}} ... \frac{\partial w_{12}}{\partial w_{2n}} \\.\\.\\ \frac{\partial w_{12}}{\partial w_{n1}} \frac{\partial w_{12}}{\partial w_{n2}} ... \frac{\partial w_{12}}{\partial w_{nn}} \end{bmatrix} ... \\.\\. \end{bmatrix} =⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡⎣⎢⎢⎢⎢⎢⎢⎡∂w11∂w11∂w12∂w11...∂w1n∂w11∂w21∂w11∂w22∂w11...∂w2n∂w11..∂wn1∂w11∂wn2∂w11...∂wnn∂w11⎦⎥⎥⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎢⎢⎡∂w11∂w12∂w12∂w12...∂w1n∂w12∂w21∂w12∂w22∂w12...∂w2n∂w12..∂wn1∂w12∂wn2∂w12...∂wnn∂w12⎦⎥⎥⎥⎥⎥⎥⎤.....⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤ = [ [ 1 0 . . . 0 0 0 . . . 0 . . 0 0 . . . 0 ] [ 0 1 . . . 0 0 0 . . . 0 . . 0 0 . . . 0 ] . . . . . ] \space\space\space\space=\begin{bmatrix} \begin{bmatrix} 1\space0\space...\space0 \\ 0\space0\space...\space0\\.\\. \\ 0\space0\space...\space0 \end{bmatrix} \begin{bmatrix} 0\space1\space...\space0 \\ 0\space0\space...\space0\\.\\. \\ 0\space0\space...\space0 \end{bmatrix} ... \\ .\\ . \end{bmatrix} =⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡⎣⎢⎢⎢⎢⎡1 0 ... 00 0 ... 0..0 0 ... 0⎦⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡0 1 ... 00 0 ... 0..0 0 ... 0⎦⎥⎥⎥⎥⎤.....⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤接下来，我们知道 s t − 1 = f ( n e t t 1 ) s_{t-1}=f(net_{t_1}) st−1=f(nett1)，它是一个列向量。我们让上面的四维张量与这个向量相乘，得到了一个三维张量，再左乘行向量 δ t T \delta_t^T δtT，最终得到一个矩阵： δ t T ∂ W ∂ W f ( n e t t − 1 ) = δ t T ∂ W ∂ W s t − 1 \delta_t^T\frac{\partial W}{\partial W}f(net_{t-1})=\delta_t^T\frac{\partial W}{\partial W}s_{t-1}\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space δtT∂W∂Wf(nett−1)=δtT∂W∂Wst−1 = δ t T [ [ 1 0 . . . 0 0 0 . . . 0 . . 0 0 . . . 0 ] [ 0 1 . . . 0 0 0 . . . 0 . . 0 0 . . . 0 ] . . . . . ] [ s 1 t − 1 s 2 t − 1 . . s n t − 1 ] \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\delta_t^T\begin{bmatrix} \begin{bmatrix} 1\space0\space...\space0 \\ 0\space0\space...\space0\\.\\. \\ 0\space0\space...\space0 \end{bmatrix} \begin{bmatrix} 0\space1\space...\space0 \\ 0\space0\space...\space0\\.\\. \\ 0\space0\space...\space0 \end{bmatrix} ... \\ .\\ . \end{bmatrix}\begin{bmatrix} s_1^{t-1} \\s_2^{t-1}\\.\\. \\s_n^{t-1} \end{bmatrix} =δtT⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡⎣⎢⎢⎢⎢⎡1 0 ... 00 0 ... 0..0 0 ... 0⎦⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡0 1 ... 00 0 ... 0..0 0 ... 0⎦⎥⎥⎥⎥⎤.....⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡s1t−1s2t−1..snt−1⎦⎥⎥⎥⎥⎤ = δ t T [ [ s 1 t − 1 0 . . 0 ] [ s 2 t − 1 0 . . 0 ] . . . . . ] \space\space\space\space\space\space\space\space\space\space=\delta_t^T\begin{bmatrix} \begin{bmatrix} s_1^{t-1} \\ 0\\.\\.\\0 \end{bmatrix} \begin{bmatrix} s_2^{t-1} \\ 0\\.\\.\\0 \end{bmatrix} ...\\.\\. \end{bmatrix} =δtT⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡⎣⎢⎢⎢⎢⎡s1t−10..0⎦⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡s2t−10..0⎦⎥⎥⎥⎥⎤.....⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤ = [ δ 1 t δ 2 t . . . δ n t ] [ [ s 1 t − 1 0 . . 0 ] [ s 2 t − 1 0 . . 0 ] . . . . . ] \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space= \begin{bmatrix} \delta_1^t \space\space \delta_2^t \space...\space \delta_n^t \end{bmatrix}\begin{bmatrix} \begin{bmatrix} s_1^{t-1} \\ 0\\.\\.\\0 \end{bmatrix} \begin{bmatrix} s_2^{t-1} \\ 0\\.\\.\\0 \end{bmatrix} ...\\.\\. \end{bmatrix} =[δ1t δ2t ... δnt]⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡⎣⎢⎢⎢⎢⎡s1t−10..0⎦⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡s2t−10..0⎦⎥⎥⎥⎥⎤.....⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤ = [ δ 1 t s 1 t − 1 δ 1 t s 2 t − 1 . . . δ 1 t s n t − 1 δ 2 t s 1 t − 1 δ 2 t s 2 t − 1 . . . δ 2 t s n t − 1 . . δ n t s 1 t − 1 δ n t s 2 t − 1 . . . δ n t s n t − 1 ] \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\begin{bmatrix} \delta_1^t s_1^{t-1} \space\space \delta_1^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_1^t s_n^{t-1} \\ \\ \delta_2^t s_1^{t-1} \space\space \delta_2^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_2^t s_n^{t-1} \\ . \\.\\ \delta_n^t s_1^{t-1} \space\space \delta_n^t s_2^{t-1} \space\space .\space.\space. \space\space \delta_n^t s_n^{t-1} \end{bmatrix} =⎣⎢⎢⎢⎢⎢⎢⎡δ1ts1t−1 δ1ts2t−1 . . . δ1tsnt−1δ2ts1t−1 δ2ts2t−1 . . . δ2tsnt−1..δnts1t−1 δnts2t−1 . . . δntsnt−1⎦⎥⎥⎥⎥⎥⎥⎤ = ∇ W t E =\nabla_{W_t}E\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space =∇WtE 接下来，我们计算（式7）加号右边的部分： δ t T W ∂ f ( n e t t − 1 ) ∂ W = δ t T W ∂ f ( n e t t − 1 ) ∂ n e t t − 1 ∂ n e t t − 1 ∂ W \delta_t^TW\frac{\partial f(net_{t-1})}{\partial W}=\delta_t^TW\frac{\partial f(net_{t-1})}{\partial net_{t-1}}\frac{\partial net_{t-1}}{\partial W} δtTW∂W∂f(nett−1)=δtTW∂nett−1∂f(nett−1)∂W∂nett−1 = δ t T W f ′ ( n e t t − 1 ) ∂ n e t t − 1 ∂ W \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\delta_t^TWf'(net_{t-1})\frac{\partial net_{t-1}}{\partial W} =δtTWf′(nett−1)∂W∂nett−1 = δ t T ∂ n e t t ∂ n e t t − 1 ∂ n e t t − 1 ∂ W \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\delta_t^T\frac{\partial net_{t}}{\partial net_{t-1}}\frac{\partial net_{t-1}}{\partial W} =δtT∂nett−1∂nett∂W∂nett−1 = δ t − 1 T ∂ n e t t − 1 ∂ W \space\space\space\space\space\space\space\space=\delta_{t-1}^T\frac{\partial net_{t-1}}{\partial W} =δt−1T∂W∂nett−1于是，我们得到了如下递推公式： ∇ W E = ∂ E ∂ W \nabla_{W}E=\frac{\partial E}{\partial W} ∇WE=∂W∂E = ∂ E ∂ n e t t ∂ n e t t ∂ W \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\frac{\partial E}{\partial net_{t}}\frac{\partial net_{t}}{\partial W} =∂nett∂E∂W∂nett = ∇ W t E + δ t − 1 T ∂ n e t t − 1 ∂ W \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\nabla_{W_t}E+\delta_{t-1}^T\frac{\partial net_{t-1}}{\partial W} =∇WtE+δt−1T∂W∂nett−1 = ∇ W t E + ∇ W t − 1 E + δ t − 2 T ∂ n e t t − 2 ∂ W \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\nabla_{W_t}E+\nabla_{W_{t-1}}E+\delta_{t-2}^T\frac{\partial net_{t-2}}{\partial W} =∇WtE+∇Wt−1E+δt−2T∂W∂nett−2 = ∇ W t E + ∇ W t − 1 E + . . . + ∇ W 1 E \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\nabla_{W_t}E+\nabla_{W_{t-1}}E+...+\nabla_{W_1}E =∇WtE+∇Wt−1E+...+∇W1E = ∑ i = 1 t ∇ W t E \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space=\sum_{i=1}^t\nabla_{W_t}E =i=1∑t∇WtE这样，我们就证明了：最终的梯度 ∇ W E \nabla_{W}E ∇WE是各个时刻的梯度之和。
----------数学公式超高能预警解除----------
同权重矩阵 W W W类似，我们可以得到权重矩阵 U U U的计算方法。 ∇ U t E = [ δ 1 t x 1 t δ 1 t x 2 t . . . δ 1 t x m t δ 2 t x 1 t δ 2 t x 2 t . . . δ 2 t x m t . . δ n t x 1 t δ n t x 2 t . . . δ n t x m t ] ( 式 8 ) \nabla_{U_t}E= \begin{bmatrix} \delta_1^tx_1^t \space\space \delta_1^tx_2^t\space\space...\space\space\delta_1^tx_m^t \\ \delta_2^tx_1^t \space\space \delta_2^tx_2^t\space\space...\space\space\delta_2^tx_m^t \\.\\.\\ \delta_n^tx_1^t \space\space \delta_n^tx_2^t\space\space...\space\space\delta_n^tx_m^t \end{bmatrix}\space\space\space\space\space(式8) ∇UtE=⎣⎢⎢⎢⎢⎡δ1tx1t δ1tx2t ... δ1txmtδ2tx1t δ2tx2t ... δ2txmt..δntx1t δntx2t ... δntxmt⎦⎥⎥⎥⎥⎤ (式8)（式8）是误差函数在t时刻对权重矩阵 U U U的梯度。和权重矩阵 W W W一样，最终的梯度也是各个时刻的梯度之和： ∇ U E = ∑ i = 1 t ∇ U t E \nabla_{U}E=\sum_{i=1}^t\nabla_{U_t}E ∇UE=i=1∑t∇UtE具体的证明这里就不再赘述了，感兴趣的读者可以练习推导一下。
2、RNN的梯度爆炸和消失问题
不幸的是，实践中前面介绍的几种RNNs并不能很好的处理较长的序列。一个主要的原因是，RNN在训练中很容易发生梯度爆炸和梯度消失，这导致训练时梯度不能在较长序列中一直传递下去，从而使RNN无法捕捉到长距离的影响。
为什么RNN会产生梯度爆炸和消失问题呢？ 我们接下来将详细分析一下原因。我们根据（式3）可得： δ k T = δ t T ∏ i = k t − 1 W d i a g [ f ′ ( n e t i ) ] \delta_k^T=\delta_t^T\prod_{i=k}^{t-1}Wdiag[f'(net_i)] δkT=δtTi=k∏t−1Wdiag[f′(neti)] ∥ δ k T ∥ ⩽ ∥ δ t T ∥ ∏ i = k t − 1 ∥ W ∥ ∥ d i a g [ f ′ ( n e t i ) ] ∥ \lVert\delta_k^T\rVert\leqslant\lVert\delta_t^T\rVert\prod_{i=k}^{t-1}\lVert W \rVert\lVert diag[f'(net_i)]\rVert ∥δkT∥⩽∥δtT∥i=k∏t−1∥W∥∥diag[f′(neti)]∥ ⩽ ∥ δ t T ∥ ( β W β f ) t − k \leqslant\lVert\delta_t^T\rVert(\beta_W\beta_f)^{t-k} ⩽∥δtT∥(βWβf)t−k上式的 β \beta β定义为矩阵的模的上界。因为上式是一个指数函数，如果 t − k t-k t−k很大的话（也就是向前看很远的时候），会导致对应的误差项的值增长或缩小的非常快，这样就会导致相应的梯度爆炸和梯度消失问题（取决于大于1还是小于1）。
通常来说，梯度爆炸更容易处理一些。因为梯度爆炸的时候，我们的程序会收到NaN错误。我们也可以设置一个梯度阈值，当梯度超过这个阈值的时候可以直接截取。
梯度消失更难检测，而且也更难处理一些。总的来说，我们有三种方法应对梯度消失问题：
- 合理的初始化权重值。初始化权重，使每个神经元尽可能不要取极大或极小值，以躲开梯度消失的区域。
- 使用relu代替sigmoid和tanh作为激活函数。
- 使用其他结构的RNNs，比如长短时记忆网络（LTSM）和Gated Recurrent Unit（GRU），这是最流行的做法。我们将在以后的文章中介绍这两种网络。
四、RNN的应用举例——基于RNN的语言模型
现在，我们介绍一下基于RNN语言模型。我们首先把词依次输入到循环神经网络中，每输入一个词，循环神经网络就输出截止到目前为止，下一个最可能的词。例如，当我们依次输入：
我 昨天 上学 迟到 了
神经网络的输出如下图所示：
其中，s和e是两个特殊的词，分别表示一个序列的开始和结束。
1、向量化
我们知道，神经网络的输入和输出都是向量，为了让语言模型能够被神经网络处理，我们必须把词表达为向量的形式，这样神经网络才能处理它。
神经网络的输入是词，我们可以用下面的步骤对输入进行向量化：
- 建立一个包含所有词的词典，每个词在词典里面有一个唯一的编号。
- 任意一个词都可以用一个 N N N维的one-hot向量来表示。其中， N N N是词典中包含的词的个数。假设一个词在词典中的编号是 i i i， v v v是表示这个词的向量， v j v_j vj是向量的第 j j j个元素，则： v j = { 1 if j = i 0 if j ≠ i v_j = \begin{cases} 1 &\text{if } j=i \\ 0 &\text{if } j \not = i \end{cases} vj={10if j=iif j=i
上面这个公式的含义，可以用下面的图来直观的表示：
使用这种向量化方法，我们就得到了一个高维、稀疏的向量（稀疏是指绝大部分元素的值都是0）。处理这样的向量会导致我们的神经网络有很多的参数，带来庞大的计算量。因此，往往会需要使用一些降维方法，将高维的稀疏向量转变为低维的稠密向量。不过这个话题我们就不再这篇文章中讨论了。
语言模型要求的输出是下一个最可能的词，我们可以让循环神经网络计算计算词典中每个词是下一个词的概率，这样，概率最大的词就是下一个最可能的词。因此，神经网络的输出向量也是一个N维向量，向量中的每个元素对应着词典中相应的词是下一个词的概率。如下图所示：
2、Softmax层
前面提到，语言模型是对下一个词出现的概率进行建模。那么，怎样让神经网络输出概率呢？方法就是用softmax层作为神经网络的输出层。
我们先来看一下softmax函数的定义： g ( z i ) = e z i ∑ k e z k g(z_i)=\frac{e^{z_i}}{\sum_ke^{z_k}} g(zi)=∑kezkezi这个公式看起来可能很晕，我们举一个例子。Softmax层如下图所示：
从上图我们可以看到，softmax layer的输入是一个向量，输出也是一个向量，两个向量的维度是一样的（在这个例子里面是4）。输入向量 x = [ 1 2 3 4 ] x=[1\space\space 2\space\space 3 \space\space4] x=[1 2 3 4]经过softmax层之后，经过上面的softmax函数计算，转变为输出向量 y = [ 0.03 0.09 0.24 0.64 ] y=[0.03 \space\space0.09\space\space 0.24\space\space 0.64] y=[0.03 0.09 0.24 0.64]。计算过程为： y 1 = e x i ∑ k e x k y_1=\frac{e^{x_i}}{\sum_ke^{x_k}} y1=∑kexkexi = e 1 e 1 + e 2 + e 3 + e 4 =\frac{e^1}{e^1+e^2+e^3+e^4} =e1+e2+e3+e4e1 = 0.03 =0.03 =0.03 y 2 = e 2 e 1 + e 2 + e 3 + e 4 y_2=\frac{e^2}{e^1+e^2+e^3+e^4} y2=e1+e2+e3+e4e2 = 0.09 =0.09 =0.09 y 3 = e 3 e 1 + e 2 + e 3 + e 4 y_3=\frac{e^3}{e^1+e^2+e^3+e^4} y3=e1+e2+e3+e4e3 = 0.24 =0.24 =0.24 y 4 = e 4 e 1 + e 2 + e 3 + e 4 y_4=\frac{e^4}{e^1+e^2+e^3+e^4} y4=e1+e2+e3+e4e4 = 0.64 =0.64 =0.64我们来看看输出向量 y y y的特征：
- 每一项为取值为0-1之间的正数；
- 所有项的总和是1。
我们不难发现，这些特征和概率的特征是一样的，因此我们可以把它们看做是概率。对于语言模型来说，我们可以认为模型预测下一个词是词典中第一个词的概率是0.03，是词典中第二个词的概率是0.09，以此类推。
3、语言模型的训练
可以使用监督学习的方法对语言模型进行训练，首先，需要准备训练数据集。接下来，我们介绍怎样把语料
我 昨天 上学 迟到 了
转换成语言模型的训练数据集。
首先，我们获取输入-标签对：
| 输入 | 标签 |
|---|---|
| s | 我 |
| 我 | 昨天 |
| 昨天 | 上学 |
| 上学 | 迟到 |
| 迟到 | 了 |
| 了 | e |
然后，使用前面介绍过的向量化方法，对输入 x x x和标签 y y y进行向量化。这里面有意思的是，对标签 y y y进行向量化，其结果也是一个one-hot向量。例如，我们对标签『我』进行向量化，得到的向量中，只有第2019个元素的值是1，其他位置的元素的值都是0。它的含义就是下一个词是『我』的概率是1，是其它词的概率都是0。
最后，我们使用交叉熵误差函数作为优化目标，对模型进行优化。
在实际工程中，我们可以使用大量的语料来对模型进行训练，获取训练数据和训练的方法都是相同的。
4、交叉熵误差
一般来说，当神经网络的输出层是softmax层时，对应的误差函数E通常选择交叉熵误差函数，其定义如下： L ( y , o ) = − 1 N ∑ n ∈ N y n l o g o n L(y,o)=-\frac{1}{N}\sum_{n\in N}y_nlogo_n L(y,o)=−N1n∈N∑ynlogon在上式中， N N N是训练样本的个数，向量 y n y_n yn是样本的标记，向量 o n o_n on是网络的输出。标记 y n y_n yn是一个one-hot向量，例如 y 1 = [ 1 , 0 , 0 , 0 ] y_1=[1,0,0,0] y1=[1,0,0,0]，如果网络的输出 o = [ 0.03 , 0.09 , 0.24 , 0.64 ] o=[0.03,0.09,0.24,0.64] o=[0.03,0.09,0.24,0.64]，那么，交叉熵误差是（假设只有一个训练样本，即 N = 1 N=1 N=1）： L = − 1 N ∑ n ∈ N y n l o g o n L=-\frac{1}{N}\sum_{n\in N}y_nlogo_n L=−N1n∈N∑ynlogon = − y 1 l o g o 1 =-y_1logo_1 =−y1logo1 = − ( 1 ∗ l o g 0.03 + 0 ∗ l o g 0.09 + 0 ∗ l o g 0.24 + 0 ∗ l o g 0.64 ) =-(1*log0.03+0*log0.09+0*log0.24+0*log0.64) =−(1∗log0.03+0∗log0.09+0∗log0.24+0∗log0.64) = 3.51 =3.51 =3.51我们当然可以选择其他函数作为我们的误差函数，比如最小平方误差函数(MSE)。不过对概率进行建模时，选择交叉熵误差函数更make sense。
更多推荐
深度学习之循环神经网络(RNN)
发布评论