循环神经网络 RNN

  1. 循环神经网络recurrent neural network:RNN :用于处理序列数据 的神经网络,其中 表示第 个样本。 是一个序列 ,序列的长度可以是固定的、也可以是变化的。

    • 固定的序列长度:对每个样本 ,其序列长度都是常数
    • 可变的序列长度:样本 的序列长度 可能不等于样本 的序列长度
  2. 循环神经网络是一种共享参数的网络:参数在每个时间点上共享。

    传统的前馈神经网络在每个时间点上分配一个独立的参数,因此网络需要学习每个时间点上的权重。而循环神经网络在每个时间点上共享相同的权重。

  3. 循环网络中使用参数共享的前提是:相同参数可以用于不同的时间步。即:前一个时间步和后一个时间步之间的关系与时刻 无关。

  4. 就像几乎所有函数都可以被认为是前馈神经网络,几乎任何涉及循环的函数都可以被认为是循环神经网络。

一、RNN计算图

1.1 展开图

  1. 考虑动态系统的经典形式: 。其中: 称作系统的状态, 为参数。

    对于有限的时间步 ,应用 次定义可以展开这个图:

    利用有向无环图来表述:

    假设 时刻系统的外部驱动信号,则动态系统的状态修改为:

  2. 当训练RNN根据过去预测未来时,网络通常要将 作为过去序列信息的一个有损的representation

    • 这个representation一般是有损的,因为它使用一个固定长度的向量 来表达任意长的序列
    • 根据不同的训练准则,representation 可能会有选择地保留过去序列的某些部分。如 attention 机制。
  3. 网络的初始状态 的设置有两种方式:

    • 固定为全零。这种方式比较简单实用。

      这种情况下,模型的反向梯度计算不需要考虑 ,因为 全零导致对应参数的梯度贡献也为 0 。

    • 使用上一个样本的最后一个状态,即:

      这种场景通常是样本之间存在连续的关系(如:样本分别代表一篇小说中的每个句子),并且样本之间没有发生混洗的情况。此时,后一个样本的初始状态和前一个样本的最后状态可以认为保持连续性。

    另外注意:模型更新过程中

  4. 展开图的两个主要优点:

    • 无论输入序列的长度 如何,学得的模型始终具有相同的输入大小。因为模型在每个时间步上,其模型的输入 都是相同大小的。
    • 每个时间步上都使用相同的转移函数 ,因此需要学得的参数 也就在每个时间步上共享。

    这些优点直接导致了:

    • 使得学习在所有时间步、所有序列长度上操作的单个函数 成为可能。
    • 允许单个函数 泛化到没有见过的序列长度。
    • 学习模型所需的训练样本远少于非参数共享的模型(如前馈神经网络)。

1.2 网络模式

  1. 基于图展开和参数共享的思想,可以设计不同模式的循环神经网络。根据输入序列的长度,RNN 网络模式可以划分为:输入序列长度为0、输入序列长度为1 、输入序列长度为

  2. 设样本集合为 ,其中每个样本为:

    • 对于输入序列长度为1的样本,
    • 对于输入序列长度大于1的样本, ,其中 为第 个样本的序列长度。

    设样本对应的真实标记集合为 ,其中每个样本的标记为:

    • 对于输出序列长度为1的样本, 。对应的网络输出为:

    • 对于输出序列长度大于1的样本, ,其中 为第 个样本的序列长度。

      对应的网络输出为:

    设真实标记 为真实类别标签,网络的输出 为预测为各类别的概率分布(经过 softmax 归一化的概率)。则该样本的损失函数为:

    其中 为第 个时间步的损失函数。通常采用负的对数似然作为损失函数,则有:

    其中 为类别的数量, 的第 个分量, 为示性函数:

    如果将真实类别 标记扩充为概率分布 ,其中真实的类别 位置上其分量为 1,而其它位置上的分量为 0。则 就是真实分布 和预测分布 的交叉熵:

    数据集的经验损失函数为:

    .

1.2.1 零长度输入序列

  1. 输入序列长度为0:此时网络没有外部输入,网络将当前时刻的输出作为下一个时刻的输入(需要提供一个初始的输出作为种子)。

    如文本生成算法:首先给定 作为种子,然后通过 时刻为止的单词序列来预测 时刻的单词;如果遇到某个输出为停止符,或者句子长度达到给定阈值则停止生成。

    在这个任务中,任何早期输出的单词都会对它后面的单词产生影响。

  2. 在零长度输入序列的RNN 网络中,过去的输出序列 通过影响 来影响当前的输出 ,从而解耦

  3. 该模型的数学表示为:

    其中 表示模型第 步输出 的第 个分量。

    单个样本的损失为:

    更新方程:

    其中输出到隐状态的权重为 ,隐状态到输出的权重为 ,隐状态到隐状态的权重为 为输入偏置向量和输出偏置向量。

1.2.2 单长度输入序列

  1. 输入序列长度为1 :模型包含单个 作为输入。此时有三种输入方式:输入 作为每个时间步的输入、输入 作为初始状态 、以及这两种方式的结合。

    • 输入 作为每个时间步的输入:

      • 模型的数学表示:

      • 单个样本的损失:

      • 更新方程:

        其中输入到隐状态的权重为 ,输出到隐状态的权重为 ,隐状态到输出的权重为 ,隐状态到隐状态的权重为 为输入偏置向量和输出偏置向量。

    • 输入 作为初始状态

      • 模型的数学表示:

      • 单个样本的损失:

      • 更新方程:

        .

  2. 在图注任务中,单个图像作为模型输入,模型生成描述图像的单词序列。图像就是输入 ,它为每个时间步提供了一个输入。通过图像和 时刻为止的单词序列来预测 时刻的单词。

    输出 有两个作用:用作 时刻的输入来预测 ;用于 时刻计算损失函数

  3. 当输入 作为初始状态 时,每个时间步也没有额外的输入。它与零输入RNN 网络的区别在于:

    零输入RNN 的初始输出 是需要给定的,而这里的初始状态 是给定的。

1.2.3 多长度输入序列

  1. 多长度输入序列的RNN 包含了多输出&隐-隐连接RNN多输出&输出-隐连接RNN单输出&隐-隐连接RNN 等网络类型。

  2. 多输出&隐-隐连接循环网络:每个时间步都有输出,并且隐单元之间有循环连接。

    • 该网络将一个输入序列映射到相同长度的输出序列。

    • 模型的数学表示:

    • 单个样本的损失:

    • 更新方程:

      其中输入到隐状态的权重为 ,隐状态到输出的权重为 ,隐状态到隐状态的权重为 为输入偏置向量和输出偏置向量。

  3. 多输出&输出-隐连接循环网络:每个时间步都有输出,只有当前时刻的输出和下个时刻的隐单元之间有循环连接。

    • 该网络将一个输入序列映射到相同长度的输出序列。

    • 模型的数学表示:

    • 单个样本的损失:

    • 更新方程:

      其中输入到隐状态的权重为 ,隐状态到输出的权重为 ,输出到隐状态的权重为 为输入偏置向量和输出偏置向量。

  4. 单输出&隐-隐连接 循环网络:隐单元之间存在循环连接,但是读取整个序列之后产生单个输出。

    • 单输出&隐-隐连接RNN将一个输入序列映射到单个输出。

    • 模型的数学表示:

    • 单个样本的损失:

    • 更新方程:

      其中输入到隐状态的权重为 ,隐状态到输出的权重为 ,隐状态到隐状态的权重为 为输入偏置向量和输出偏置向量。

  5. 多输出&输出-隐连接循环网络比较于多输出&隐-隐连接循环网络,该网络的表达能力更小。

    • 多输出&隐-隐连接循环网络可以选择将其想要的关于过去的任何信息放入隐状态 中,并且通过 传播到未来。
    • 多输出&输出-隐连接循环网络中只有输出 会被传播信息到未来。通常 的维度远小于 ,并且缺乏过去的重要信息。
  6. 多输出&输出-隐连接循环网络虽然表达能力不强,但是更容易训练:通过使用前一个时间步的真实标记 来代替输出 ,使得每个时间步可以与其他时间步分离训练,从而允许训练期间更多的并行化。

1.3 输出序列长度

  1. 对于输入序列长度为零或者为1RNN模型,必须有某种办法来确定输出序列的长度。有三种方法来确定输出序列的长度:

    • 当输出是单词时,可以添加一个特殊的标记符。当输出遇到该标记符时,输出序列终止。

      此时需要改造训练集,对训练数据的每个输出序列末尾手工添加这个标记符。

    • 在模型中引入一个额外的二元输出单元,该输出单元用于指示:当前时间步是继续生成输出序列,还是停止生成。

      • 这种办法更普遍,适用于任何RNN
      • 该二元输出单元通常使用sigmoid单元,被训练为最大化正确地预测到每个序列结束的对数似然。
    • 在模型中引入一个额外的输出单元,该输出单元预测输出序列的长度 本身。

      • 这种方法需要在每个时间步的循环更新中增加一个额外输入,从而通知循环:是否已经到达输出序列的末尾。
      • 其原理是基于条件概率:

二、训练算法

2.1 BPTT 算法

  1. 多输出&隐-隐RNN为例,设:输入到隐状态的权重为 ,隐状态到输出的权重为 ,隐状态到隐状态的权重为 为输入偏置向量和输出偏置向量;激活函数为双曲正切激活函数

    设网络从特定的初始状态 开始前向传播,从 的每个时间步,则有更新方程:

    多输出&隐-隐RNN 的单个样本损失函数为: 。该损失函数的梯度计算代价较高:

    • 因为每个时间步只能一前一后的计算无法并行化,因此时间复杂度为
    • 前向传播中各个状态必须保存直到它们反向传播中被再次使用,因此空间复杂度也是
    • 采用 tanh 激活函数而不是 ReLU 激活函数的原因是为了缓解长期依赖。
  2. back-propagation through time:BPTT:通过时间反向传播算法,其算法复杂度为

    BPTT 计算得到梯度,再结合任何通用的、基于梯度的技术就可以训练 RNN

  3. 计算图的节点包括参数 ,以及以 为索引的节点序列 以及

    • 根据 ,则有:

    • 令节点 ,则有: 。则有:

      其中 表示 的第 个分量。

      则有:

      表示梯度 的第 个分量, 为示性函数。写成向量形式为:

      其中 为真实标签 扩充得到的概率分布,其真实的类别 位置上的分量为 1,而其它位置上的分量为 0。

    • 根据定义 ,得到:

      根据导数: ,则有:

      设隐向量长度为 ,定义:

      则有:

      根据定义 ,即 ,则有: ,记作:

      因此得到隐单元的梯度:

      • 时, 只有一个后续结点 (从而只有一个后继节点 ) ,因此有:

      • 时, 同时具有 两个后续节点,因此有:

        由于 依赖于 ,因此求解隐单元的梯度时,从末尾开始反向计算。

  4. 一旦获得了隐单元及输出单元的梯度,则可以获取参数节点的梯度。

    注意:由于参数在多个时间步共享,因此在参数节点的微分操作时必须谨慎对待。

    微分中的算子 在计算 对于 的贡献时,将计算图的所有边都考虑进去了。但是事实上:有一条边是 时间步的 ,还有一条边是 时间步的 ,.... 。

    为了消除歧义,使用虚拟变量 作为 的副本。用 表示参数 在时间步 对于梯度的贡献。将所有时间步上的梯度相加,即可得到

  5. 根据定义 ,即 。则有:

    • 考虑到 对于每个输出 都有贡献,因此有:

    • 记:

      考虑到 对于每个输出 都有贡献,因此有: