十五、Phased LSTM[2016]

1. RNN 通常被建模为离散时间动态系统 discrete-time dynamical system，从而隐含地假设了输入信号的恒定采样率 constant sampling rate，这也成为递归单元recurrent unit和前馈单元feed-forward unit的更新频率。虽然已有一些早期的工作已经意识到恒定采样率带来的局限性，但是绝大多数现代 RNN 的实现都采用固定的 time step 。

   尽管固定的 time step 完全适合许多 RNN 的 application，但是在一些重要的场景中，恒定的采样率会对 RNN 的效率和效果造成限制。许多现实世界中的自动驾驶或机器人任务需要整合来自各种传感器的输入，每个传感器都可能有自己的数据采样率。为此，论文 《Phased LSTM: Accelerating Recurrent Network Training for Long or Event-based Sequences》提出了一个新的 RNN 模型，它可以处理在异步时间采样的输入。

15.1 模型

1. long short-term memory: LSTM 单元是现代深度 RNN 架构的一个重要组成部分。我们首先定义它们的更新方程：

   $$\begin{array}{c}{\overrightarrow{\mathbf{i}}}_t={\sigma }_i({\mathbf{W}}_x^{(i)}{\overrightarrow{\mathbf{x}}}_t+{\mathbf{W}}_h^{(i)}{\overrightarrow{\mathbf{h}}}_{t-1}+{\overrightarrow{\mathbf{w}}}_c^{(i)}\odot {\overrightarrow{\mathbf{c}}}_{t-1}+{\overrightarrow{\mathbf{b}}}^{(i)})\\ {\overrightarrow{\mathbf{f}}}_t={\sigma }_f({\mathbf{W}}_x^{(f)}{\overrightarrow{\mathbf{x}}}_t+{\mathbf{W}}_h^{(f)}{\overrightarrow{\mathbf{h}}}_{t-1}+{\overrightarrow{\mathbf{w}}}_c^{(f)}\odot {\overrightarrow{\mathbf{c}}}_{t-1}+{\overrightarrow{\mathbf{b}}}^{(f)})\\ {\overrightarrow{\mathbf{c}}}_t={\overrightarrow{\mathbf{f}}}_t\odot {\overrightarrow{\mathbf{c}}}_{t-1}+{\overrightarrow{\mathbf{i}}}_t\odot {\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_t+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{t-1}+{\overrightarrow{\mathbf{b}}}^{(c)})\\ {\overrightarrow{\mathbf{o}}}_t={\sigma }_o({\mathbf{W}}_x^{(o)}{\overrightarrow{\mathbf{x}}}_t+{\mathbf{W}}_h^{(o)}{\overrightarrow{\mathbf{h}}}_{t-1}+{\overrightarrow{\mathbf{w}}}_c^{(o)}\odot {\overrightarrow{\mathbf{c}}}_t+{\overrightarrow{\mathbf{b}}}^{(o)})\\ {\overrightarrow{\mathbf{h}}}_t={\overrightarrow{\mathbf{o}}}_t\odot {\sigma }_h\left({\overrightarrow{\mathbf{c}}}_t\right)\end{array}$$

   其中：

   • ${\overrightarrow{\mathbf{i}}}_t$$\mathbf{\vec i}_t$ 为输入门 input gate，${\overrightarrow{\mathbf{f}}}_t$$\mathbf{\vec f}_t$ 为遗忘门 forget gate，${\overrightarrow{\mathbf{o}}}_t$$\mathbf{\vec o}_t$ 为输出门 output gate，${\overrightarrow{\mathbf{c}}}_t$$\mathbf{\vec c}_t$ 为 cell activation vector ，${\overrightarrow{\mathbf{h}}}_t$$\mathbf{\vec h}_t$ 为 hidden state vector ，${\overrightarrow{\mathbf{x}}}_t$$\mathbf{\vec x}_t$ 为 input feature vector 。
   • $\sigma$$\sigma$ 为激活函数，其中 ${\sigma }_i,{\sigma }_f,{\sigma }_o$$\sigma_i,\sigma_f,\sigma_o$ 通常为 sigmoid 非线性激活函数，而 ${\sigma }_c,{\sigma }_h$$\sigma_c,\sigma_h$ 通常为 tanh 非线性激活函数。
   • ${\mathbf{W}}_x^{(\cdot )},{\mathbf{W}}_h^{(\cdot )},{\overrightarrow{\mathbf{b}}}^{(\cdot )},{\overrightarrow{\mathbf{w}}}_c^{(\cdot )}$$\mathbf W_x^{(\cdot)},\mathbf W_h^{(\cdot)},\mathbf{\vec b}^{(\cdot)},\mathbf {\vec w}_c^{(\cdot)}$ 均为待学习的参数，其中 ${\overrightarrow{\mathbf{w}}}_c^{(\cdot )}$$\mathbf{\vec w}_c^{(\cdot)}$ 是可选的（目前主流的 LSTM 的实现并未引入这一项）。
   • $\odot$$\odot$ 为逐元素乘积，即 Hadamard product 。

2. Phased LSTM 通过增加一个新的 time gate ${\overrightarrow{\mathbf{k}}}_t$$\mathbf{\vec k}_t$ 来扩展 LSTM 模型，如下图 (b) 所示。time gate 的打开和关闭是由三个参数指定的、独立的 rhythmic oscillation 所控制的，只有当 time gate 打开时才允许更新 cell state ${\overrightarrow{\mathbf{c}}}_t$$\mathbf{\vec c}_t$ 和 hidden state ${\overrightarrow{\mathbf{h}}}_t$$\mathbf{\vec h}_t$ 。这三个参数为：

   • $\tau$$\tau$：控制 oscillation 的实时周期 real-time period 。
   • $r_{\text{on}}$$r_\text{on}$：控制 open 阶段的持续时间与整个周期的占比。
   • $s$$s$：控制每个 Phased LSTM cell 的 oscillation 的阶段偏移 phase shift 。

   所有这些参数都可以在训练过程中学习。

   

3. 虽然 Phased LSTM 可能有很多变体，但是这里我们提出了一个特别成功的线性化的 time gate 公式。这种 time gate 类似于 rectified linear: ReLU 单元，可以很好地传播梯度：

   $$\begin{array}{c}{\varphi }_t=\frac{(t-s)\text{ mod }\tau }{\tau },k_t=\{\begin{array}{ll}\frac{2{\varphi }_t}{r_{\text{on}}},& \text{ if }{\varphi }_t<\frac{r_{\text{on}}}{2}\\ 2-\frac{2{\varphi }_t}{r_{\text{on}}},& \text{ if }\frac{r_{\text{on}}}{2}<{\varphi }_t<r_{\text{on}}\\ \alpha {\varphi }_t,& \text{ otherwise}\end{array}\end{array}$$

   其中：

   • ${\varphi }_t$$\phi_t$ 是一个辅助变量，它代表了 rhythmic cycle 内的阶段phase 。 time gate $k_t$$k_t$ 有三个阶段，如下图所示。

     • 在前两个阶段，time gate 的 openness 从 0 上升到 1 （第一阶段）、以及从 1 下降到 0 （第二阶段）。
     • 在第三阶段，time gate 被关闭，从而保持之前的 cell state 。

   • $\alpha$$\alpha$ 是一个超参数（一个很小的正数），表示在 time gate 在关闭阶段也是部分活跃的，这类似于 ReLU 的 leaky 参数的作用。

   由于 $k_t$$k_t$ 是线性函数，因此可以高效地进行梯度传播。

   time gate 的周期 $\tau$$\tau$、相位 $s$$s$ 、打开时间占比 $r_{\text{on}}$$r_\text{on}$ 都是从数据中学到的，而不是人工指定的。

   

4. 与传统的 RNN 甚至 RNN 的稀疏变体相比，Phased LSTM 中的更新可以选择在不规则采样的时间点 $t_j$$t_j$ 进行。这使得 RNN 可以与事件驱动event-driven的、异步采样的输入数据一起工作。

   为了便于表述，我们用符号 ${\overrightarrow{\mathbf{c}}}_j$$\mathbf{\vec c}_j$ 表示时间点 $t_j$$t_j$ 的 cell state （因此标准的记法是 ${\overrightarrow{\mathbf{c}}}_{t_j}$$\mathbf{\vec c}_{t_j}$），其它的符号也是类似的记法。引入 time gate 之后，我们重写 LSTM 单元中 cell state 和 hidden state 的更新方程（输入门、输出门、遗忘门的更新方程不变）：

   $$\begin{array}{c}{\widetilde{\overrightarrow{\mathbf{c}}}}_j={\overrightarrow{\mathbf{f}}}_j\odot {\overrightarrow{\mathbf{c}}}_{j-1}+{\overrightarrow{\mathbf{i}}}_j\odot {\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_j+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{j-1}+{\overrightarrow{\mathbf{b}}}^{(c)})\\ {\overrightarrow{\mathbf{c}}}_j={\overrightarrow{\mathbf{k}}}_j\odot {\widetilde{\overrightarrow{\mathbf{c}}}}_j+(1-{\overrightarrow{\mathbf{k}}}_j)\odot {\overrightarrow{\mathbf{c}}}_{j-1}\\ {\widetilde{\overrightarrow{\mathbf{h}}}}_j={\overrightarrow{\mathbf{o}}}_j\odot {\sigma }_h\left({\widetilde{\overrightarrow{\mathbf{c}}}}_j\right)\\ {\overrightarrow{\mathbf{h}}}_j={\overrightarrow{\mathbf{k}}}_j\odot {\widetilde{\overrightarrow{\mathbf{h}}}}_j+(1-{\overrightarrow{\mathbf{k}}}_j)\odot {\overrightarrow{\mathbf{h}}}_{j-1}\end{array}$$

   注意：前面提供的 time gate 是一个标量，这里写作向量，因为输入特征向量的每个维度可能来自于不同的数据源因此可能具有不同的time gate 值。如下图 (a) 所示，就是 3 个维度。

   下图是 Phased LSTM 的示意图，以及 cell state 输出的示意图。

   注意：当且仅当 time gate 打开的时候（占比 $r_{\text{on}}$$r_\text{on}$ ），Phased LSTM 才能更新 cell state 和 hidden state。大多数 time step 都不会更新 cell state 和 hidden state 。

   换个思路，是否更新 cell state 和 hidden state 是否可以由 attention 来决定，而不是由 time gate 来决定？

   

5. 这种 Phased LSTM 公式的一个关键优势在于 memory decay 的速度。

   考虑一个简单的任务：如果没有收到额外的输入，则保持初始的 memory state ${\overrightarrow{\mathbf{c}}}_0$$\mathbf{\vec c}_0$ 一直不变，即在所有 time step 中 ${\overrightarrow{\mathbf{i}}}_j=\overrightarrow{\mathbf{0}}$$\mathbf{\vec i}_j = \mathbf{\vec 0}$ 。一个标准的、具有几乎完全放开的遗忘门（即，${\overrightarrow{\mathbf{f}}}_j=1-ϵ$$\mathbf{\vec f}_j = 1-\epsilon$，$ϵ$$\epsilon$ 为一个很小的正数）的 LSTM ，在经过 $n$$n$ 个 step 之后，其 memory state 为：

   $${\overrightarrow{\mathbf{c}}}_n={\overrightarrow{\mathbf{f}}}_n\odot {\overrightarrow{\mathbf{c}}}_{n-1}=(1-ϵ)\odot ({\overrightarrow{\mathbf{f}}}_{n-1}\odot {\overrightarrow{\mathbf{c}}}_{n-2})=\cdots =(1-ϵ{)}^n\odot {\overrightarrow{\mathbf{c}}}_0$$

   这意味着 memory 随着每个 time step 呈指数级衰减。

   相反，Phased LSTM 的 memory 仅在 time gate 的 open 期间衰减，而在 close 期间得到保持。因此，在单个 oscillation 周期的长度 $\tau$$\tau$ 中，单元仅在 $r_{\text{on}}\times \tau$$r_\text{on}\times\tau$ 的持续时间内更新，这将导致远少于 $n$$n$ 的更新 step 。由于这种 cyclic memory ，Phased LSTM 可以通过参数 $\tau$$\tau$ 拥有更长的、可调整的 memory length 。

6. oscillation 迫使单元的更新变得稀疏，因此大大减少了网络运行过程中的总更新次数。在训练过程中，这种稀疏性确保了梯度需要通过更少的 updating time-step 进行反向传播、允许无衰减undecayed的梯度通过时间进行反向传播、并允许更快的学习收敛。

   与 LSTM 的输入门和遗忘门对 cell state ${\overrightarrow{\mathbf{c}}}_t$$\mathbf{\vec c}_t$ （及其梯度）的屏蔽类似，time gate 防止外部输入和 time step 来干扰 cell state 的梯度。

   这种屏蔽策略既是优势，也是劣势：

   • 优势如文章所述，使得模型的更新更稀疏，计算效率更高、梯度传播效率更高、收敛速度更快。
   • 劣势是，丢弃了大量的 input 信息，这些被丢弃的信息可能对 label 预测至关重要。

15.2 实验

1. 在所有实验中，网络是使用 Adam 优化器并采用默认的学习率参数。除非另有说明，否则在训练期间设置 leak rate 为 $\alpha =0.001$$\alpha = 0.001$，在测试期间设置 $\alpha =0$$\alpha = 0$ 。每个神经元的 phase shift $s$$s$ 从区间 $[0,\tau ]$$[0,\tau]$ 中均匀选择。参数 $\tau$$\tau$ 和 $s$$s$ 是从训练中学到的，而 open ratio $r_{\text{on}}$$r_\text{on}$ 固定为 0.05 并且不作调整（除了在第一个任务中，为了说明模型在学习所有参数时可以成功训练，我们也训练 $r_{\text{on}}$$r_\text{on}$）。

15.2.1 频率识别任务

1. 第一个实验是识别来自不同频率集合的两类正弦波：第一类正弦波的周期从均匀分布 $T\sim \mathcal{U}(5,6)$$T\sim \mathcal U(5,6)$ 中采样而来，第二类正弦波的周期从均匀分布 $T\sim \{\mathcal{U}(1,5\}\cup \mathcal{U}(6,100)\}$$T\sim \{\mathcal U(1,5\} \cup \mathcal U(6,100)\}$ 中采样而来。

   该任务说明了 Phased LSTM 的优势，因为它涉及周期性激励并且需要精细的时间识别 timing discrimination 。

   输入以 pair $<y,t>$$<y,t>$ 来给出，其中 $y$$y$ 是样本的幅值、$t$$t$ 是样本的时间戳timestamp ，而样本来自于输入的正弦波。

2. 下图说明了这项任务：基于样本（以圆圈来表示），蓝色曲线必须与浅色曲线分离。我们评估了对输入信号采样的三种条件：

   • 在标准条件下（图 (a)），正弦波每 1 毫秒被规则地采样。
   • 在过采样条件下（图 (b)），正弦波每 0.1 毫秒被规则地采样，从而得到 10 倍的数据点。
   • 在异步采样条件下（图 (c)），在输入的持续时间内，以异步的时间采集样本。

   此外，正弦波还具有以下特性：

   • 具有一个从所有可能的 shift 中随机均匀采样的 random phase shift 。
   • 具有从 $\mathcal{U}(15,125)$$\mathcal U(15,125)$ 中随机采样的数字作为样本总数。
   • 具有从 $\mathcal{U}(15,125)$$\mathcal U(15,125)$ 中随机采样一个持续时间 duration。
   • 具有从 $\mathcal{U}(0,125-\text{duration})$$\mathcal U(0,125-\text{duration})$ 中随机采样一个开始时间 start time 。

   异步采样和标准采样的样本数量是相等的。样本的类别大致均衡，各占 50% 左右。

   

3. 我们在该数据上训练单层 RNN，但是采用不同的 RNN 模型：Phased LSTM、常规 LSTM、 batch-normalized(BN) LSTM 。每个模型都重复五次，每次使用不同的随机初始化种子。

   • 对于常规 LSTM 和 BN-LSTM，时间戳被用作额外的输入特征维度。对于 Phased LSTM，时间戳控制 time tate ${\overrightarrow{\mathbf{k}}}_t$$\mathbf{\vec k}_t$ 。
   • LSTM 和 BN-LSTM 的结构为 2-110-2 ，而 Phased LSTM 的结构为 1-110-2 。
   • Phased LSTM 的 oscillation period $\tau$$\tau$ 在指数空间中均匀地采样，从而提供各种适用的频率，即 $\tau \sim \exp (\mathcal{U}(0,3))$$\tau\sim \exp(\mathcal U(0,3))$ 。所有其它参数匹配对应的模型。
   • 默认的 LSTM 参数由 Lasagne Theano 实现给出，并在 LSTM, BN-LSTM, Phased LSTM 中保持。

4. 结果：

   • 正如预期所示，所有三个网络在标准采样条件下都表现出色，如上图 (d left) 所示。

   • 然而，对于相同数量的 epoch，将数据采样增加 10 倍对 LSTM 和 BN-LSTM 都具有毁灭性的影响，从而将它们的准确率降低到几乎是偶然的（图 (d middle)）。

     据推测，如果给予足够的训练迭代，它们的准确率将恢复到正常的 baseline 。然而，对于过采样条件，Phased LSTM 实际上提高了准确率，因为它接收到关于基础波形的更多信息。

   • 最后，在异步采样条件下，即使采用与标准采样条件下相同数量的采样点，对于传统的 state-of-the-art 模型而言，这似乎也是相当具有挑战性的（图 (d, right)）。

     但是，Phased LSTM 对异步采样的数据没有任何困难，因为 time gate ${\overrightarrow{\mathbf{k}}}_t$$\mathbf{\vec k}_t$ 不需要定期更新，并且可以在周期内的任何连续时间正确采样。

5. 我们通过在由两个正弦波合成的信号上训练相同的 RNN 结构来扩展之前的任务。目标是区分以下两个合成信号：

   • 第一个合成信号是由周期为 $T_1\sim \mathcal{U}(5,6)$$T_1\sim \mathcal U(5,6)$ 和 $T_2\sim \mathcal{U}(13,15)$$T_2\sim \mathcal U(13,15)$ 的正弦波组成，每个正弦波都具有独立的相位。
   • 第二个合成信号是由周期为 $T_1\sim \{\mathcal{U}(1,5)\cup \mathcal{U}(6,100\}$$T_1\sim \{\mathcal U(1,5)\cup \mathcal U(6,100\}$ 和 $T_2\sim \{\mathcal{U}(1,13)\cup \mathcal{U}(15,100)\}$$T_2\sim \{\mathcal U(1,13)\cup \mathcal U(15,100)\}$ 的正弦波组成，每个正弦波也是具有独立的相位。

   尽管更具有挑战性，但是下图 (a) 展示了与使用完全相同的参数的标准方法相比，Phased LSTM 收敛到正确的解的速度有多快。此外，Phased LSTM 在训练期间似乎表现出非常低的方差。

   

15.2.2 加法任务

1. 为了研究在需要 long memory 时引入 time gate 如何帮助学习，我们重新研究了一个称作 adding task 的原始 LSTM 任务。在这个任务中，会展示一个随机数序列、以及一个 indicator 序列。当 indicator 的取值为 0 时，对应的随机数被忽略；当 indicator 的取值为 1 时，对应的随机数被加起来。在过程结束时，网络输出所有被加起来的随机数的 sum 。

   与之前的任务不同，输入中没有固定的周期性，这是 LSTM 被设计用来解决的原始任务之一。这似乎与 Phased LSTM 的优势相悖，但对于 time gate ${\overrightarrow{\mathbf{k}}}_t$$\mathbf{\vec k}_t$ ，使用更长的时间可以允许更有效的训练，因为一个单元在训练期间仅打开少数几个 time step 。

2. 在这个任务中，我们从 $\mathcal{U}(-0.5,0.5)$$\mathcal U(-0.5,0.5)$ 之间随机采样随机数序列（序列长度为 490 到 510 ）。随机数序列中只有两个数被标记为相加：

   • 第一个数来自于序列的前面 10%，具体的位置是均匀随机的。
   • 第二个数来自于序列的后面 50%，具体的位置也是均匀随机的。

   这导致生成一个长的、且充满噪音的数据流，其中只有少数几个重要的数据点。更重要的是，这会挑战 Phased LSTM 模型，因为没有固定的周期性，并且每个 time step 都可能包含重要的标记点marked point。

3. 我们使用前面相同的网络架构。周期 $\tau$$\tau$ 在指数范围内均匀采样，并且对比了四个采样区间 $\exp (\mathcal{U}(0,2)),\exp (\mathcal{U}(2,4)),\exp (\mathcal{U}(4,6)),\exp (\mathcal{U}(6,8))$$\exp(\mathcal U(0,2)),\exp(\mathcal U(2,4)),\exp(\mathcal U(4,6)),\exp(\mathcal U(6,8))$ 。注意，尽管 $\tau$$\tau$ 值不同，但是 LSTM 更新的总数仍然大致相同，因为整体稀疏性由 $r_{\text{on}}$$r_\text{on}$ 设置。然而，较长的周期 $\tau$$\tau$ 在反向传播中为梯度提供了对过去 time step 的更长的 jump 。

   此外，我们研究了该模型是否可以在使用更长的周期时更有效地学习更长的序列。通过改变周期 $\tau$$\tau$ ，在上图 (b) 中的结果显示：更长的 $\tau$$\tau$ 加速了网络的训练，从而更快地学习更长的序列。

15.2.3 N-MNIST Event-Based 的视觉识别

1. 为了测试真实世界异步采样数据的性能，我们利用公开可用的 N-MNIST 数据集来测试 neuromorphic vision 。记录来自于 event-based 的视觉传感器，该传感器对局部时间对比度变化local temporal contrast change很敏感。当像素的局部对比度变化超过阈值时，会从该像素生成事件 event 。每个事件都被编码为一个 4 元组：<x,y,p,t> ，其中 $(x,y)$$(x,y)$ 为像素的位置，polarity bit $p$$p$ 表示对比度增加或减少，$t$$t$ 为事件生成的时间戳。

   这些记录由视觉传感器vision sensor生成的事件组成，而传感器面对来自 MNIST 数据集的静态数字执行三个扫视运动saccadic movement （如下图 (a) 所示）。事件响应的例子可以在下图 (c) 中看到。

   在以前的、使用 event-based 输入数据的工作中，有时会删除时序信息，而是通过计算某个时间段内的 pixel-wise 的 event-rate 来生成 frame-based representation ，如下图 (b) 所示。注意，下图 (c) 中事件的时空表面 spatio-temporal surface 比模糊的、frame-based 的 representation 更清楚地解释了数字的细节。Phased LSTM 允许我们直接对此类时空事件流 spatio-temporal event stream 进行操作。

   

2. baseline 方法：

   • 一个CNN 网络在 N-MNIST 数字的 frame-based representation 上进行训练。
   • 一个 BN-LSTM 直接在 event stream 上进行训练。
   • 一个 Phased LSTM 也直接在 event stream 上进行训练。

   我们没有展示常规的 LSTM，因为发现它的性能更差。

   CNN 由三组如下的交替层alternating layers组成：一个带 leakyReLU 非线性激活函数的卷积层（8 个 5 x 5 的卷积核）、一个 2 x 2 最大池化层。所有的交替层一共 6 个 layer 。然后连接到一个全连接层（隐层维度 256），最后全连接到 10 个输出类。

   事件的像素地址 $(x,y)$$(x,y)$ 用于通过一个学到的 embedding 矩阵来生成 40 维的 embedding 向量，并与polarity $p$$p$ 相结合从而生成输入。因此，Phased LSTM 的网络架构为 41-110-10 （时间戳作为 time-gate 而不是 input ），BN-LSTM 的网络架构为 42-110-10 （时间戳作为 BN-LSTM 的额外输入维度）。

3. 下表总结了三种不同模型的分类结果。结果显式： Phased LSTM 的训练速度比其它模型更快，并且即使在训练的第一个 epoch 内也能以更低的方差实现更高的准确率。

   我们进一步定义一个因子 $\rho$$\rho$ ，它表示一个事件被包含的概率，即 $\rho =1.0$$\rho=1.0$ 表示包含所有事件。所有 RNN 模型以 $\rho =0.75$$\rho=0.75$ 进行训练和测试，并且 Phased LSTM 的性能再次略高于 BN-LSTM 模型。在 $\rho =0.4$$\rho=0.4$ （包含较少事件）、以及 $\rho =1.0$$\rho=1.0$ （包含较多事件）的情况下进行测试而不进行重新训练时，两个 RNN 模型都表现良好并且大大优于 CNN 。这是因为当整体峰值率overall spike rate 发生改变时，CNN 的 frame-based input 的累积统计数据会发生巨大变化。Phased LSTM 似乎已经在输入上学习了一个稳定的 spatio-temporal surface ，并且只通过更多或更少的采样来略微被调整。

   最后，由于 Phased LSTM 的每个神经元仅更新了大约 5% 的时间，与 BN-LSTM 的每个神经元需要 3153 次更新相比，平均只需要 159 次更新。这导致 Phased LSTM 的 run time 减少了大约 20 倍的计算成本。值得注意的是，Phased LSTM 的结果对于这个数据集而言形成了一个新的 state-of-the-art 准确率。

   

15.2.4 用于唇读的视觉听觉传感器融合

1. 最后我们展示了 Phased LSTM 在涉及具有不同采样率的传感器的任务中的使用。很少有 RNN 模型尝试合并不同输入频率的传感器，因为不同传感器的采样率可能会有很大差异。

   对于该任务，我们使用 GRID 数据集。该语料库包含 30 个 speaker 的视频和音频，每个 speaker 说出 1000 个句子，这些句子由固定的语法和 51 个单词的有限词汇组成。数据被随机拆分为 90% 的训练集和 10% 的测试集。

   我们在视频流上使用一个基于 OpenCV 的人脸检测器 face detector 的实现来抽取人脸，然后将其调整为灰度的 48 x 48 像素。这里的目标是获得一个模型，该模型可以单独使用音频、单独使用视频、或者同时使用两个输入来对句子进行可靠的分类。然而，由于单独的音频足以达到 99% 以上的准确率，因此我们在训练过程中将传感器模态 sensor modality 随机 mask 为零，从而鼓励模型对传感器噪音和损失的鲁棒性。

2. 网络架构首先分别处理视频数据和音频数据：

   • 视频流使用三组这样的交替层alternating layers：一个卷积层（16 个 5 x 5 的卷积核）、一个 2 x 2 的池化层。 所有的交替层共计 6 个 layer，将1 x 48 x 48 的输入降低到 16 x 2 x 2 ，然后将连接到 110 个循环单元。
   • 音频流将 39 维的 MFCC （13 个 MFCC 及其一阶导数和二阶导数）连接到 150 个循环单元。

   两个 stream 汇聚到具有 250 个循环单元的 Merged-1 层，并连接到具有 250 个循环单元的 Merged-2 层。Merged-2 层的输出全连接到 51 个输出节点，代表 GRID 的词表 vocabulary 。对于 Phased LSTM 网络，所有循环单元都是 Phased LSTM 单元。

   在音频和视频的 Phased LSTM 层中，我们手动将 time gate 的 open period 与输入的采样时间对齐，并禁用 $\tau$$\tau$ 和 $s$$s$ 参数的学习（参考下图 (a)）。这可以防止在没有数据的情况下向网络呈现零值或人工插值。然而，在 merged layer 中，time gate 的参数是学到的，Merged-1 层的 period 参数 $\tau$$\tau$ 采样自 $\mathcal{U}(10,1000)$$\mathcal U(10,1000)$ 、Merged-2 层的 period 参数 $\tau$$\tau$ 采样自 $\mathcal{U}(500,3000)$$\mathcal U(500,3000)$ 。下图 (b) 展示了一帧视频的可视化、以及一个音频样本的完整持续时间。

   在评估过程中，所有网络在 audio-only 和 audio-video 输入上的准确率均超过 98%。然而在具有 audio-video 能力的网络上进行 video-only 评估被证明是最具挑战性的，因此我们没有评估 video-only 的结果。

   即，这里的评估以音频为主、视频作为辅助。

   我们使用两种不同采样率的数据版本， audio-video 输入上的结果如下图 (c) 所示 ：

   • 在第一个 low-resolution 版本中（下图(c) 的顶部），MFCC 的采样率与 25fps 视频的采样率相匹配。
   • 在第二个 high-resolution 版本中（下图 (c)的底部，以及下图 (a)），MFCC 的采样率设置为更常见的 100Hz 。

   较高的音频采样率并没有提高准确性，但是允许更短的延迟（10ms 而不是 40ms）。Phased LSTM 的收敛速度再次显著快于 LSTM 和 BN-LSTM 。81.15% 的峰值准确率优于 lipreading-focused 的 state-of-the-art 方法，同时避免了人工制作的特征。

   

十六、Time-LSTM[2017]

1. 循环神经网络 Recurrent Neural Network: RNN 解决方案已经成为序列数据建模的 state-of-the-art 方法。越来越多的工作试图在推荐系统 recommender system: RS 领域找到 RNN solution 。RNN 在推荐任务中表现良好的 insight 是：在用户的动作序列中存在一些内在模式 intrinsic pattern ，例如一旦一个人购买了羽毛球拍那么该用户往往在以后倾向于购买一些羽毛球，而 RNN 在建模此类模式时已被证明表现极好。

   然而，推荐系统中的上述 RNN 解决方案都没有考虑用户相邻动作action 之间的时间间隔 time interval ，而这些时间间隔对于捕获用户动作之间的关系很重要。例如，间隔时间很短的两个动作往往是相关的，而间隔时间很长的两个动作往往是针对不同的目标。因此，在建模用户行为时，利用时间信息来提高推荐性能非常重要。我们使用下图来展示时间间隔是什么、以及它如何使得推荐系统与语言模型等传统领域不同。具体而言，在语言模型中没有相邻词之间的间隔的概念（如 $w_1$$w_1$ 和 $w_2$$w_2$ 之间没有间隔），而在推荐系统中相邻动作之间存在时间间隔（如 $i_1$$i_1$ 和 $i_2$$i_2$ 之间的时间间隔 $\mathrm{\Delta }{t}_1$$\Delta t_1$）。传统的 RNN 架构擅长对下图 (a) 中的序列数据sequential data的顺序信息order information进行建模，但是无法很好地对下图 (b) 中的时间间隔进行建模。因此，需要提出新的模型来解决这个问题。

   

   人们最近提出的一种模型，即 Phased LSTM ，该模型试图通过向 LSTM 添加一个 time gate 来建模时间信息。在这个模型中，时间戳 timestamp 是 time gate 的输入，其中 time gate 控制了 cell sate, hidden state 的更新从而控制最终输出。同时，仅使用处于模型激活状态model’s active state的样本，导致训练期间的稀疏更新 sparse update 。因此，Phased LSTM 在训练阶段可以获得相当快的学习收敛速度。然而，有一些挑战使得 Phased LSTM 难以成为最适合推荐任务的方法。

   • 首先，Phased LSTM 对时间戳进行建模。时间戳是单个动作的特征，而不是两个动作之间的时间间隔。因此，Phased LSTM 可能无法正确建模动作之间的关系。

   • 其次，在大多数推荐系统中，用户的行为数据通常非常稀疏，而 Phased LSTM 会忽略用户在非激活状态inactive state下的行为，无法充分利用行为信息进行推荐。

   • 第三，之前的研究已经指出，用户的短期兴趣和长期兴趣对于推荐都非常重要，但传统的 RNN 架构（包括 Phased LSTM）并没有旨在同时区分和同时利用这两种兴趣。在这里：

     • 短期兴趣意味着，推荐的 item 应该取决于最近消费的 item。例如，如果用户刚买了一台尼康相机，那么该用户很可能在不久的将来会购买存储卡、镜头、保护套。
     • 长期兴趣是指被推荐的 item 也应该受到用户历史行为的影响，其中历史行为反映了用户的一般兴趣 general interest 。

   为了应对上述挑战，论文 《What to Do Next: Modeling User Behaviors by Time-LSTM》提出了具有三个版本的 Time-LSTM 来建模用户在推荐系统中的序列动作 sequential action 。 Time-LSTM 中的 time gate 建模动作的时间间隔，从而捕获动作之间的关系。

   • 第一个版本的 Time-LSTM 只有一个 time gate，这个 time gate 利用时间间隔来同时捕获短期兴趣和长期兴趣。

   • 第二个版本的 Time-LSTM 有两个 time gate。

     • 第一个 time gate 旨在利用时间间隔来捕获当前 item recommendation 的短期兴趣。
     • 第二个 time gate 是保存时间间隔，以便建模长期兴趣用于之后的推荐。

   • 第三个版本的 Time-LSTM 使用 coupled input and forget gates减少参数数量，这使得模型更加简洁。

   具有这些 time gate 的 Time-LSTM 可以很好地同时捕获用户的短期兴趣和长期兴趣，从而提高推荐性能。此外，Time-LSTM 没有忽略动作的非激活状态，因此与 Phased LSTM 相比，它可以更好地利用行为信息。论文的实验结果证明了 Time-LSTM 的有效性。

   本文的贡献如下：

   • 所提出的模型 Time-LSTM 为 LSTM 配备了精心设计的 time gate，因此它不仅擅长建模序列数据中的顺序信息，还可以很好地捕获对象之间的时间间隔。这是一个一般general的思想（不限于推荐系统），可以开发 Time-LSTM 的其它变体来建模其它任务中 event-based 的序列数据。

     请注意，与考虑时间戳并可能隐式捕获间隔信息的 Phased LSTM 不同，论文显式地建模时间间隔。此外，与 Phased LSTM 相比，Time-LSTM 利用了更多的样本。

   • 提出了三个版本的 Time-LSTM。与现有的 RNN 解决方案相比，这些 Time-LSTM 版本可以更好地同时捕获用户的短期兴趣和长期兴趣，从而提高推荐性能。

   • 所提出的模型在两个真实世界的数据集上进行了评估，实验结果表明使用 Time-LSTM 的推荐方法优于传统方法。

2. 相关工作：

   • LSTM 及其变体：

     • LSTM：LSTM 最常用的更新方程如下：

       $$\begin{array}{c}{\overrightarrow{\mathbf{i}}}_m={\sigma }_i({\mathbf{W}}_x^{(i)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(i)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{w}}}_c^{(i)}\odot {\overrightarrow{\mathbf{c}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(i)})\\ {\overrightarrow{\mathbf{f}}}_m={\sigma }_f({\mathbf{W}}_x^{(f)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(f)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{w}}}_c^{(f)}\odot {\overrightarrow{\mathbf{c}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(f)})\\ {\overrightarrow{\mathbf{c}}}_m={\overrightarrow{\mathbf{f}}}_m\odot {\overrightarrow{\mathbf{c}}}_{m-1}+{\overrightarrow{\mathbf{i}}}_m\odot {\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(c)})\\ {\overrightarrow{\mathbf{o}}}_m={\sigma }_o({\mathbf{W}}_x^{(o)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(o)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{w}}}_c^{(o)}\odot {\overrightarrow{\mathbf{c}}}_m+{\overrightarrow{\mathbf{b}}}^{(o)})\\ {\overrightarrow{\mathbf{h}}}_m={\overrightarrow{\mathbf{o}}}_m\odot {\sigma }_h\left({\overrightarrow{\mathbf{c}}}_m\right)\end{array}$$

       其中：

       • ${\overrightarrow{\mathbf{i}}}_m$$\mathbf{\vec i}_m$ 为输入门 input gate，${\overrightarrow{\mathbf{f}}}_m$$\mathbf{\vec f}_m$ 为遗忘门 forget gate，${\overrightarrow{\mathbf{o}}}_m$$\mathbf{\vec o}_m$ 为输出门 output gate，${\overrightarrow{\mathbf{c}}}_m$$\mathbf{\vec c}_m$ 为 cell activation vector ，${\overrightarrow{\mathbf{h}}}_m$$\mathbf{\vec h}_m$ 为 hidden state vector ，${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 为 input feature vector 。
       • $\sigma$$\sigma$ 为激活函数，其中 ${\sigma }_i,{\sigma }_f,{\sigma }_o$$\sigma_i,\sigma_f,\sigma_o$ 通常为 sigmoid 非线性激活函数，而 ${\sigma }_c,{\sigma }_h$$\sigma_c,\sigma_h$ 通常为 tanh 非线性激活函数。
       • ${\mathbf{W}}_x^{(\cdot )},{\mathbf{W}}_h^{(\cdot )},{\overrightarrow{\mathbf{b}}}^{(\cdot )},{\overrightarrow{\mathbf{w}}}_c^{(\cdot )}$$\mathbf W_x^{(\cdot)},\mathbf W_h^{(\cdot)},\mathbf{\vec b}^{(\cdot)},\mathbf {\vec w}_c^{(\cdot)}$ 均为待学习的参数，其中 ${\overrightarrow{\mathbf{w}}}_c^{(\cdot )}$$\mathbf{\vec w}_c^{(\cdot)}$ 是可选的（目前主流的 LSTM 的实现并未引入这一项）。
       • $\odot$$\odot$ 为逐元素乘积，即 Hadamard product 。

     • coupled input and forget gates ：LSTM 的一种变体是使用 coupled input and forget gates，而不是单独决定要遗忘什么、以及什么新信息要被添加。这个变体丢弃了 ${\overrightarrow{\mathbf{f}}}_m$$\mathbf{\vec f}_m$ forget gate ，并调整 ${\overrightarrow{\mathbf{c}}}_m$$\mathbf{\vec c}_m$ 的更新方程为：

       $${\overrightarrow{\mathbf{c}}}_m=(1-{\overrightarrow{\mathbf{i}}}_m)\odot {\overrightarrow{\mathbf{c}}}_{m-1}+{\overrightarrow{\mathbf{i}}}_m\odot {\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(c)})$$

     • Phased LSTM：Phased LSTM 是一种 state-of-the-art 的 RNN 架构，用于建模event-based 的序列数据。Phased LSTM 通过添加 time gate ${\overrightarrow{\mathbf{k}}}_m$$\mathbf{\vec k}_m$ 来扩展 LSTM。time gate ${\overrightarrow{\mathbf{k}}}_m$$\mathbf{\vec k}_m$ 由三个参数来控制：$\tau ,r_{\text{on}},s$$\tau,r_\text{on},s$ ，其中：$\tau$$\tau$ 代表模型的总周期 total period 时长，$r_{\text{on}}$$r_\text{on}$ 代表 open period 和 total period 的比值，$s$$s$ 代表 phase shift 。$\tau ,r_{\text{on}},s$$\tau,r_\text{on},s$ 都是通过训练来学到的。

       time gate ${\overrightarrow{\mathbf{k}}}_m$$\mathbf{\vec k}_m$ 正式定义为：

       $$\begin{array}{c}{\varphi }_m=\frac{(t_m-s)\text{ mod }\tau }{\tau },k_m=\{\begin{array}{ll}\frac{2{\varphi }_m}{r_{\text{on}}},& \text{ if }{\varphi }_m<\frac{1}{2}{r}_{\text{on}}\\ 2-\frac{2{\varphi }_m}{r_{\text{on}}},& \text{ if }\frac{1}{2}{r}_{\text{on}}<{\varphi }_m<r_{\text{on}}\\ \alpha {\varphi }_m,& \text{otherwise}\end{array}\end{array}$$

       其中：$t_m$$t_m$ 为时间戳，${\varphi }_m$$\phi_m$ 为一个辅助变量，$\alpha$$\alpha$ 为 leak rate （在训练阶段取值几乎为零，在测试阶段直接设为零）。leak rate $\alpha$$\alpha$ 类似于 Leaky ReLU ，用于传播梯度信息。

       注意，这里的 $k_m$$k_m$ 公式是一个标量，代表单个特征维度的 time gate。考虑到通常有多个特征维度，因此 time gate 是个向量。

       time gate $k_m$$k_m$ 有三个 phases：在第一个 phase $k_m$$k_m$ 从 0 上升到 1，在第二个 phase $k_m$$k_m$ 从 1 下降到 0 （前两个 phase ，模型为激活状态），在第三个 phase $k_m$$k_m$ 几乎为零（第三个 phase，模型为非激活状态inactive state ）。仅在time gate 激活状态下才更新 ${\overrightarrow{\mathbf{c}}}_m$$\mathbf{\vec c}_m$ 和 ${\overrightarrow{\mathbf{h}}}_m$$\mathbf{\vec h}_m$ ，因此 Phased LSTM 的cell state 和 hidden state 更新方程为：

       $$\begin{array}{c}{\widetilde{\overrightarrow{\mathbf{c}}}}_m={\overrightarrow{\mathbf{f}}}_m\odot {\overrightarrow{\mathbf{c}}}_{m-1}+{\overrightarrow{\mathbf{i}}}_m\odot {\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(c)})\\ {\overrightarrow{\mathbf{c}}}_m={\overrightarrow{\mathbf{k}}}_m\odot {\widetilde{\overrightarrow{\mathbf{c}}}}_m+(1-{\overrightarrow{\mathbf{k}}}_m)\odot {\overrightarrow{\mathbf{c}}}_{m-1}\\ {\widetilde{\overrightarrow{\mathbf{h}}}}_m={\overrightarrow{\mathbf{o}}}_m\odot {\sigma }_h\left({\widetilde{\overrightarrow{\mathbf{c}}}}_m\right)\\ {\overrightarrow{\mathbf{h}}}_m={\overrightarrow{\mathbf{k}}}_m\odot {\widetilde{\overrightarrow{\mathbf{h}}}}_m+(1-{\overrightarrow{\mathbf{k}}}_m)\odot {\overrightarrow{\mathbf{h}}}_{m-1}\end{array}$$

       由于设置了 inactive state，Phased LSTM 在应用于推荐系统时无法充分利用用户的动作。

   • 推荐系统中的 RNN 解决方案：

     • 《Session-based recommendations with recurrent neural networks》 在 old sessions 中对 item-ID 的 one-hot representation 训练了带 ranking loss 的 RNN 。然后，训练好的 RNN 用于在新的 user session 上提供推荐。
     • 《Parallel recurrent neural network architectures for feature-rich session-based recommendations》 是《Session-based recommendations with recurrent neural networks》 的扩展，它提出了两项技术（数据增强、以及一种考虑输入数据分布变化的方法）来提高模型的性能。此外，它考虑了一个稍微不同的 setting，其中存在 item 的丰富特征。它引入了 parallel RNN 架构来建模 clicks 以及 item 特征。
     • 《A dynamic recurrent model for next basket recommendation》 为 next-basket recommendation 设计了一种 RNN 方法。

     在本文中，我们探索了在推荐系统社区中具有更常见 setting 的 RNN 解决方案：我们知道 user id，但是不知道 session 信息。此外，前述方法不考虑时间间隔，而我们在 LSTM 中添加 time gate，可以利用时间间隔来推高推荐性能。

   • 短期兴趣和长期兴趣：

     • 推荐系统中的大多数现有算法，如 Bayesian Personalized Ranking: BPR、矩阵分解matrix factorization、张量模型tensor models ，聚焦于建模用户的长期兴趣。
     • 《Personalized news recommendation based on click behavior》 通过 content-based 方法来适配adapt 一种协同过滤方法collaborative filtering从而挖掘用户的当前兴趣。
     • 一些方法应用协同过滤和关联规则association rule来 match 用户最近的行为。
     • 《Adaptation and evaluation of recommendations for short-term shopping goals》 提出用户的短期兴趣和长期兴趣在在线购物场景中都很重要，并量化了几种组合策略combining strategy 。
     • 半马尔可夫过程Semi-Markov Process: SMP 和马尔可夫更新过程Markov Renewal Process: MRP 还旨在建模具有时间间隔的序列过程sequential process。然而，由于 SMP 和 MRP 的马尔科夫特性，它们无法捕获在我们任务中的长期兴趣。

16.1 模型

1. 令 $\mathcal{U}=\{u_1,u_2,\cdots \}$$\mathcal U=\{u_1,u_2,\cdots\}$ 为用户集合，$\mathcal{I}=\{i_1,i_2,\cdots \}$$\mathcal I=\{i_1,i_2,\cdots\}$ 为 item 集合。对每个用户 $u$$u$ ，该用户的消费历史记做 ${\mathcal{H}}^u:=[(i_1^u,t_1^u),(i_2^u,t_2^u),\cdots ,(i_{n_u}^u,t_{n_u}^u)]$$\mathcal H^u:=\left[\left(i_1^u,t_1^u\right),\left(i_2^u,t_2^u\right),\cdots,\left(i_{n_u}^u,t_{n_u}^u\right)\right]$ ，其中 $(i_m^u,t_m^u)$$\left(i_m^u,t_m^u\right)$ 表示用户 $u$$u$ 在时刻 $t_m^u$$t_m^u$ 消费了该用户的第 $m$$m$ 个 item 。

   我们的任务是在给定用户 $u_p$$u_p$ 和给定时刻 $t_q$$t_q$ 的条件下，提供一个推荐列表 ${\mathcal{I}}_l\subseteq \mathcal{I}$$\mathcal I_l\sube\mathcal I$ 。

2. 我们通过两种方法使得 LSTM 适配 adapt 我们的任务：

   • 第一种方法是，我们仅记录 item 的顺序，而不考虑时间信息。因此在我们的任务中，LSTM 更新方程中的 ${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 就是 $i_m^u$$i_m^u$ （经过 one-hot ）。

     这也是大多数现有方法的做法。

   • 第二种方法是，考虑时间信息。我们首先将 ${\mathcal{H}}^u$$\mathcal H^u$ 转换为：

     $$[(i_1^u,t_2^u-t_1^u),(i_2^u,t_3^u-t_2^u),\cdots ,(i_{n_u}^u,t_q-t_{n_u}^u)]$$

     那么在我们的任务中，LSTM 更新方程中的 ${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 就等价于 $(i_m^u,t_{m+1}^u-t_m^u)$$\left(i_m^u,t_{m+1}^u - t_m^u\right)$ 。这里我们对 $i_m^u$$i_m^u$ 采用 one-hot representation，对 $t_{m+1}^u-t_m^u$$t_{m+1}^u-t_m^u$ 使用一维的实数表示。

     也可以对 $(t_{m+1}^u-t_m^u)$$\left(t_{m+1}^u - t_m^u\right)$ 进行离散化，如按照 day/week/month 等离散化，然后转换为 embedding 。

     这里用下一个时间戳减去当前时间戳，而不是当前时间戳减去上一个时间戳，是因为我们想捕获当前消费的 item 对未来的影响。

   为了适配 LSTM 及其所有变体，模型的输出是由 ${\overrightarrow{\mathbf{h}}}_m$$\mathbf{\vec h}_m$ 计算的所有 item 的概率分布。损失函数基于模型的输出和 $i_{m+1}^u$$i^u_{m+1}$ 。

3. 对于 Phased LSTM 的适配，在我们的任务中，${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 等价于 $i_m^u$$i_m^u$ （使用 one-hot representation），time gate 中的 $t_m$$t_m$ 等价于 $t_{m+1}^u$$t^u_{m+1}$ ，即 ${\varphi }_m=\frac{(t_{m+1}^u-s)\text{ mod }\tau }{\tau }$$\phi_m = \frac{(t_{m+1}^u-s)\text{ mod }\tau}{\tau}$ 。

4. 当将 LSTM 及其变体应用于推荐系统时：

   • ${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 包含用户消费的 last item 的信息。由于这是用户最近 most recent 的动作，我们可以利用 ${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 来了解用户当前的短期兴趣。
   • 另一方面，${\overrightarrow{\mathbf{c}}}_{m-1}$$\mathbf{\vec c}_{m-1}$ 包含了用户之前行为 previous actions 的信息，因此 ${\overrightarrow{\mathbf{c}}}_{m-1}$$\mathbf{\vec c}_{m-1}$ 反映了用户的长期兴趣。

   然而，${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 究竟在多大程度上反映了用户当前的短期兴趣，这在不同情况下有所不同。例如，如果 ${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 是很久以前消费的，那么就很难反映当前的消费目标 consuming goal 。在 Time-LSTM 中，我们使用 time-gate 来控制 last consumed item ${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 对当前推荐的影响。

   此外，这些 time gate 有助于将时间间隔存储在 ${\overrightarrow{\mathbf{c}}}_m,{\overrightarrow{\mathbf{c}}}_{m+1},\cdots$$\mathbf{\vec c}_m,\mathbf{\vec c}_{m+1},\cdots$ 中，这反映了用户在后续推荐later recommendation中的长期兴趣。因此，在建模用户的长期兴趣时，不仅要考虑用户以前消费过的 item，还要考虑相应的时间间隔。我们设计了三个版本的 Time-LSTM，如下图所示。

   在 attention-based 模型（如 STAMP 中），是否可以将 ${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 和时间间隔同时作为短期兴趣网络的输入，从而捕获 last item 对当前推荐的影响？

   

16.1.1 Time-LSTM 1

1. 第一个版本的 Time-LSTM 添加了一个 time gate ${\overrightarrow{\mathbf{T}}}_m$$\mathbf{\vec T}_m$ 。基于 LSTM 的更新方程，我们添加了一个 time gate 的更新，同时调整了 ${\overrightarrow{\mathbf{c}}}_m$$\mathbf{\vec c}_m$ 和 ${\overrightarrow{\mathbf{o}}}_m$$\mathbf{\vec o}_m$ 的更新：

   $$\begin{array}{c}{\overrightarrow{\mathbf{T}}}_m={\sigma }_t({\mathbf{W}}_x^{(t)}{\overrightarrow{\mathbf{x}}}_m+{\sigma }_{\mathrm{\Delta }t}\left({\mathbf{W}}_t^{(t)}\mathrm{\Delta }{t}_m\right)+{\overrightarrow{\mathbf{b}}}^{(t)})\\ {\overrightarrow{\mathbf{c}}}_m={\overrightarrow{\mathbf{f}}}_m\odot {\overrightarrow{\mathbf{c}}}_{m-1}+{\overrightarrow{\mathbf{i}}}_m\odot {\overrightarrow{\mathbf{T}}}_m\odot {\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(c)})\\ {\overrightarrow{\mathbf{o}}}_m={\sigma }_o({\mathbf{W}}_x^{(o)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_t^{(o)}\mathrm{\Delta }{t}_m+{\mathbf{W}}_h^{(o)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{w}}}_c^{(o)}\odot {\overrightarrow{\mathbf{c}}}_m+{\overrightarrow{\mathbf{b}}}^{(o)})\end{array}$$

   其中：

   • $\mathrm{\Delta }{t}_m\in {\mathbb{R}}^1$$\Delta t_m \in \mathbb R^1$ 为时间间隔，${\sigma }_{\mathrm{\Delta }t}(\cdot )$$\sigma_{\Delta t}(\cdot)$ 为一个 sigmoid 函数，${\overrightarrow{\mathbf{T}}}_m$$\mathbf{\vec T}_m$ 为 time gate 。
   • ${\mathbf{W}}_t^{(t)},{\mathbf{W}}_t^{(o)}\in {\mathbb{R}}^{d\times 1}$$\mathbf W_t^{(t)},\mathbf W_t^{(o)}\in \mathbb R^{d\times 1}$ 为时间相关的、待学习的参数。

2. 可以看到，time gate ${\overrightarrow{\mathbf{T}}}_m$$\mathbf{\vec T}_m$ 在两个方面有帮助：

   • 一方面，${\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(c)})$$\sigma_c\left(\mathbf W^{(c)}_x\mathbf{\vec x}_m + \mathbf W^{(c)}_h\mathbf{\vec h}_{m-1} + \mathbf{\vec b}^{(c)}\right)$ 不仅被 input gate ${\overrightarrow{\mathbf{i}}}_m$$\mathbf{\vec i}_m$ 所过滤，还被 time gate ${\overrightarrow{\mathbf{T}}}_m$$\mathbf{\vec T}_m$ 所过滤。所以，${\overrightarrow{\mathbf{T}}}_m$$\mathbf{\vec T}_m$ 可以控制 ${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 对当前推荐的影响。
   • 另一方面，$\mathrm{\Delta }{t}_m$$\Delta t_m$ 首先被存入 ${\overrightarrow{\mathbf{T}}}_m$$\mathbf{\vec T}_m$ ，然后被传递到 ${\overrightarrow{\mathbf{c}}}_m$$\mathbf{\vec c}_m$ ，接着被传递到 ${\overrightarrow{\mathbf{c}}}_{m+1},{\overrightarrow{\mathbf{c}}}_{m+2},\cdots$$\mathbf{\vec c}_{m+1},\mathbf{\vec c}_{m+2},\cdots$ 。因此，${\overrightarrow{\mathbf{T}}}_m$$\mathbf{\vec T}_m$ 有助于存储 $\mathrm{\Delta }{t}_m$$\Delta t_m$ 从而为后续推荐later recommendation来建模用户的长期兴趣 $({\overrightarrow{\mathbf{c}}}_m,{\overrightarrow{\mathbf{c}}}_{m+1},\cdots )$$(\mathbf{\vec c}_m,\mathbf{\vec c}_{m+1},\cdots)$ 。

   注意，我们能够以类似的方式将 ${\overrightarrow{\mathbf{T}}}_m$$\mathbf{\vec T}_m$ 推广到其它 RNN 架构，如 GRU 。

3. ${\overrightarrow{\mathbf{T}}}_m$$\mathbf{\vec T}_m$ 完全从数据中学习。但是，作为先验知识，我们知道，给定一个 last consumed item，如果它是非常近期消费more recently consumed的，则这个 item 应该对当前推荐有更大的影响。我们希望将这些先验知识融入到 time gate 的设计中。

16.1.2 Time-LSTM 2

1. 第二个版本的 Time-LSTM 添加了两个 time gate ${\overrightarrow{\mathbf{T}\mathbf{1}}}_m,{\overrightarrow{\mathbf{T}\mathbf{2}}}_m$$\mathbf{\overrightarrow {T1}}_m, \mathbf{\overrightarrow {T2}}_m$ ：

   • ${\overrightarrow{\mathbf{T}\mathbf{1}}}_m$$\mathbf{\overrightarrow {T1}}_m$ 控制了 last consumed item 对当前 item recommendation 的影响。
   • 而 ${\overrightarrow{\mathbf{T}\mathbf{2}}}_m$$\mathbf{\overrightarrow {T2}}_m$ 存储了时间间隔来建模用户的长期兴趣用于后续推荐。

2. 基于 LSTM 的更新方程，我们首先添加了两个 time gate 的更新：

   $$\begin{array}{c}{\overrightarrow{\mathbf{T}\mathbf{1}}}_m={\sigma }_{t1}({\mathbf{W}}_x^{(t1)}{\overrightarrow{\mathbf{x}}}_m+{\sigma }_{\mathrm{\Delta }t}\left({\mathbf{W}}_t^{(t1)}\mathrm{\Delta }{t}_m\right)+{\overrightarrow{\mathbf{b}}}^{(t1)})s.t.{\mathbf{W}}_t^{(t1)}\le 0\\ {\overrightarrow{\mathbf{T}\mathbf{2}}}_m={\sigma }_{t2}({\mathbf{W}}_x^{(t2)}{\overrightarrow{\mathbf{x}}}_m+{\sigma }_{\mathrm{\Delta }t}\left({\mathbf{W}}_t^{(t2)}\mathrm{\Delta }{t}_m\right)+{\overrightarrow{\mathbf{b}}}^{(t2)})\end{array}$$

   然后我们调整 ${\overrightarrow{\mathbf{c}}}_m,{\overrightarrow{\mathbf{o}}}_m,{\overrightarrow{\mathbf{h}}}_m$$\mathbf{\vec c}_m,\mathbf{\vec o}_m,\mathbf{\vec h}_m$ 的更新方程为：

   $$\begin{array}{c}{\widetilde{\overrightarrow{\mathbf{c}}}}_m={\overrightarrow{\mathbf{f}}}_m\odot {\overrightarrow{\mathbf{c}}}_{m-1}+{\overrightarrow{\mathbf{i}}}_m\odot {\overrightarrow{\mathbf{T}\mathbf{1}}}_m\odot {\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(c)})\\ {\overrightarrow{\mathbf{c}}}_m={\overrightarrow{\mathbf{f}}}_m\odot {\overrightarrow{\mathbf{c}}}_{m-1}+{\overrightarrow{\mathbf{i}}}_m\odot {\overrightarrow{\mathbf{T}\mathbf{2}}}_m\odot {\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(c)})\\ {\overrightarrow{\mathbf{o}}}_m={\sigma }_o({\mathbf{W}}_x^{(o)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_t^{(o)}\mathrm{\Delta }{t}_m+{\mathbf{W}}_h^{(o)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{w}}}_c^{(o)}\odot {\widetilde{\overrightarrow{\mathbf{c}}}}_m+{\overrightarrow{\mathbf{b}}}^{(o)})\\ {\overrightarrow{\mathbf{h}}}_m={\overrightarrow{\mathbf{o}}}_m\odot {\sigma }_h\left({\widetilde{\overrightarrow{\mathbf{c}}}}_m\right)\end{array}$$

   其中：

   • ${\overrightarrow{\mathbf{T}\mathbf{1}}}_m$$\mathbf{\overrightarrow {T1}}_m$ 可以被认为是类似于 input gate ${\overrightarrow{\mathbf{i}}}_m$$\mathbf{\vec i}_m$ 的、作用于 ${\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(c)})$$\sigma_c\left(\mathbf W^{(c)}_x\mathbf{\vec x}_m + \mathbf W^{(c)}_h\mathbf{\vec h}_{m-1} + \mathbf{\vec b}^{(c)}\right)$ 上的另一个过滤器。我们使用一个新的 cell state ${\widetilde{\overrightarrow{\mathbf{c}}}}_m$$\widetilde{\mathbf{\vec c}}_m$ 来存储过滤后的结果，这个结果之后被传递给 output gate ${\overrightarrow{\mathbf{o}}}_m$$\mathbf{\vec o}_m$ 、hidden state ${\overrightarrow{\mathbf{h}}}_m$$\mathbf{\vec h}_m$ 并最终影响当前的 item recommendation 。
   • ${\overrightarrow{\mathbf{T}\mathbf{2}}}_m$$\mathbf{\overrightarrow {T2}}_m$ 首先存储 $\mathrm{\Delta }{t}_m$$\Delta t_m$ ，然后将 $\mathrm{\Delta }{t}_m$$\Delta t_m$ 的信息传递给 ${\overrightarrow{\mathbf{c}}}_m$$\mathbf{\vec c}_m$ ，接着传递到 ${\overrightarrow{\mathbf{c}}}_{m+1},{\overrightarrow{\mathbf{c}}}_{m+2},\cdots$$\mathbf{\vec c}_{m+1},\mathbf{\vec c}_{m+2},\cdots$ ，从而建模用户的长期兴趣用于后续推荐。

3. 通过方程中的约束条件 ${\mathbf{W}}_t^{(t1)}\le 0$$\mathbf W^{(t1)}_t \le 0$ ，${\overrightarrow{\mathbf{T}\mathbf{1}}}_m$$\mathbf{\overrightarrow {T1}}_m$ 可以利用先验知识来控制 ${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 对当前的 item recommendation 的影响。具体而言：

   • 如果 $\mathrm{\Delta }{t}_m$$\Delta t_m$ 较小，那么 ${\sigma }_{\mathrm{\Delta }t}\left({\mathbf{W}}_t^{(t1)}\mathrm{\Delta }{t}_m\right)$$\sigma_{\Delta t}\left(\mathbf W_t^{(t1)}\Delta t_m\right)$ 较大从而使得 ${\overrightarrow{\mathbf{T}\mathbf{1}}}_m$$\mathbf{\overrightarrow {T1}}_m$ 更大。根据 ${\widetilde{\overrightarrow{\mathbf{c}}}}_m$$\widetilde{\mathbf{\vec c}}_m$ 的方程，${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 将对当前的 item recommendation 产生更大的影响。即，${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 更好地反映了短期兴趣，因此我们增加了它的影响力。
   • 另一方面，如果 $\mathrm{\Delta }{t}_m$$\Delta t_m$ 较大，在类似的分析下，${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 的影响较小，相应地 ${\overrightarrow{\mathbf{c}}}_{m-1}$$\mathbf{\vec c}_{m-1}$ 会更显著地影响当前的推荐。即，我们对短期兴趣更加不确定，因此我们增加了长期兴趣的影响。

   然而，对于 ${\overrightarrow{\mathbf{T}\mathbf{2}}}_m$$\mathbf{\overrightarrow {T2}}_m$ ，在建模用户长期兴趣从而用于后续推荐方面，对 ${\mathbf{W}}_t^{t2}$$\mathbf W_t^{t2}$ 施加这种约束是没有意义的。这也解释了为什么我们在这个版本中设计了两个 time gate，即区分和定制化了用于当前推荐的角色role for current recommendation （time gate ${\overrightarrow{\mathbf{T}\mathbf{1}}}_m$$\mathbf{\overrightarrow {T1}}_m$）、用于后续推荐的角色role for later recommendation （time gate ${\overrightarrow{\mathbf{T}\mathbf{2}}}_m$$\mathbf{\overrightarrow {T2}}_m$）。

16.1.3 Time-LSTM 3

1. 受 《Lstm: A search space odyssey》 的启发，第三个版本的 Time-LSTM 使用了 coupled input and forget gates 。具体而言，基于 Time-LSTM 2，我们移除了 forgate gate ，并修改 ${\widetilde{\overrightarrow{\mathbf{c}}}}_m,{\overrightarrow{\mathbf{c}}}_m$$\widetilde{\mathbf{\vec c}}_m,\ \mathbf{\vec c}_m$ 为：

   $$\begin{array}{c}{\widetilde{\overrightarrow{\mathbf{c}}}}_m=(1-{\overrightarrow{\mathbf{i}}}_m\odot {\overrightarrow{\mathbf{T}\mathbf{1}}}_m)\odot {\overrightarrow{\mathbf{c}}}_{m-1}+{\overrightarrow{\mathbf{i}}}_m\odot {\overrightarrow{\mathbf{T}\mathbf{1}}}_m\odot {\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(c)})\\ {\overrightarrow{\mathbf{c}}}_m=(1-{\overrightarrow{\mathbf{i}}}_m)\odot {\overrightarrow{\mathbf{c}}}_{m-1}+{\overrightarrow{\mathbf{i}}}_m\odot {\overrightarrow{\mathbf{T}\mathbf{2}}}_m\odot {\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(c)})\end{array}$$

   由于 ${\overrightarrow{\mathbf{T}\mathbf{1}}}_m$$\mathbf{\overrightarrow {T1}}_m$ 被视为一个过滤器（类似于 ${\overrightarrow{\mathbf{i}}}_m$$\mathbf{\vec i}_m$ ），因此在 ${\widetilde{\overrightarrow{\mathbf{c}}}}_m$$\widetilde{\mathbf{\vec c}}_m$ 中我们用 $(1-{\overrightarrow{\mathbf{i}}}_m\odot {\overrightarrow{\mathbf{T}\mathbf{1}}}_m)$$\left(1-\mathbf{\vec i}_m\odot \mathbf{\overrightarrow {T1}}_m\right)$ 代替 forget gate 。而 ${\overrightarrow{\mathbf{T}\mathbf{2}}}_m$$\mathbf{\overrightarrow {T2}}_m$ 用于存储时间间隔（类似于 ${\sigma }_c({\mathbf{W}}_x^{(c)}{\overrightarrow{\mathbf{x}}}_m+{\mathbf{W}}_h^{(c)}{\overrightarrow{\mathbf{h}}}_{m-1}+{\overrightarrow{\mathbf{b}}}^{(c)})$$\sigma_c\left(\mathbf W^{(c)}_x\mathbf{\vec x}_m + \mathbf W^{(c)}_h\mathbf{\vec h}_{m-1} + \mathbf{\vec b}^{(c)}\right)$） ，因此我们在 ${\overrightarrow{\mathbf{c}}}_m$$\mathbf{\vec c}_m$ 中使用 $(1-{\overrightarrow{\mathbf{i}}}_m)$$\left(1- \mathbf{\vec i}_m\right)$ 来代替 forget gate 。

16.1.4 训练

1. 在我们的任务中，我们使用 Time-LSTM 的方法类似于第二种 LSTM 适配：

   • 首先将 ${\mathcal{H}}^u$$\mathcal H^u$ 转换为：

     $$[(i_1^u,t_2^u-t_1^u),(i_2^u,t_3^u-t_2^u),\cdots ,(i_{n_u}^u,t_q-t_{n_u}^u)]$$

   • 然后在 Time-LSTM 中，${\overrightarrow{\mathbf{x}}}_m$$\mathbf{\vec x}_m$ 等价于 $i_m^u$$i_m^u$ （采用 one-hot representation），而 $\mathrm{\Delta }{t}_m$$\Delta t_m$ 等价于 $(t_{m+1}^u-t_m^u)$$(t_{m+1}^u - t_m^u)$ 。

2. 我们使用随机梯度下降 Stochastic Gradient Descent: SGD 的变体 AdaGrad 来优化 Time-LSTM 模型中的参数。由于方程中存在约束 ${\mathbf{W}}_t^{(t1)}\le 0$$\mathbf W^{(t1)}_t \le 0$，因此我们使用投影算子projection operator来处理它，即： 如果我们在训练迭代期间得到 ${\mathbf{W}}_t^{(t1)}>0$$\mathbf W^{(t1)}_t\gt 0$ ，那么我们重置 ${\mathbf{W}}_t^{(t1)}=0$$\mathbf W^{(t1)}_t=0$ 。

3. 在现实世界的application 中，用户的新消费行为不断地被产生。因此，我们希望利用所有可用的消费历史（包括新生成的动作）进行推荐，即 online learning setting 。

   非 online learning setting 策略是：在推断期间冻结模型，使用固定的参数进行推断。

   oneline learning setting 策略会根据新的消费行为来更新模型参数，使用新的参数进行推断。

   为了实现这一点，我们将 《Recurrent neural network based language model》 中的动态更新模型应用于我们的任务，如下所示：

   • 第一步，我们的模型根据用户现有的消费历史进行训练，直到收敛。

   • 第二步，我们重复以下过程：当 $n$$n$ 个新的动作被生成之后，我们通过将 AdaGrad 应用于用户更新后的消费历史从而更新 previous parameters 一次。我们可以增大 $n$$n$ 的值从而提高 online learning 的效率。

     也可以根据时间周期性地更新（如每隔 1 小时）。

   我们可以周期性重复以上两个步骤。可以综合考虑推荐性能和计算成本来选择合适的周期。

16.2 实验

1. 数据集：我们在 LastFM 和 CiteULike 这两个数据集上进行评估。

   • 对于 LastFM 数据集，我们抽取元组 <user id, song id, timestamp> ，其中每个元组代表用户 user id 在 时刻 timestamp 听歌曲 song id 的动作。

   • 对于 CiteULike 数据集，一个用户在某个时刻注释一篇论文时可能有几条记录从而区分不同的 tag 。我们将这些记录合并为单条记录并抽取元组 <user id, papaer id, timestamp> 。

     注意，与 《Heterogeneous hypergraph embedding for document recommendation》 不同，我们没有将 tag 用于推荐。

   我们过了掉低频的用户和 item。这些元组都按照 user id 组织并根据 timestamp 进行排序。下表展示了这些数据集的统计数据。

   

   对于每个数据集，我们随机选择 80% 的用户作为训练用户，并使用他们的元组进行训练。剩余的 20% 用户作为测试用户。对于每个测试用户 $u$$u$ ，其有序元组 ${\mathcal{T}}^u:=[(u,i_1^u,t_1^u),(u,i_2^u,t_2^u),\cdots ,(u,i_{n_u^{\prime }}^u,t_{n_u^{\prime }}^u)]$$\mathcal T^u:=\left[\left(u,i_1^u,t_1^u\right),\left(u,i_2^u,t_2^u\right),\cdots,\left(u,i_{n^\prime_u}^u,t_{n^\prime_u}^u\right)\right]$ 将产生 $n_u^{\prime }-1$$n_u^\prime - 1$ 个 test case ，其中第 $k$$k$ 个 test case 是在给定 $u$$u$ 的消费历史 $[(i_1^u,t_1^u),(i_2^u,t_2^u),\cdots ,(i_k^u,t_k^u)]$$\left[\left(i_1^u,t_1^u\right),\left(i_2^u,t_2^u\right),\cdots,\left(i_k^u,t_k^u\right)\right]$ 的条件下在时刻 $t_{k+1}^u$$t_{k+1}^u$ 执行推荐，并且时刻 $t_{k+1}^u$$t_{k+1}^u$ 的 ground truth 为 $i_{k+1}^u$$i_{k+1}^u$ 。

2. baseline 方法：

   • CoOccur+BPR：这是 《Adaptation and evaluation of recommendations for short-term shopping goals》 中提出的一种组合策略，其中 CoOccur 是为了捕获短期兴趣，而 BPR 是为了捕获长期兴趣。

     具体而言，CoOccur 根据 item 在 user session 中共现co-occurring的条件概率对 item 进行排序（关联规则）。如果推荐列表尚未填满，则根据 BPR 的推荐继续填充推荐列表。

     我们不使用原始论文中的 FeatureMatching 和 RecentlyViewed 。原因是：

     • FeatureMatching 需要 item 的属性信息，这在我们的任务中是不可用的。
     • RecentlyViewed 只是推荐最近查看过的 item，然而大多数情况下，我们希望推荐系统为我们提供那些我们忽略ignore的、但是仍然喜欢的 item 。因为即使没有推荐系统的帮助，我们仍然可以自己找到我们熟悉的 item （例如我们最近浏览过的 item 、或者最近消费过的 item ）。

     该方法需要 session 信息。我们使用一种常用的方法，即 timeout，来识别用户消费历史中的 session。

     如果两个动作的间隔时间超过了指定的阈值，则认为它们属于不同的 session ；否则属于相同的 session。

   • Session-RNN：《Session-based recommendations with recurrent neural networks》 使用 RNN 在 session-based 推荐中基于 session 中的 item 来捕获短期兴趣。该方法不考虑长期兴趣。

     session 信息的抽取如 CoOccur + BPR 中所述。我们使用该方法的公开可用的 python 实现。

     Session-RNN 虽然是序列模型（类似于 LSTM），但是它仅考虑当前 session 的信息而不是历史所有 item 的信息，因此仅捕获短期兴趣。

   • LSTM：前文介绍的 LSTM 的第一种适配方式。

   • LSTM + time：前文介绍的 LSTM 的第二种适配方式。

   • Phased LSTM：前文介绍的 Phased LSTM 的适配。

   • 我们并没有对比 《A dynamic recurrent model for next basket recommendation》 ，因为该方法的 setting 不同于我们的方法，并且该方法的某些操作（如池化）无法应用于我们的方法。

   前文介绍的 online learning setting 应用于 LSTM 及其变体（包括 Phased LSTM 和 Time-LSTM），其中训练 training users 的元组用于训练 step one 的模型。类似的更新策略应用于 CoOccur + BPR 和 Session-RNN 以确保公平地比较。

   LSTM 及其变体（包括 Phased LSTM 和 Time-LSTM）的 unit 数量设置为 512。所有方法中的其它超参数都通过交叉验证进行调优，或者按照原始论文进行设置。

3. 评估指标：每个 target item $i_g$$i_g$ （ground truth）与 100 个其它随机 item 进行组合。然后推荐算法对这 101 个 item 进行排名，top 10 个 item 构成推荐列表 recommendation list 。

   • Recall@10：Recall@10 的定义为：

     $$\text{Recall@10}=\frac{n_{\text{hit}}}{n_{\text{testcase}}}$$

     其中：$n_{\text{testcase}}$$n_\text{testcase}$ 是所有 test case 的数量，$n_{\text{hit}}$$n_\text{hit}$ 是满足 $i_g$$i_g$ 位于推荐列表的 test case 的数量。

   • MRR@10(Mean Reciprocal Rank)：这是 $i_g$$i_g$ 在推荐列表中排名倒数reciprocal rank的均值。如果 $i_g$$i_g$ 的排名落后于 10，则排名倒数置为零。MRR@10 考虑 item 的排名。

   每个指标评估 10 次并取均值。

4. 实验结果如下表所示：

   • Time-LSTM 模型通常优于其它 baseline 。
   • Time-LSTM 2 和 Time-LSTM 3 的性能优于 Time-LSTM 1，这证明了使用两个 time gate 而不是一个 time gate 的有效性。
   • T1m=1 和 T2m=1 分别是我们将 ${\overrightarrow{\mathbf{T}\mathbf{1}}}_m$$\mathbf{\overrightarrow {T1}}_m$ 固定为 1、将 ${\overrightarrow{\mathbf{T}\mathbf{2}}}_m$$\mathbf{\overrightarrow {T2}}_m$ 固定为 1 的结果。它们的性能比原始版本更差，这表明使用我们设计的 T1m 来过滤输入、T2m 来存储时间间隔都可以提高性能。
   • LSTM+time 在 CiteULike 中的表现略逊于 LSTM，这可能是由于 CiteULike 中的时间间隔通常很大（归一化之后，它的性能有所提高，但仍然比 Time-LSTM 模型更差）。

   

5. Cold User 和 Warm User 的性能：如果用户消费的 item 很少，则我们认为用户是 cold 的；否则我们认为用户是 warm 的。由于篇幅有限，我们只在 LastFM 中展示 Recall@10 的结果。如下图所示，x 轴上的索引 $k$$k$ 代表第 $k$$k$ 个 test case 。在给定 training user 的所有动作、以及 test user 的前 $k$$k$ 个动作的情况下，我们预测 test user 的第 $k+1$$k+1$ 个动作。

   • 图 (a) 表明 Time-LSTM 对 warm user 表现更好（较大的索引表明用户消费了更多的 item ）。原因是 ${\overrightarrow{\mathbf{c}}}_{m-1}$$\mathbf{\vec c}_{m-1}$ 中包含的动作越多，则 Time-LSTM 可以更好地建模长期兴趣用于推荐。

     对于 cold user，Time-LSTM 的性能与 Session-RNN 相当。这是因为尽管消费行为很少，但是 Time-LSTM 仍然可以通过捕获短期兴趣来很好地执行推荐。

   • 图 (b) 中的性能优于 (a)，这证明了动态更新模型的有效性。对于 warm user 而言，从 (a) 到 (b) 的性能提升更为显著，因为 warm user 的模型更新次数要比 cold user 更多。

   

6. 单元数量 unit number 和效率：我们改变单元数量 $d$$d$ （即，隐层维度） 从而查看模型性能和训练时间如何变化。训练时间在一个 GeForce GTX Titan Black GPU 上进行评估。限于篇幅，我们仅展示在 LastFM 数据集上的 Recall@10 、以及训练时间。

   • 如下图 (a) 所示，增加 $d$$d$ 可以提高 Recall@10 。但是当 $d>128$$d\gt 128$ 时，增益会减慢甚至恶化。

   • 另一方面，如下图 (b) 所示，增加 $d$$d$ 会增加训练时间。因此，$d$$d$ 在 128 和 512 之间比较合适。

     当 $d$$d$ 变化时，Time-LSTM 3 的训练时间总是比 Time-LSTM 2 更少。原因是 Time-LSTM 3 中的 coupled input and forget gates 减少了参数数量，并加快了训练过程。

   

十七、STAMP[2018]

1. 基于会话的推荐系统 Session-based Recommender system: SRS 是现代商业在线系统的重要组成部分，通常用于通过基于用户行为（这些用户行为编码在 browser session 中）提出的建议来改善用户体验。推荐器的任务是根据当前 session 中的动作 action 序列来预测用户的 next action （例如，点击某个 item）。最近的研究强调了在各种推荐系统中使用 RNN 的重要性，其中， RNN 在 session-based 的推荐任务中的应用在过去几年中取得了重大进展。尽管 RNN 模型已被证明可用于从一个action 序列中捕获用户的一般兴趣general interest ，但是由于用户行为固有的不确定性和浏览器提供的信息有限，学习从 session 中进行预测仍然是一个具有挑战性的问题。

   根据现有文献，几乎所有 RNN-based 的推荐模型都只考虑将 session 建模为一个 item 序列，而没有显式考虑用户的兴趣随时间漂移 drift ，这在实践中可能存在问题。例如，如果某个特定的数码相机链接刚刚被用户点击并记录在 session 中，则用户下一个预期的action 很可能是对当前 action 的响应：

   • 如果当前的 action 是：在作出购买决定之前，先浏览产品描述。那么，用户下一步很可能会访问另一个数码相机品牌类目brand catalog。

   • 如果当前的 action 是：在购物车中添加数码相机。那么，用户的浏览兴趣很可能会转移到存储卡等其它外围设备上。在这种情况下，向该用户推荐另一台数码相机并不是一个好主意，尽管当前 session 的初衷是购买数码相机。

     因为用户对于“购买数码相机”这个需求的决策已经完成了，所以继续推荐数码相机已经不再合适。

   在典型的推荐系统任务中，session 由一系列 named item 组成，并且用户兴趣隐藏在这些隐式反馈中（如，点击）。为了进一步提高 RNN 模型的预测准确性，重要的是能够同时学习这种隐式反馈的长期兴趣long-term interest 和短期兴趣short-term interest。正如 《Adaptation and Evaluation of Recommendations for Short-term Shopping Goals》 指出的那样，用户的短期兴趣和长期兴趣对于推荐都非常重要。但是，传统的 RNN 架构并非旨在同时区分和利用这两种兴趣。

   在论文 《STAMP: Short-Term Attention/Memory Priority Model for Session-based Recommendation》中，作者考虑通过在推荐模型中引入一种 recent action priority 机制来解决这个问题，这个新的模型称作 Short-Term Attention/Memory Priority: STAMP 模型。STAMP 模型可以同时考虑用户的一般兴趣 general interest 和当前兴趣current interest。

   • 在 STAMP 中，用户的一般兴趣由 session prefix （包括last-click）构建的 external memory 所捕获，这就是术语 Memory 的由来。术语 “ last-click” 表示 session prefix 的最后一个 action （item） ，推荐系统的目标是预测关于这个 last-click 的 next click 。
   • 在STAMP 中，last-click 的 embedding 用于表示用户当前的兴趣，并在此基础上构建了所提出的注意力机制。

   由于 last-click 是 external memory 的一个组成部分，因此它可以被视为用户兴趣的 short-term memory 。同样地，建立在 last-click 之上的用户注意力可以看做是一种短期注意力short-term attention 。据作者所知，这是在为 session-based 的推荐构建神经注意力模型时，同时考虑长期记忆long-term memory和短期记忆short-term memory的首次尝试。

   由于 short-term memory 已经被包含进了 external memory，因此短期兴趣的信息实际上已经被包含进了长期兴趣。而 STAMP 实际上相当于为长期兴趣中的短期兴趣赋予了一个很强的注意力，使得模型能够关注到短期兴趣的信息，这也是为什么模型叫做 “短期注意力优先” 而不是叫 “短期注意力分离” 的原因。

   论文的主要贡献如下：

   • 引入了一个 short-term attention/memory priority 模型，该模型可以学习一个统一的 embedding 空间（跨 session 的 item），以及一个用于session-based 推荐系统中 next click 预测的新颖神经注意力模型neural attention model 。
   • 提出了一种新的注意力机制来实现 STAMP 模型，其中注意力权重是从 session context 中计算出来的，并随着用户当前的兴趣而增强。输出的注意力向量被视为用户的临时兴趣 temporal interest，并且比其它 neural attention based 方案对用户兴趣随时间的漂移更敏感。因此，它能够同时捕获用户的一般长期兴趣（响应初始意图 initial purpose）、以及用户的短期注意力（用户的当前兴趣）。论文通过实验验证了所提出的注意力机制的有效性和效率。
   • 在两个真实世界的数据集上评估了所提出的模型，实验结果表明：STAMP 达到了 state-of-the-art，并且所提出的注意力机制发挥了重要作用。

2. 相关工作：session-based 推荐是推荐系统的一个子任务，其中推荐是根据用户 session 中的隐式反馈进行的。这是一项具有挑战性的任务，因为通常假定用户是匿名的，并且没有显式提供用户偏好（如，评分），相反，决策者只能获得一些正向的观察结果（如，购买或点击）。在过去的几年里，越来越多的研究关注于推荐系统问题的挑战，根据他们的建模假设，流行的方法可以分为两类：侧重于识别用户一般兴趣的全局模型global model 、侧重于识别用户临时兴趣的局部模型localized model。

   • 捕获用户一般兴趣的一种方法是：通过基于用户整个 purchase/click 历史的协同过滤collaborative filtering: CF 方法。例如，矩阵分解Matrix Factorization: MF 方法使用潜在向量latent vector来表示一般兴趣，这些兴趣是通过分解由整个历史交易数据组成的 user-item 矩阵来估计的。
   • 另一种方法叫做邻域方法neighborhood method，它试图根据从 session 中 item co-occurrence 计算到的 item similarity 来提供推荐。
   • 第三种方法是基于马尔科夫链Markov chain: MC的模型，它利用user action 之间的顺序转移来进行预测。

   上述模型要么探索用户的一般兴趣，要么探索用户的当前兴趣：

   • 先前的 current interests based 推荐器很少考虑session 中不相邻的 item 之间的序列交互。
   • 尽管 general interests based 推荐器擅长捕获用户的一般品味，但是如果不显式建模相邻转移，则很难适应用户的 recent actions 。

   理想情况下，一个好的推荐器应该能够探索序列行为，并考虑到用户的一般兴趣。因为这两个因素可能会相互作用，从而影响用户的 next click 。因此，一些研究人员试图通过考虑两种类型的用户兴趣来改进推荐模型。

   • 《Factorizing personalized Markov chains for next-basket recommendation》 提出了一种混合模型 FPMC，它结合了 MF 和 MC 的力量针对 next basket 推荐来同时建模序列行为和一般兴趣，从而获得比单独考虑短期兴趣或长期兴趣更好的效果。
   • 《Learning Hierarchical Representation Model for Next Basket Recommendation》 提出了一种 hybrid representation learning model ，该模型采用两层的 hierarchical structure 来从用户的最近交易中建模用户的序列行为和一般兴趣。

   但是，它们都只能对相邻action 之间的局部序列行为进行建模，而没有考虑 session context 所传递的全局信息。

   上述模型仅利用了 last action 来建模短期兴趣，利用 user representation 来建模长期兴趣。

   最近，深度神经网络已被证明在建模序列数据方面非常有效。受 NLP 领域最新进展的启发，人们已经开发了一些基于深度学习的解决方案，其中一些解决方案代表了 SRS 研究领域的 state-of-the-art 。

   • 《Session-based recommendations with recurrent neural networks》 使用带 GRU 的 RNN 来建模 session 数据。它从给定 session 中previous clicks来直接学习 session representation，并提供 next action 的推荐。这是首次尝试将 RNN 网络应用于解决推荐系统问题。由于 RNN 提供的序列建模能力，他们的模型可以在预测 next action 时考虑用户的历史行为。
   • 《Improved Recurrent Neural Networks for Session-based Recommendations》 提出了一种数据增强技术来提高 RNN 在 session-based 推荐中的性能。
   • 《A Dynamic Recurrent Model for Next Basket Recommendation》 提出了一个动态循环模型，该模型应用 RNN 来学习在不同时间的、用户一般兴趣的 dynamic representation ，并捕获 basket 之间的全局序列行为。

   上面提到的、在推荐系统中的大多数神经网络模型都是通过使用相同的 operation 来操纵每个 context clicked item 来实现的，从而允许模型以隐式的方式捕获 next click和前面多个click 之间的相关性。此外，last time step 的隐状态包含有关序列的信息，并且靠近 next click 的部分得到更强的关注，因此可能会遗忘一些长距离 items 的某些一般兴趣的特征。为了解决这个问题，人们引入了各种模型来捕获 item 之间的相关性、以及更准确的一般兴趣。

   • 《Diversifying Personalized Recommendation with User-session Context》 提出了一种具有 wide-in-wide-out structure: SWIWO 的神经网络来学习 user-session context 。它通过组合当前 session 中的所有 item embedding 来构造 session context，这个 session context 根据与 target item 的响应的相对距离来为每个 item 提供一个固定的权重。
   • 《Neural Attentive Session-based Recommendation》 提出了一种 RNN based encoder-decoder model: NARM 。该模型将来自 RNN 的最后一个隐状态作为 query ，并使用前面多个点击的隐状态进行注意力计算，从而捕获给定session 中的主要意图main purpose（一般兴趣）。
   • 最近的另一项相关工作是 Time-LSTM 模型（《What to Do Next: Modeling User Behaviors by Time-LSTM》），它是 LSTM 的一个变体。Time-LSTM 考虑短期兴趣和长期兴趣，通过使用 time gate 来控制 last consumed item 的影响，并存储时间间隔来建模用户的长期兴趣。但是，在大多数真实世界的数据集中没有提供时间戳，因此这里不考虑它。

   我们的模型与 SWIWO 和 NARM 之间有显著差异。

   • SWIWO 以固定的方式确定 session 中每个 item 的权重，我们认为这在实践中是有争议的。在 STAMP中，对于给定的 session，所提出的注意力机制可以通过显式考虑每次historical click和last click之间的相关性并计算动态权重来帮助缓解这种矛盾。

   • NARM 结合主要意图（即，一般兴趣）和序列行为（即，当前兴趣）来获得 session representation，其中将它们视为同等重要的、互补的特征。然而，STAMP 显式强调了last click所反映的当前兴趣，从而从previous clicks中捕获当前兴趣和一般兴趣的 hybrid features ，因此显式将last click的重要性引入推荐系统，然而NARM 仅捕获一般兴趣。STAMP 可以增强短期兴趣，以便在兴趣漂移的情况下准确捕获用户当前兴趣，尤其是在一个long session 中。

     即，对于 STAMP，当前兴趣更重要，但是重要程度是模型自己融合到 hybrid features 中的。