二十六、AutoInt[2018]

1. 由于几个原因，CTR 预测问题非常具有挑战性：

   • 首先，输入特征是极其稀疏和高维的。

     在现实世界的应用中，相当比例的用户人口统计学和item 属性通常是离散的。为了应用监督学习，这些特征首先被转换为 one-hot embedding 向量，这很容易导致特征具有数百万的维度。面对如此稀疏的、高维的输入特征，机器学习模型很容易过拟合。

   • 其次，正如大量文献所示，高阶特征交互 feature interaction 对良好的性能至关重要。然而，寻找这种有意义的高阶组合特征在很大程度上依赖于领域专家。此外，几乎不可能手工制作出所有有意义的组合。

     有人可能会问，我们可以列举出所有可能的高阶特征，让机器学习模型选择有意义的特征。然而，枚举所有可能的高阶特征将指数级地增加输入特征的维度和稀疏度，导致更严重的模型过拟合问题。

   Factorization Machine: FM结合了多项式回归模型和因子分解技术从而建模特征交互，并在各种任务中证明了有效性。然而，受其多项式的限制，它只对低阶特征交互建模有效，而无法捕获高阶特征交互。

   最近，人们提出许多基于深度神经网络的工作从而建模高阶特征交互。具体而言，通常使用多层非线性神经网络来捕获高阶特征交互。然而，这类方法有两个局限性：

   • 首先，全连接的神经网络在学习乘性multiplicative 的特征交互方面效率低下。
   • 其次，由于这些模型是以隐式的方式学习特征交互，它们缺乏对哪些特征组合是有意义的良好解释。

   在论文 《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》 中，作者提出了一种基于多头自注意力机制的方法。具体而言：

   • categorical 特征和 numerical 特征首先被嵌入到低维空间中，这降低了输入特征的维度，同时允许不同类型的特征通过向量运算（如求和和内积）来交互。

   • 然后，AutoInt 提出了一个新的交互层 interacting layer ，以促进不同特征之间的交互。在每个交互层内，允许每个特征与所有其他特征进行交互，并能够通过多头注意力机制自动识别相关特征以形成有意义的高阶特征。此外，多头机制将一个特征投射到多个子空间中，因此它可以在不同的子空间中捕获不同的特征交互。

     论文使用注意力机制来度量特征之间的相关性，这提供了良好的模型可解释性。

   论文贡献：

   • 论文提议研究显式学习高阶特征交互的问题，同时为该问题找到具有良好解释能力的模型。
   • 论文提出了一种基于自注意力神经网络的新方法，它可以自动学习高阶特征交互，并有效地处理大规模高维稀疏数据。
   • 论文在几个真实世界的数据集上进行了广泛的实验。在CTR 预测任务上的实验结果表明，所提出的方法不仅优于现有的 SOTA 的预测方法，而且还提供了良好的模型解释能力。

2. 相关工作：

   • Learning Feature Interactions：学习特征交互是一个基本问题，因此在文献中得到了广泛的研究。

     • Factorization Machine: FM 用于捕获一阶特征交互和二阶特征交互，并被证明对推荐系统的许多任务是有效的。
     • Field-aware Factorization: FFM 建模不同 field 的特征之间的细粒度交互。
     • GBFM 和 AFM 考虑了不同二阶特征交互的重要性。

     然而，所有这些方法都集中在建模低阶特征交互。最近有一些工作建模高阶特征交互：

     • NFM 将深度神经网络堆叠在二阶特征交互的输出之上，从而建模高阶特征交互。
     • PNN, FNN, DeepCrossing, Wide&Deep, DeepFM 也利用前馈神经网络来模拟高阶特征交互。

     然而，所有这些方法都是以隐式的方式学习高阶特征交互，因此缺乏良好的模型可解释性。相反，有三类工作是以显式方式学习特征交互：

     • 首先，Deep&Cross 和 xDeepFM 分别在 bit-wise level 和 vector-wise level 上对特征进行外积outer product 。虽然它们进行了显式的特征交互，但要解释哪些组合是有用的并不简单。
     • 其次，一些基于树的方法结合了 embedding-based 模型和 tree-based 模型的力量，但不得不将训练过程分成多个阶段。
     • 第三，HOFM 提出了高效的高阶分解机的训练算法。然而，HOFM 需要太多的参数，只有它的低阶（通常小于 5 ）形式可以实际使用。

     与现有工作不同的是，我们以端到端的方式显式地用注意力机制建模了特征交互，并通过可视化的方式探究学到的特征组合。

   • Attention and Residual Networks：我们的模型利用了深度学习文献中的最新技术：注意力机制和残差网络。

26.1 模型

1. 定义 CTR Prediction：令 $\overrightarrow{\mathbf{x}}\in {\mathbb{R}}^n$$\mathbf{\vec x}\in \mathbb R^n$ 为用户 $u$$u$ 的特征和 item $v$$v$ 的特征的拼接，其中 categorical features 用 one-hot encoding 来表示。点击率预测问题旨在根据特征向量 $\overrightarrow{\mathbf{x}}$$\mathbf {\vec x}$ 预测用户 $u$$u$ 点击item $v$$v$ 的概率。

2. 针对 CTR 预测问题的一个直接的解决方案是：将 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 作为输入特征并馈入分类器，如逻辑回归。然而，由于原始特征向量 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 非常稀疏和高维，该模型将很容易过拟合。因此，最好能在低维连续空间中表示原始输入特征。

   此外，如现有文献所示，利用高阶组合特征来产生良好的预测性能是至关重要的。

3. 定义 p 阶组合特征：给定输入特征向量 $\overrightarrow{\mathbf{x}}\in {\mathbb{R}}^n$$\mathbf{\vec x}\in \mathbb R^n$ ，一个 p 阶组合特征定义为 $g(x_{i_1},\cdots ,x_{i_p})$$g(x_{i_1},\cdots,x_{i_p})$ ，其中：每个特征来自于一个 distinct field，$p$$p$ 为涉及的 feature fields 的数量，$g(\cdot )$$g(\cdot)$ 是一个 non-additive 的组合函数，如乘法或外积。例如，$x_{i_1}\times x_{i_2}$$x_{i_1}\times x_{i_2}$ 为涉及field $x_{i_1},x_{i_2}$$x_{i_1},x_{i_2}$ 的二阶组合特征。

4. 传统上，有意义的高阶组合特征是由领域专家手工制作的。然而，这非常耗费时间，而且很难推广到其他领域。此外，几乎不可能手工制作出所有有意义的高阶特征。因此，我们的目标是开发一种能够自动发现有意义的高阶组合特征的方法，同时将所有这些特征映射到低维的连续空间。

   问题定义：给定一个用于CTR 预测的输入特征向量 $\overrightarrow{\mathbf{x}}\in {\mathbb{R}}^n$$\mathbf{\vec x}\in \mathbb R^n$ ，我们的目标是学习 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 的低维representation ，它建模了高阶组合特征。

5. 我们的方法的目标是：将原始稀疏的高维特征向量映射到低维空间，同时建模高阶特征交互。如下图所示：

   • 我们的方法将稀疏的特征向量 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 作为输入，然后是一个 embedding layer，将所有的特征（即 categorical 特征和数值特征）投影到同一个低维空间。

   • 接下来，我们将所有 field 的 embedding 馈入一个新的交互层 interacting layer ，该层被实现为一个多头自注意力神经网络。

     对于每个交互层，高阶特征通过注意力机制进行组合，不同种类的组合可以通过多头机制进行评估，这些多头机制将特征映射到不同的子空间。

   • 最后一个交互层的输出是输入特征的低维 representation ，它建模了高阶组合特征，并进一步通过一个 sigmoid 函数来估计 CTR。

   核心思想：将 Transformer Encoder Block 作用到 feature field embedding 上。

   

6. Input Layer：我们首先将用户画像和 item 属性表示为一个稀疏向量，它是所有 field 的拼接：

   $$\begin{array}{}\text{(1)}& \overrightarrow{\mathbf{x}}=[{\overrightarrow{\mathbf{x}}}_1\oplus {\overrightarrow{\mathbf{x}}}_2\oplus \cdots \oplus {\overrightarrow{\mathbf{x}}}_M]\end{array}$$

   其中：$M$$M$ 为 feature fields 的总数；${\overrightarrow{\mathbf{x}}}_i$$\mathbf{\vec x}_i$ 为第 $i$$i$ 个 field 的 feature ；$\oplus$$\oplus$ 为向量拼接。

   如果第 $i$$i$ 个 field 是 categorical 特征，则 ${\overrightarrow{\mathbf{x}}}_i$$\mathbf{\vec x}_i$ 为 one-hot 向量。如果第 $i$$i$ 个 field 是 numerical 特征，则 ${\overrightarrow{\mathbf{x}}}_i$$\mathbf{\vec x}_i$ 为标量。如下图所示。

   

7. Embedding Layer：我们用一个低维向量来表示每个 categorical 特征，即：

   $$\begin{array}{}\text{(2)}& {\overrightarrow{\mathbf{e}}}_i={\mathbf{V}}_i{\overrightarrow{\mathbf{x}}}_i\end{array}$$

   其中：${\mathbf{V}}_i$$\mathbf V_i$ 为 field $i$$i$ 的 embedding matrix；${\overrightarrow{\mathbf{x}}}_i$$\mathbf{\vec x}_i$ 为 field $i$$i$ 的 one-hot 向量。

   很多时候，categorical 特征可以是多值的，即，${\overrightarrow{\mathbf{x}}}_i$$\mathbf{\vec x}_i$ 是一个 multi-hot 向量。因此，我们将 multi-valued feature field 表示为相应 feature embedding vectors的平均值：

   $$\begin{array}{}\text{(3)}& {\overrightarrow{\mathbf{e}}}_i=\frac{1}{q}{\mathbf{V}}_i{\overrightarrow{\mathbf{x}}}_i\end{array}$$

   其中：$q$$q$ 为样本在第 $i$$i$ 个 field 的取值的数量，${\overrightarrow{\mathbf{x}}}_i$$\mathbf{\vec x}_i$ 是它的 multi-hot 向量。

   可以用更复杂的、有效的操作来代替均值操作。

   为了允许 categorical 特征和 numerical 特征之间的交互，我们也在同一个低维特征空间中表示 numerical 特征。我们将 numerical 特征表示为：

   $$\begin{array}{}\text{(4)}& {\overrightarrow{\mathbf{e}}}_m={\overrightarrow{\mathbf{v}}}_m{x}_m\end{array}$$

   其中： ${\overrightarrow{\mathbf{v}}}_m$$\mathbf{\vec v}_m$ 为 field $m$$m$ 的 embedding 向量，$x_m$$x_m$ 为一个标量。

   这里 ${\overrightarrow{\mathbf{v}}}_m$$\mathbf{\vec v}_m$ 在 field $m$$m$ 的所有取值上共享。

   最终，embedding layer 的输出将是多个嵌入向量的拼接。

8. Interacting Layer：我们采用注意力机制来确定哪些特征组合是有意义的。以特征 $m$$m$ 为例，我们首先定义在特定的注意头 $h$$h$ 下，特征 $m$$m$ 和特征 $k$$k$ 的相关性如下：

   $$\begin{array}{}\text{(5)}& {\alpha }_{m,k}^{(h)}=\frac{\exp \left({\psi }^{(h)}({\overrightarrow{\mathbf{e}}}_m,{\overrightarrow{\mathbf{e}}}_k)\right)}{\sum _{l=1}^M\exp \left({\psi }^{(h)}({\overrightarrow{\mathbf{e}}}_m,{\overrightarrow{\mathbf{e}}}_l)\right)},{\psi }^{(h)}({\overrightarrow{\mathbf{e}}}_m,{\overrightarrow{\mathbf{e}}}_k)=⟨{\mathbf{W}}_Q^{(h)}{\overrightarrow{\mathbf{e}}}_m,{\mathbf{W}}_K^{(h)}{\overrightarrow{\mathbf{e}}}_k⟩\end{array}$$

   其中：

   • ${\psi }^{(h)}(\cdot ,\cdot )$$\psi^{(h)}(\cdot,\cdot)$ 为注意力函数，它定义了特征 $m$$m$ 和 $k$$k$ 之间的相似性。可以通过神经网络或者简单的内积来定义注意力函数，这里我们使用内积的方式。
   • ${\mathbf{W}}_Q^{(h)},{\mathbf{W}}_K^{(h)}\in {\mathbb{R}}^{d^{\prime }\times d}$$\mathbf W_Q^{(h)}, \mathbf W_K^{(h)}\in \mathbb R^{d^\prime\times d}$ 为投影矩阵，它将原始的 embedding 空间投影到新的空间。$d$$d$ 为每个 field 的原始 embedding size，$d^{\prime }$$d^\prime$ 为投影后的 embedding size 。

   然后，我们通过 ${\alpha }_{m,k}^{(h)}$$\alpha_{m,k}^{(h)}$ 所指导的所有相关特征来更新特征 $m$$m$ 在子空间 $h$$h$ 中的 representation：

   $$\begin{array}{}\text{(6)}& {\widetilde{\overrightarrow{\mathbf{e}}}}_m^{(h)}=\sum _{k=1}^M{\alpha }_{m,k}^{(h)}{\mathbf{W}}_V^{(h)}{\overrightarrow{\mathbf{e}}}_k\end{array}$$

   其中 ${\mathbf{W}}_V^{(h)}\in {\mathbb{R}}^{d^{\prime }\times d}$$\mathbf W_V^{(h)}\in \mathbb R^{d^\prime\times d}$ 为投影矩阵。

   这其实就是标准的 Transformer Encoder Block：$\text{softmax}\left(\mathbf{Q}{\mathbf{K}}^{\mathrm{\top }}\right)\mathbf{V}$$\text{softmax}\left(\mathbf Q\mathbf K^\top\right) \mathbf V$ 。

   我们通过使用多个头来创建不同的子空间，分别学习不同的特征交互。我们收集在所有子空间学到的组合特征如下：

   $$\begin{array}{}\text{(7)}& {\widetilde{\overrightarrow{\mathbf{e}}}}_m={\widetilde{\overrightarrow{\mathbf{e}}}}_m^{(1)}\oplus {\widetilde{\overrightarrow{\mathbf{e}}}}_m^{(2)}\oplus \cdots \oplus {\widetilde{\overrightarrow{\mathbf{e}}}}_m^{(H)}\end{array}$$

   其中：$\oplus$$\oplus$ 为拼接操作，$H$$H$ 为总的头数。

   为了保留先前学到的组合特征，包括原始特征（即，一阶特征），我们在网络中加入了标准的残差连接：

   $$\begin{array}{}\text{(8)}& {\overrightarrow{\mathbf{e}}}_m^{\text{Res}}=\text{ReLU}({\widetilde{\overrightarrow{\mathbf{e}}}}_m+{\mathbf{W}}_{\text{Res}}{\overrightarrow{\mathbf{e}}}_m)\end{array}$$

   其中 ${\mathbf{W}}_{\text{Res}}\in {\mathbb{R}}^{d^{\prime }H\times d}$$\mathbf W_\text{Res}\in \mathbb R^{d^\prime H\times d}$ 为投影矩阵。

   标准的 Transformer 中也包含残差连接。

   通过这样的交互层，每个特征的 representation ${\overrightarrow{\mathbf{e}}}_m$$\mathbf{\vec e}_m$ 将被更新为一个新的、高阶的 representation ${\overrightarrow{\mathbf{e}}}_m^{\text{Res}}$$\mathbf{\vec e}_m^\text{Res}$ 。我们可以将多个这样的层堆叠起来，将前一个交互层的输出作为下一个交互层的输入。通过这样做，我们可以建模任意阶次的组合特征。

   这就是标准的 Transformer Encoder Block ，将其应用到 feature field embedding 上。

9. Output Layer：交互层的输出是一组特征向量 ${\left\{{\overrightarrow{\mathbf{e}}}_m^{\text{Res}}\right\}}_{m=1}^M$$\left\{\mathbf{\vec e}_m^\text{Res}\right\}_{m=1}^M$ 。对于最终的 CTR 预估，我们简单地将它们全部拼接起来，然后应用非线性投影：

   $$\begin{array}{}\text{(9)}& \hat{y}=\sigma ({\mathbf{w}}^{\mathrm{\top }}({\overrightarrow{\mathbf{e}}}_1^{\text{Res}}\oplus {\overrightarrow{\mathbf{e}}}_2^{\text{Res}}\oplus \cdots \oplus {\overrightarrow{\mathbf{e}}}_M^{\text{Res}})+b)\end{array}$$

   其中：$\mathbf{w}\in {\mathbb{R}}^{d^{\prime }HM}$$\mathbf w\in \mathbb R^{d^\prime HM}$ 为投影向量，$b$$b$ 为 bias ，$\sigma (x)=1/(1+\exp (-x))$$\sigma(x) = 1/(1+\exp(-x))$ 为 sigmoid 函数。

10. 训练：损失函数为 log loss：

    $$\begin{array}{}\text{(10)}& \mathcal{L}=-\frac{1}{N}\sum _{j=1}^N[y_j\log {\hat{y}}_j+(1-y_j)\log (1-{\hat{y}}_j)]\end{array}$$

    其中：$y_j$$y_j$ 为 ground-truth、${\hat{y}}_j$$\hat y_j$ 为预估的 CTR 、$N$$N$ 为样本数量。

26.2 分析

1. 建模任意阶次的组合特征：可以看到，AutoInt 是以 hierarchical 的方式学习特征交互，即从低阶交互到高阶交互，所有的低阶特征交互都由残差连接来承载。具体分析参考原始论文。

2. 空间复杂度：$O(Ld{d}^{\prime }H+nd)$$O(Ldd^\prime H + nd)$ ，其中 $L$$L$ 为交互层的层数。

   • embedding 层的参数规模为 $nd$$nd$ ，其中 $d$$d$ 为 embedding size，$n$$n$ 为输入特征的维度。
   • 交互层的参数为 $\{{\mathbf{W}}_Q^{(h)},{\mathbf{W}}_K^{(h)},{\mathbf{W}}_V^{(h)},{\mathbf{W}}_{\text{Res}}\}$$\left\{\mathbf W_Q^{(h)},\mathbf W_K^{(h)},\mathbf W_V^{(h)},\mathbf W_\text{Res}\right\}$，$L$$L$ 层交互层的参数数量为 $L\times (3d{d}^{\prime }+d^{\prime }Hd)$$L\times (3dd^\prime + d^\prime Hd)$ 。
   • 输出层的参数数量为 $d^{\prime }HM+1$$d^\prime HM + 1$ 。

   因此，总的空间复杂度为 $O(Ld{d}^{\prime }H+nd)$$O(Ldd^\prime H + nd)$ 。其中：$L$$L$ 为交互层的数量，$d$$d$ 为原始的 field embedding 维度，$d^{\prime }$$d^\prime$ 为投影后的 field embedding 维度，$H$$H$ 为投影子空间数量，$n$$n$ 为输入特征的维度（几乎等于所有 vocab size 的总和）。

   论文的结论是：空间复杂度几乎被交互层的参数所统治。结论不正确，实际上空间复杂度几乎是被 embedding table 所统治。

3. 时间复杂度：$O(MH{d}^{\prime }(M+d))$$O(MHd^\prime(M+d))$ 。

   • 一个 head 中，注意力权重的时间复杂度为 $O(Md{d}^{\prime }+M^2{d}^{\prime })$$O(Mdd^\prime + M^2d^\prime)$ 。
   • 然后，构建一个 head 中的组合特征的时间复杂度也是 $O(Md{d}^{\prime }+M^2{d}^{\prime })$$O(Mdd^\prime + M^2d^\prime)$。

   考虑有 $H$$H$ 个头，因此总的时间复杂度为 $O(MH{d}^{\prime }(M+d))$$O(MHd^\prime(M+d))$ 。其中：$M$$M$ 为 field 数量。

26.3 实验

1. 数据集：Criteo、Avazu、KDD12、MovieLens-1M 。

   • 我们对 MovieLens-1M 进行了二元化：我们将评分小于 3 的样本视为负样本，将评分大于 3 的样本视为正样本，并删除中性样本（即评分等于 3 的样本）。

   • 我们删除不经常出现的特征（出现次数少于阈值），并将其作为一个单一的特征 "<unknown>" ，其中阈值对Criteo、Avazu和 KDD12 数据集分别设置为 {10，5，10} 。

   • 由于数值特征可能有很大的方差，对机器学习算法造成伤害，我们采用 Criteo 竞赛的冠军提出的方案进行数值特征归一化：

     $$\begin{array}{}\text{(11)}& \begin{array}{c}z(x)=\{\begin{array}{ll}{\log }^2(x),& \text{ if }x>2\\ 2,& \text{ else}\end{array}\end{array}\end{array}$$

   • 我们随机选择 80% 的样本进行训练，并将剩下的样本随机分成大小相同的验证集和测试集。

   数据集的统计信息如下表所示。

   

2. 评估指标：AUC, Logloss 。

3. baseline 方法：

   • LR：仅建模原始特征的线性组合。
   • FM：使用因子化技术建模二阶特征交互。
   • AFM：通过注意力机制来区分二阶组合特征的重要性，从而扩展了 FM 。
   • DeepCrossing：采用带残差连接的深度全连接神经网络，以隐式的方式学习非线性的特征交互。
   • NFM：将深度神经网络堆叠在二阶特征交互层之上。通过神经网络隐式地捕获高阶特征。
   • CrossNet：CrossNet 是 Deep&Cross 的核心，它在 bit-wise level 上执行 concatenated 特征向量的外积，从而显式地建模特征交互。
   • CIN：Compressed Interaction Network: CIN 是 xDeepFM 模型的核心，在vector-wise level 上对堆叠的特征矩阵进行外积。
   • HOFM：提出了高效的 kernel-based 算法来训练高阶FM 。我们实现了一个三阶FM 。

4. 实现细节：

   • 对于 AutoInt 和所有 baseline 方法，我们根据经验将 embedding 维度 $d$$d$ 设置为16，batch size = 1024。

   • AutoInt 有三个交互层，隐单元的数量 $d^{\prime }=32$$d^\prime = 32$ 。在每个交互层中，注意力头的数量为 $H=2$$H=2$ 。

   • 为了防止过拟合，我们用网格搜索法在 {0.1 - 0.9} 范围内为 MovieLens-1M 数据集选择 dropout rate ，我们发现 dropout 对其他三个大数据集来说是没有必要的。

   • 对于 baseline 方法，我们按照他们的论文建议：

     • 在 NFM的 Bi-Interaction层上使用一个大小为 200 的隐藏层。
     • 对于 CN 和 CIN ，和 AutoInt 一样，我们使用三个交互层。
     • DeepCrossing 有四个前馈层，隐单元的数量为 100 ，因为它在使用三个前馈层时表现很差。

     一旦所有的网络结构都固定下来，我们还对 baseline 方法应用网格搜索，以获得最佳的超参数。

   • 我们使用 Adam 来优化所有基于深度神经网络的模型。

5. 模型效果：我们将 10 次不同运行的平均结果总结到下表，可以看到：

   • 探索二阶特征交互的 FM 和 AFM 在所有的数据集上都以很大的幅度超过 LR，这表明单个特征在 CTR 预估中是不够的。

   • 一个有趣的观察是：一些捕捉高阶特征交互的模型的劣势。例如：DeepCrossing 和 NFM 使用深度神经网络作为学习高阶特征交互的核心组件，但它们并不能保证比 FM 和 AFM 有更大的改进。这可能是由于它们是以隐式的方式学习特征交互的。相反，CIN 显式地做到了这一点，并持续优于低阶模型。

     此外，尽管 HOFM 可以学习比 FM 更高阶的特征交互，但是 HOFM 在 Avazu, KDD12 上的效果比 FM 更差。

   • AutoInt在四个真实世界的数据集中的三个上取得了最佳性能。在 Avazu 数据集上，CIN 在 AUC 评估中的表现比 AutoInt 好一点，但我们得到的 Logloss 更低。

     请注意，我们提出的 AutoInt 与 DeepCrossing 共享相同的结构，除了特征交互层，这表明使用注意力机制来学习显式的组合特征是至关重要的。

   

6. 模型效率：我们在下图中展示了不同算法在四个数据集上的运行时间。可以看到：

   • LR 由于其简单性而成为最高效的算法。
   • FM 和 NFM 在运行时间方面表现相似，因为 NFM 只在二阶交互层之上堆叠了一个前馈隐藏层。
   • 在所有列出的方法中，CIN 在所有 baseline 中实现了最好的预测性能，但由于其复杂的交叉层，它要耗费更多的时间。
   • AutoInt有足够的效率，这与高效算法 DeepCrossing 和 NFM 相当。

   

   我们还比较了不同模型的大小（即参数的数量），作为效率评估的另一个标准。如下表所示，与 baseline 模型中的最佳模型 CIN相比，AutoInt 的参数数量要小得多。

   综上所述，AutoInt 在所有 baseline 模型中取得了最好的性能。与最具竞争力的 baseline 模型 CIN相比，AutoInt 需要的参数要少得多，而且在在线推理过程中效率更高。

   

7. 消融研究：

   • 残差结构的影响：为了证明残差单元的贡献，我们把它们从标准模型中分离出来，并保持其他结构不变。如下表所示，如果去除残差连接，所有数据集的性能都会下降。

     

   • 网络深度的影响：我们考虑不同交互层的数量的影响。注意，当交互层的数量为零时，意味着不考虑组合特征。结果如下图所示。

     • 如果使用一个交互层，即考虑到特征交互，在两个数据集上的性能都会大幅提高，这表明组合特征对于预测来说是非常有参考价值的。
     • 随着交互层数量的进一步增加，即高阶组合特征被考虑在内，模型的性能进一步提高。
     • 当层数达到三层时，性能变得稳定，表明增加更高阶特征对预测没有参考价值。

     

   • embedding 维度的影响：我们考虑不同 $d$$d$ 的影响。结果如下图所示。

     

8. 可解释性：我们以 MovieLens-1M 数据集为例。

   • case-level：下图 (a) 展示了不同 field 的输入特征之间的相关性，这些相关性是由注意力得分得到的，其中该样本的 label = 1 。我们可以看到：AutoInt 能够识别出有意义的组合特征 <Gender=Male, Age=[18-24], MovieGenre=Action&Triller> （即红色的虚线矩形）。这是非常合理的，因为年轻男子很可能喜欢动作片和惊悚片。

     这种相关性是怎么计算的？如果是利用了 attention 矩阵，那么对于多个交互层，使用哪一层的结果？读者猜测是第一个交互层的 attention 矩阵。

   • global-level：下图 (b) 展示了不同 feature field 之间在整个数据中的平均注意力得分，从而衡量各 feature field 之间的相关性。可以看到：<Gender, Genre>, <Age, Genre>, <RequestTime, ReleaseTime>, <Gender, Age, Genre> 是强相关的（即，绿色的实心区域），这是推荐的可解释性规则。

     是考虑所有样本还是仅考虑正样本？读者猜测是仅考虑正样本。

   

9. 集成隐式交互：前馈神经网络能够建模隐式的特征交互，并被广泛集成到现有的 CTR 预测方法中。为了研究集成隐式的特征交互是否能进一步提高性能，我们通将 AutoInt 与两层前馈神经网络相结合（并行集成，而不是堆叠）。我们将这个联合模型命名为 AutoInt+ ，并将其与以下算法进行比较：Wide&Deep、DeepFM、Deep&Cross、xDeepFM 。

   结果如下表所示。可以看到：

   • 通过集成前馈神经网络，我们的方法在所有数据集上的性能都有所提高。这表明，集成隐式的特征交互确实提高了 AutoInt 的预测能力。

     然而，从最后两栏可以看出，与其他模型相比，性能提高的幅度相当小，表明我们的单个模型 AutoInt 是相当强大的。

   • 集成了隐式的特征交互之后，AutoInt+ 的性能超过了所有的 baseline 方法，并取得了新的 SOTA 的性能。

   

二十七、Fi-GNN[2019]

1. 建模复杂的特征交互，对CTR 预测的成功起到了核心作用。FM 是一个著名的模型，它通过向量内积来建模二阶特征交互。FFM 进一步考虑了 field 信息并引入了 field-aware embedding 。然而，这些 FM-based模型只能建模二阶交互。

   最近，许多基于深度学习的模型被提出来从而学习高阶特征交互，这些模型遵循一个通用的范式：简单地拼接 field embedding 向量，并将其馈入 DNN 或其他专门设计的模型，从而学习交互。例如 FNN, NFM, Wide&Deep, DeepFM 等。然而，这些基于 DNN 的模型都是以 bit-wise 的、隐式的方式来学习高阶特征交互，这缺乏良好的模型解释。

   一些模型试图通过引入专门设计的网络来显式地学习高阶交互。例如，Deep&Cross ]引入了 Cross Network: CrossNet ，xDeepFM 引入了压缩交互网络 Compressed Interaction Network: CIN 。尽管如此，它们仍然不够有效和显式，因为它们仍然遵循将 feature field 组合在一起的通用范式来建模交互。简单的 unstructured combination 将不可避免地限制了灵活地、显式地建模不同 feature field 之间复杂交互的能力。

   在论文 《Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction》 中，作者考虑了 multi-field feature 的结构。具体来说，作者用一个名为 feature graph 的图结构来表示 multi-field feature 。直观而言，图中的每个节点对应于一个 feature field ，不同 field 可以通过边进行交互。因此，建模 feature field之间复杂交互的任务可以转化为建模 feature graph 上的节点交互的任务。为此，作者在 Graph Neural Network: GNN 的基础上设计了一个新的 Feature interaction Graph Neural Network: Fi-GNN ，它能够以灵活的、显式的方式建模复杂的节点交互（即，特征交互）。在 Fi-GNN 中，节点将通过与邻居节点交流 node state 来进行交互，并以 recurrent 的方式更新自己。

   AutoInt 用 Transformer Encoder Block 建模 multi-field feature，而这里用 GNN 来建模 multi-field feature 。 Transformer Encoder Block 可以视为一个简单的 GNN 。

   在每一个 time step 中，模型与邻居节点进行 one-hop 的交互。因此， interaction step 的数量等同于特征交互的阶次。此外，在 feature graph 中，边的权重反映了不同 feature interaction 对于 CTR 预测的重要性，而节点的权重反映了每个 feature field 对于 CTR 预测的重要性。这可以提供很好的解释。

   总的来说，论文提出的模型能够以显式的、灵活的方式建模复杂的特征交互，并提供良好的可解释性。论文贡献如下：

   • 论文指出了现有工作的局限性，即把 multi-field feature 视为 feature field 的 unstructured combination 。为此，作者首次提出用图结构来表示 multi-field feature 。
   • 论文设计了一个新的模型 Feature interaction Graph Neural Network: Fi-GNN ，从而以更灵活的、显式的方式建模 graph-structured feature 上 feature field 之间的复杂交互。
   • 论文在两个真实世界的数据集上进行的广泛实验表明：所提出的方法不仅可以超越 SOTA 的方法，而且可以提供良好的模型解释。

2. 相关工作：

   • Feature Interaction in CTR Predict：建模特征交互是 CTR 预测成功的关键，因此在文献中得到了广泛的研究。

     • LR 是一种线性方法，它只能对原始单个特征的线性组合建模一阶交互。

     • FM 通过向量内积来建模二阶特征交互。之后，FM 的不同变体也被提出：

       • Field-aware factorization machine: FFM 考虑了 field 信息并引入了 field-aware embedding 。
       • AFM 考虑了不同二阶特征交互的权重。

       然而，这些方法只能建模二阶交互，这是不够的。

     随着 DNN 在各个领域的成功，研究人员开始用它来学习高阶特征交互，因为它有更深的结构和非线性激活函数。一般的范式是将 field embedding 向量拼接在一起，并将其馈入 DNN 来学习高阶特征交互。

     • 《A convolutional click prediction model》 利用卷积网络建模特征交互。
     • FNN 在应用 DNN 之前，在 field embedding 上使用预训练的 FM 。
     • PNN 通过在 field embedding layer 和 DNN layer 之间引入一个 product layer 来建模二阶交互和高阶交互。
     • 类似地，NFM 通过在 field embedding layer 和 DNN layer 之间引入一个 Bi-Interaction Pooling layer 来建模二阶交互，但是随后的操作是 sum 操作，而不是像 PNN 中的拼接操作。

     另一个方向上的一些工作试图通过混合架构来联合建模二阶交互和高阶交互：Wide&Deep 和 DeepFM 包含一个 wide 组件来建模低阶交互、一个 deep 组件来建模高阶交互。

     然而，所有这些利用 DNN 的方法都是以隐式的、 bit-wise 的方式学习高阶特征交互，因此缺乏良好的模型解释能力。 最近，一些工作试图通过专门设计的网络以显式的方式学习特征交互：

     • Deep&Cross 引入了一个在 bit-level 上对特征进行外积的 CrossNet 。
     • 相反，xDeepFM 引入了一个在 vector-level 对特征进行外积的 CIN 。

     然而，他们仍然没有解决最根本的问题，即把 field embedding 向量拼接起来。

     对 feature field 进行简单的 unstructured combination 将不可避免地限制了以灵活的、显式的方式建模不同 field 之间复杂交互的能力。为此，我们提出用图结构表示 multi-field feature ，每个节点代表一个 field ，不同的 feature field 可以通过边进行交互。因此，我们可以在图上建模不同 feature field 之间的灵活交互。

   • Graph Neural Network：图是一种数据结构，它对一组对象（节点）和它们的关系（边）进行建模。早期的工作通常将图结构的数据转换成序列结构的数据来处理。

     • 无监督的 DeepWalk 算法受 word2vec 的启发，用于学习基于 random walk 的 node embedding 。
     • 之后，LINE 算法保留了图的一阶结构信息和二阶结构信息。
     • node2vec 引入了一个有偏的随机行走。

     然而，这些方法的计算成本很高，而且对于大型图而言也不是最优的。图形神经网络（graph neural network: GNN ）就是为了解决这些问题而设计的，它是基于深度学习的方法，在 graph domain 上运行。现在已经有很多 GNN 的变种，这里我们只介绍一些有代表性的经典方法：

     • Gated Graph Neural Network: GGNN 使用 GRU 作为更新器。
     • Graph Convolutional Network: GCN 考虑了图的 spectral structure 并利用卷积聚合器。
     • GraphSAGE 考虑了空间信息，并引入了三种聚合器：mean aggregator, LSTM aggregator, Pooling aggregator 。
     • graph attention network: GAT 将注意力机制纳入消息传播步骤。

     由于 GNN 具有令人信服的性能和较高的可解释性，GNN 已经成为一种广泛应用的图分析方法。在这项工作中，我们提出了一个基于 GGNN 的模型 Fi-GNN 来为 CTR 预测建模特征交互。

27.1 模型

1. 假设训练数据集由 $m$$m$ 个 field 的 categorical feature 、以及表示用户点击行为的 label $y\in \{0,1\}$$y\in \{0,1\}$ 组成。CTR 预测任务是对输入特征（包含 $m$$m$ 个 field ）来预测用户点击的概率 $\hat{y}$$\hat y$ 。

   下图是我们所提出方法的概览（$m=4$$m=4$ ）：

   • 输入的 sparse m-field feature vector 首先被映射成稀疏的 one-hot 向量，然后通过 embedding layer 和 multi-head self-attention layer 嵌入到稠密的 field embedding 向量中。
   • 然后， field embedding 向量被表示为一个 feature graph ，其中每个节点对应于一个 feature field ，不同的 feature field 可以通过边进行交互。因此，建模交互的任务可以转换为建模 feature graph 上的节点交互。因此， feature graph 被馈入 Fi-GNN 从而建模节点交互。
   • 最后，在 Fi-GNN 的输出上应用一个 Attentional Scoring Layer来估计点击率 $\hat{y}$$\hat y$ 。

   这里的 Multi-head Self-Attention Layer 就是单层的 AutoInt，因此，Fi-GNN 相当于是 AutoInt 和 GNN 的堆叠。实验并没有表明 AutoInt 在这里的贡献，而且即使是 AutoInt + Fi-GNN，模型在所有数据集上的整体效果提升也不明显，因此论文价值不大。

   

2. Embedding Layer：我们将每个 field 表示为一个 ont-hot encoding 向量，然后将其嵌入到一个稠密向量中，记做 field embedding 向量 。$m$$m$ 个 field 的 field embedding 向量被拼接为（沿着 feature field 维度拼接）：

   $$\begin{array}{}\text{(12)}& \mathbf{E}={[{\overrightarrow{\mathbf{e}}}_1||{\overrightarrow{\mathbf{e}}}_2||\cdots ||{\overrightarrow{\mathbf{e}}}_m]}^{\mathrm{\top }}\in {\mathbb{R}}^{m\times d}\end{array}$$

   其中：${\overrightarrow{\mathbf{e}}}_i\in {\mathbb{R}}^d$$\mathbf{\vec e}_i \in \mathbb R^d$ 为 field $i$$i$ 的 embedding 向量，$d$$d$ 为 field embedding 向量的维度，$||$$||$ 为沿着 feature field 维度拼接。

3. Multi-head Self-attention Layer：我们利用多头自注意力机制来捕获不同语义子空间中的 pairwise 特征交互。

   遵从 《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》，给定 feature embedding 矩阵 $\mathbf{E}$$\mathbf E$ ，我们获取 feature representation ，它覆盖了 attention head $i$$i$ 中的 pairwise interaction ：

   $$\begin{array}{}\text{(13)}& \begin{array}{c}{\mathbf{H}}_i={\text{softmax}}_i\left(\frac{\mathbf{Q}{\mathbf{K}}^{\mathrm{\top }}}{{\sqrt{d}}_k}\right)\mathbf{V}\in {\mathbb{R}}^{m\times d_i}\\ \mathbf{Q}=\mathbf{E}{\mathbf{W}}_i^{(Q)},\mathbf{K}=\mathbf{E}{\mathbf{W}}_i^{(K)},\mathbf{V}=\mathbf{E}{\mathbf{W}}_i^{(V)}\end{array}\end{array}$$

   其中：${\mathbf{W}}_i^{(Q)},{\mathbf{W}}_i^{(K)},{\mathbf{W}}_i^{(V)}\in {\mathbb{R}}^{d\times d_i}$$\mathbf W_i^{(Q)}, \mathbf W_i^{(K)},\mathbf W_i^{(V)}\in \mathbb R^{d\times d_i}$ 为针对 attention head $i$$i$ 的权重矩阵，$d_i$$d_i$ 为 head $i$$i$ 的维度。

   然后，我们将学到的每个 head 的 feature representation 结合起来，以保留每个语义子空间中的 pairwise feature interaction ：

   $$\begin{array}{}\text{(14)}& {\mathbf{H}}^1=\text{ReLU}({\mathbf{H}}_1\oplus {\mathbf{H}}_2\oplus \cdots \oplus {\mathbf{H}}_h)\in {\mathbb{R}}^{m\times d^{\prime }}\end{array}$$

   其中：$\oplus$$\oplus$ 为拼接操作（沿着 embedding 维度），$h$$h$ 为 attention head 数量，$d^{\prime }=\sum _{i=1}^h{d}_i$$d^\prime = \sum_{i=1}^h d_i$ 为拼接后的 embedding 维度。

4. Feature Graph：与以往简单地将 field embedding 向量拼接在一起并将其馈入模型中从而学习特征交互所不同的是，我们用图结构来表示 feature field 。具体而言，我们将每个输入的 multi-field feature 表示为一个 feature graph $\mathcal{G}=(\mathcal{N},\mathcal{E})$$\mathcal G=(\mathcal N, \mathcal E)$，其中每个节点 $n_i\in \mathcal{N}$$n_i\in \mathcal N$ 对应一个 feature field $i$$i$ ，不同的 field 可以通过边进行交互，所以 $|\mathcal{N}|=m$$|\mathcal N| = m$。因此，建模特征交互的任务可以转换为建模图上节点交互的任务。

   每个样本对应一张图，因此这是一个 graph-level 分类任务（二分类）。

5. Feature Interaction Graph Neural Network：Fi-GNN 旨在以一种灵活的、显式的方式建模 feature graph 上的节点交互。在Fi-GNN 中，每个节点 $n_i$$n_i$ 都关联一个 hidden state ${\overrightarrow{\mathbf{h}}}_i^t$$\mathbf{\vec h}_i^t$，图的状态由这些节点的状态组成：

   $$\begin{array}{}\text{(15)}& {\mathbf{H}}^t=\{{\overrightarrow{\mathbf{h}}}_1^t,{\overrightarrow{\mathbf{h}}}_2^t,\cdots ,{\overrightarrow{\mathbf{h}}}_m^t\}\end{array}$$

   其中 $t$$t$ 表示 interaction step 。由多头自注意力层学到的 feature representation 作为图的初始状态 ${\mathbf{H}}^1$$\mathbf H^1$ 。

   如下图所示，节点以循环方式进行交互并更新其状态。在每一个 interaction step 中，节点聚合邻居节点的状态信息（经过变换之后），然后根据聚合信息、以及节点历史状态通过 GRU 和残差连接来更新节点状态。

   • State Aggregation：在 interaction step $t$$t$ ，每个节点将聚合来自邻居节点的状态信息。具体而言，节点 $n_i$$n_i$ 的聚合信息是其邻居节点的状态信息（转换之后）之和：

     $$\begin{array}{}\text{(16)}& {\overrightarrow{\mathbf{a}}}_i^t=\sum _{(j,i)\in \mathcal{E}}{A}_{j,i}{\mathbf{W}}_p{\overrightarrow{\mathbf{h}}}_j^{t-1}\end{array}$$

     其中：$A_{j,i}$$A_{j,i}$ 为邻接矩阵 $\mathbf{A}\in {\mathbb{R}}^{m\times m}$$\mathbf A\in \mathbb R^{m\times m}$ ，它表示从 $n_j$$n_j$ 指向 $n_i$$n_i$ 的边 $(j,i)$$(j,i)$ 的权重，反映了这两个节点之间交互的重要性；${\mathbf{W}}_p$$\mathbf W_p$ 是投影矩阵。

     显然，投影矩阵和邻接矩阵决定了节点之间的交互。由于每条边上的交互应该是不同的，我们的目标是建模边上的交互，这需要对每条边有一个 unique 的权重和投影矩阵。

     • 基于注意力的边权重：为了推断不同节点之间交互的重要性，我们建议通过注意力机制来学习边权重。具体而言，从节点 $n_i$$n_i$ 到 $n_j$$n_j$ 之间的边的权重通过它们的初始节点状态（即，field embedding 向量）来计算：

       $$\begin{array}{}\text{(17)}& w(n_i,n_j)=\frac{\exp \left(\text{LeakyRelu}\left({\mathbf{W}}_w[{\overrightarrow{\mathbf{e}}}_i\oplus {\overrightarrow{\mathbf{e}}}_j]\right)\right)}{\sum _k\exp \left(\text{LeakyRelu}\left({\mathbf{W}}_w[{\overrightarrow{\mathbf{e}}}_i\oplus {\overrightarrow{\mathbf{e}}}_k]\right)\right)}\end{array}$$

       其中：${\mathbf{W}}_w\in {\mathbb{R}}^{2d^{\prime }}$$\mathbf W_w\in \mathbb R^{2d^\prime}$ 为权重矩阵，$\oplus$$\oplus$ 表示拼接操作（沿着 embedding 维度）。利用 softmax 函数进行归一化，使不同节点的权重容易比较。

       最终邻接矩阵为：

       $$\begin{array}{}\text{(18)}& \begin{array}{c}{A}_{i,j}=\{\begin{array}{ll}w(n_i,n_j),& \text{ if }i\ne j\\ 0,& \text{else}\end{array}\end{array}\end{array}$$

       由于边的权重反映了不同交互的重要性，Fi-GNN 可以很好地解释输入样本的不同 feature field 之间的关系，这一点将在实验部分进一步讨论。

     • edge-wise 变换：如前所述，所有边上的固定的投影矩阵无法建模灵活的交互，对每个边进行 unique 的变换是必要的。然而，我们的图是完全图 complete graph （即，任意两个节点之间都存在边），因此包含大量的边。简单地给每条边分配一个 unique 的投影矩阵将消耗太多的参数空间和运行时间。为了减少时间和空间的复杂性，同时实现 edge-wise transformation ，我们为每个节点 $n_i$$n_i$ 分配一个输出矩阵 ${\mathbf{W}}_{\text{out}}^i$$\mathbf W_\text{out}^i$ 和一个输入矩阵 ${\mathbf{W}}_{\text{in}}^i$$\mathbf W_\text{in}^i$ 。如下图所示，当节点 $n_i$$n_i$ 向节点 $n_j$$n_j$ 发送其状态信息时，状态信息将首先被节点 $n_i$$n_i$ 输出矩阵 ${\mathbf{W}}_{\text{out}}^i$$\mathbf W^i_\text{out}$ 转换，然后在 $n_j$$n_j$ 接收之前被节点 $n_j$$n_j$ 的输入矩阵 ${\mathbf{W}}_{\text{in}}^i$$\mathbf W^i_\text{in}$ 转换。因此，从节点 $n_i$$n_i$ 到 $n_j$$n_j$ 的边 $(i,j)$$(i,j)$ 上的投影矩阵可以写作：

       $$\begin{array}{}\text{(19)}& {\mathbf{W}}_p^{i\to j}={\mathbf{W}}_{\text{in}}^j{\mathbf{W}}_{\text{out}}^i\end{array}$$

       因此聚合信息 ${\overrightarrow{\mathbf{a}}}_i^t$$\mathbf{\vec a}_i^t$ 可以重写为：

       $$\begin{array}{}\text{(20)}& {\overrightarrow{\mathbf{a}}}_i^t=\sum _{(j,i)\in \mathcal{E}}{A}_{j,i}{\mathbf{W}}_{\text{in}}^i{\mathbf{W}}_{\text{out}}^j{\overrightarrow{\mathbf{h}}}_j^{t-1}\end{array}$$

       这样一来，参数的数量与节点的数量成正比，而不是与边的数量成正比，这就大大降低了空间复杂性和时间复杂性，同时也实现了 edge-wise interaction 。

   • State Update ：聚合状态信息之后，节点将通过 GRU 和残差连接来更新状态向量。

     • 通过 GRU 进行状态更新：根据传统的 GGNN ，节点 $n_i$$n_i$ 的状态向量是根据节点 $n_i$$n_i$ 的聚合状态信息、以及节点在上一个 step 的状态通过 GRU 更新的：

       $$\begin{array}{}\text{(21)}& {\overrightarrow{\mathbf{h}}}_i^t=\text{GRU}({\overrightarrow{\mathbf{h}}}_i^{t-1},{\overrightarrow{\mathbf{a}}}_i^t)\end{array}$$

     • 通过残差连接进行状态更新：我们引入了额外的残差连接（来自初始状态），与 GRU 一起更新节点状态，这可以促进低阶特征重用和梯度反向传播：

       $$\begin{array}{}\text{(22)}& {\overrightarrow{\mathbf{h}}}_i^t=\text{GRU}({\overrightarrow{\mathbf{h}}}_i^{t-1},{\overrightarrow{\mathbf{a}}}_i^t)+{\overrightarrow{\mathbf{h}}}_i^1\end{array}$$

       注意，这里是 ${\overrightarrow{\mathbf{h}}}_i^1$$\mathbf{\vec h}_i^1$ 的残差连接，而不是 ${\overrightarrow{\mathbf{h}}}_i^{t-1}$$\mathbf{\vec h}_i^{t-1}$ 。

   

6. Attentional Scoring Layer：经过 $T$$T$ 个 propagation step 之后，我们得到了 final node state：

   $$\begin{array}{}\text{(23)}& {\mathbf{H}}^T=\{{\overrightarrow{\mathbf{h}}}_1^T,{\overrightarrow{\mathbf{h}}}_2^T,\cdots ,{\overrightarrow{\mathbf{h}}}_m^T\}\end{array}$$

   由于节点已经与它们的 $T$$T$ 阶邻居交互过，因此 Fi-GNN 建模了 $T$$T$ 阶特征交互。我们需要一个 graph-level output 来预测 CTR 。

   我们分别对每个 field 的 final state 预测一个得分，并通过注意力机制将它们相加，这个注意力机制衡量它们对整体预测的影响。正式地，每个节点 $n_i$$n_i$ 的预测得分、以及它的 attentional node weight 可以通过两个 MLP 分别得到：

   $$\begin{array}{}\text{(24)}& {\hat{y}}_i={\text{MLP}}_1\left({\overrightarrow{\mathbf{h}}}_i^T\right),a_i={\text{MLP}}_2\left({\overrightarrow{\mathbf{h}}}_i^T\right)\end{array}$$

   整体预测是所有节点的预测的加权和：

   $$\begin{array}{}\text{(25)}& \hat{y}=\sum _{i=1}^m{a}_i{\hat{y}}_i\end{array}$$

7. 训练：损失函数为 logloss，即：

   $$\begin{array}{}\text{(26)}& \mathcal{L}=-\frac{1}{N}\sum _{i=1}^N(y_i\log {\hat{y}}_i+(1-y_i)\log (1-{\hat{y}}_i))\end{array}$$

   其中：$N$$N$ 为总的训练样本数量；$y_i$$y_i$ 为第 $i$$i$ 个训练样本的 label；${\hat{y}}_i$$\hat y_i$ 为第 $i$$i$ 个训练样本的预测 CTR 。

   我们采用 RMSProp 优化器。此外，为了平衡正负样本比例，在训练过程中，对于每个 batch 我们随机选择相同数量的正样本和负样本。

27.2 实验

1. 数据集：Criteo, Avazu 。对于这两个数据集：

   • 我们移除了低频特征，并将低频特征替换为 "<unknown>" 。频次阈值分别为：Criteo 数据集为 10 、Avazu 数据集为 5 。即出现频次低于该阈值则移除。

   • 由于数值特征可能具有较大的方差，因此我们进行对数变换：

     $$\begin{array}{}\text{(27)}& \begin{array}{c}z=\{\begin{array}{ll}{\log }^2(x),& \text{ if }x>2\\ x,& \text{ else }\end{array}\end{array}\end{array}$$

     这是由 Criteo 竞赛的获胜者提出的。

   • 数据集以 8:1:1 的比例随机拆分为训练集、验证集、测试集。

   数据集的统计信息如下表所示。

   

2. 评估指标：AUC, LogLoss, Relative Improvement (RI) 。

   应该注意的是，对于真实世界的 CTR 任务来说，AUC 方面的微小改进被认为是显著的。为了估计我们的模型相对于 baseline 模型的相对改进，我们在此测量 RI-AUC 和 RI-Logloss：

   $$\begin{array}{}\text{(28)}& \text{RI-}X=\frac{|X(\text{model})-X(\text{base})|}{X(\text{base})}\times 100\mathrm{\%}\end{array}$$

   其中 X 为 AUC 或 LogLoss 。

3. baseline 方法：

   • LR：通过原始特征的线性组合来建模一阶特征交互。
   • FM：通过 field embedding 向量的内积来建模二阶特征交互。
   • AFM：是 FM 的一个扩展，利用注意力机制考虑不同二阶特征交互的权重。
   • DeepCrossing：利用具有残差连接的 DNN 以隐式的方式学习高阶特征交互。
   • NFM：利用 Bi-Interaction Pooling layer 来建模二阶特征交互，然后将拼接的二阶组合特征馈入 DNN 来建模高阶特征交互。
   • CrossNet(Deep&Cross)：是 Deep&Cross 模型的核心，它通过采用拼接的 feature vector 的外积，从而显式地在 bit-wise level 上建模特征交互。
   • CIN(xDeepFM) ：是 xDeepFM 模型的核心，它通过采用堆叠的 feature matrix 的外积，从而显式地在 vector-wise level 上建模特征交互。

4. 实现细节：我们使用 Tensorflow 实现我们的方法。最优超参数由网格搜索策略确定。baseline 的实现遵循 《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》 。

   • 对于所有方法， field embedding 向量的维度是 16 ， batch size = 1024 。
   • DeepCrossing 有四个前馈层，每层有 100 个隐单元。
   • NFM 在 Bi-Interaction layer 之上有一个大小为 200 的隐层，如原始论文中所推荐的。
   • CrossNet 和 CIN 都有三个交互层。
   • 所有实验都是在配备了 8 个 NVIDIA Titan X GPU 的服务器上进行的。

5. 不同模型的性能比较，如下表所示。可以看到：

   • LR 在这些 baseline 中效果最差，这证明了单个特征在 CTR 预测中是不够的。
   • 在所有数据集上，建模二阶特征交互的 FM 和 AFM 优于 LR ，这表明建模 feature field 之间的 pairwise 交互是有效的。此外，AFM 比 FM 具有更好的表现，证明了在不同交互上的注意力的有效性。
   • 建模高阶特征交互的方法大多优于建模二阶特征交互的方法。这表明二阶特征交互是不够的。
   • DeepCrossing 优于 NFM ，证明了残差连接在 CTR 预测中的有效性。
   • 在两个数据集上，Fi-GNN 在所有这些方法中取得了最好的性能，尤其是在 Criteo 数据集上。
   • Fi-GNN 在 Criteo 数据集上取得的相对改进，高于在 Avazu 数据集上取得的相对改进。这可能是因为 Criteo 数据集中有更多的 feature field ，可以更好地利用图结构的表达能力。

   

6. 消融研究：我们提出的 Fi-GNN 模型是基于 GGNN 的，在此基础上我们主要做了两个改进：

   • 通过 attentional edge weight 和 edge-wise transformation 实现 edge-wise node interaction。
   • 引入残差连接从而与 GRU 一起更新节点状态。

   为了评估两种改进的有效性，我们对比了三个变体：

   • Fi-GNN(-E/R)：同时没有上述两个改进的变体。
   • Fi-GNN(-E)：没有 edge-wise interaction: E 的变体。即，用二元邻接矩阵、以及所有边上共享的投影矩阵。
   • Fi-GNN(-R)：没有 residual connection: R 的变体。

   对比结果如下图 (a) 所示。可以看到：

   • Fi-GNN(-E) 的性能相比完整的 Fi-GNN 大幅下降，这表明建模 edge-wise interaction 是至关重要的。
   • Fi-GNN(-E) 取得了比 Fi-GNN(-E/R) 更好的性能，证明了残差连接确实可以提供有用的信息。
   • 完整的 Fi-GNN 优于三种变体，表明我们所做的两种改进，即残差连接和 edge-wise interaction ，可以联合提高性能。

   在 Fi-GNN 中，我们采用两种方法来实现 edge-wise node interaction ：attentional edge weight: W、edge-wise transformation: T 。为了进一步研究巨大的改进来自哪，我们比较了另外三个变体：

   • Fi-GNN(-W/T)：即 Fi-GNN-(E) 。
   • Fi-GNN(-W)：没有 attentional edge weight 。
   • Fi-GNN(-T)：没有 edge-wise transformation ，即所有边上共享投影矩阵。

   对比结果如下图 (b) 所示。可以看到：

   • Fi-GNN(-T) 和 Fi-GNN(-W) 都优于 Fi-GNN(-W/T) ，这证明了它们的有效性。
   • Fi-GNN(-W) 比 Fi-GNN(-T) 实现了更大的改进，这表明在建模 edge-wise interaction 方面， edge-wise transformation 比 attentional edge weight 更有效。这是非常合理的，因为投影矩阵应该比标量的 attentional edge weight 对 edge-wise interaction 有更强的影响。

   

7. 超参数研究：

   • state 维度 $d^{\prime }=\sum _{i=1}^h{d}_i$$d^\prime = \sum_{i=1}^h d_i$ 的影响：模型性能随着 $d^{\prime }$$d^\prime$ 的增加先升后降，在维度分别为 32 （Avazu 数据集）、64 （Criteo 数据集）时性能最佳。这是合理的，因为 Criteo 数据集更复杂，需要更大的维度来保持足够的信息。

     没有考虑 attention head 的影响？

   • interaction step $T$$T$ 的影响：interaction step等于特征交互的最高阶次。模型性能随着 $T$$T$ 的增加先升后降，在特征交互的最高阶次分别为 2 （Avazu 数据集）、3 （Criteo 数据集）时性能最佳。这是合理的，因为 Avazu 数据集有 23 个 feature field、Criteo 数据集有 39 个 feature field 。因此，Criteo 数据集需要更多的 interaction step 来使 field node 与feature graph 中的其他节点完全交互。

   

8. 模型可解释性：我们在 feature graph 的边上和节点上都应用了注意力机制，分别得到了 attentional edge weight 和 attentional node weight ，可以从不同的角度给出解释。

   Multi-head Self-attention Layer 捕获的 pair-wise 交互是否也是可解释的？论文并没有说明这一点。

   • attentional edge weight ：attentional edge weight 反映了两个相连的 field node 之间交互的重要性，也反映了两个feature field 之间的关系。下图展示了 Avazu 数据集中所有样本的全局平均邻接矩阵的热力图，它可以在全局水平上反映不同 field 之间的关系。 由于有一些 field 是匿名的，我们只显示剩余的 13 个具有真实含义的 feature field 。

     可以看到：

     • 一些 feature field 倾向于与其他 field 有很强的关系，例如 site_category 和 site_id 。这是有意义的，因为两个 feature field 都对应于投放广告的网站。
     • hour 是另一个与其他 field 有密切关系的特征。这是合理的，因为Avazu 专注于移动场景，用户可以在一天的任何时间在线冲浪。上网时间对其他的广告特征有很大的影响。
     • 另一方面，device_ip 和 device_id 似乎与其他 feature field 的关系较弱。这可能是因为它们几乎等同于 user id ，相对固定，不易受其他特征的影响。

     

   • attentional node weight ：attentional node weight 反映了 feature field 对整体预测分数的影响的重要性。下图显示了 global-level 和 case-level 的 attentional node weight 的热力图。左边的是 Avazu 数据集中所有样本的全局平均值，右边的是Avazu 数据集中随机选择的四个样本（预测分数分别为 [0.97, 0.12, 0.91, 0.99]，标签分别为 [1, 0, 1, 1] ）。

     • 在 global level ，我们可以看到 featuer field app_category 对点击行为的影响最大。这是合理的，因为 Avazu 专注于移动场景，而 app 是最重要的因素。
     • 在 case level ，我们观察到，在大多数情况下，最终的点击行为主要取决于一个关键的 feature field 。

     

二十八、FwFM[2018]

1. CTR 预估所涉及的数据通常是 multi-field categorical data，这类数据具有以下特性：

   • 首先，所有的特征都是 categorical 的，并且是非常稀疏的，因为其中许多是 id 。因此，特征的总数很容易达到数百万或数千万。
   • 其次，每个特征都唯一地属于一个 field ，而且可能有几十到几百个 field 。

   下表是一个用于 CTR 预估的现实世界 multi-field categorical data set 的例子。

   

   multi-field categorical data 的特性对建立有效的机器学习模型进行 CTR 预测提出了几个独特的挑战：

   • 特征交互feature interaction 是普遍存在的，需要专门建模。在和标签关联方面，特征拼接 feature conjunction 与单个特征不同。例如，nba.com 上展示的耐克广告的点击率，通常比所有网站上耐克广告的平均点击率、或 nba.com 上展示的所有广告的平均点击率高很多。这种现象在文献中通常被称为特征交互。
   • 来自一个 field 的特征往往与来自其他不同 field 的特征有不同的交互。例如，我们观察到，来自 field GENDER 的特征通常与 field ADVERTISER 的特征有很强的交互，而它们与 field DEVICE_TYPE 的特征交互却相对较弱。这可能是由于具有特定性别的用户更偏向于他们正在观看的广告，而不是他们正在使用的设备类型。
   • 需要注意潜在的高模型复杂性。由于实践中通常有数以百万计的特征，模型的复杂性需要精心设计和调整，以适应模型到内存中。

   为了解决这些挑战的一部分，研究人员已经建立了几个解决方案，Factorization Machine: FM 和 Field-aware Factorization Machine: FFM 是其中最成功的：

   • FM 通过将 pairwise 特征交互的影响建模为两个 embedding 向量的内积来解决第一个挑战。然而， field 信息在 FM 中根本没有被利用。
   • 最近，FFM 已经成为 CTR 预估中表现最好的模型之一。FFM 为每个特征学习不同的 embedding 向量，从而用于当特征与其他不同 field 的特征进行交互。通过这种方式，第二个挑战被显式地解决了。然而，FFM 的参数数量是特征数量乘以 field 数量的数量级，很容易达到数千万甚至更多。这在现实世界的生产系统中是不可接受的。

   在论文 《Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising》 中，作者引入了 Field-weighted Factorization Machines: FwFM 来同时解决所有这些挑战。论文贡献：

   • 经验表明，不同的 field pairs 与 label 的关联程度明显不同。按照同样的惯例，论文称它为 field pair interaction 。
   • 基于上述观察，论文提出了 Field-weighted Factorization Machine: FwFM 。通过引入和学习 field pair weight matrix ，FwFM 可以有效地捕获 field pair interaction 的异质性。此外，FwFM 中的参数比 FFM 中的参数少几个数量级，这使得 FwFM 成为现实世界生产系统中的首选。
   • FwFM 通过用 embedding vector representation 取代线性项的 binary representation 而得到进一步的增强。这种新的处理方法可以有效地帮助避免过拟合，提高预测性能。
   • 论文在两个真实世界的 CTR 预估数据集上进行了综合实验，以评估 FwFM 与现有模型的性能。实验结果表明：FwFM 仅用FFM 的 4% 的参数就能达到有竞争力的预测性能。当使用相同数量的参数时，FwFM 比 FFM 的 AUC 提升了 0.9% 。

28.1 模型

1. 假设有 $m$$m$ 个 unique 特征 $\{f_1,\cdots ,f_m\}$$\{f_1,\cdots,f_m\}$，以及 $n$$n$ 个不同的 fields $\{F_1,\cdots ,F_n\}$$\{F_1,\cdots,F_n\}$ 。每个特征 $f_i$$f_i$ 仅属于一个 field，记做 $F(i)$$F(i)$ 。

   给定数据集 $\mathcal{S}={\{y^{(s)},{\overrightarrow{\mathbf{x}}}^{(s)}\}}_{s=1}^N$$\mathcal S = \left\{y^{(s)},\mathbf{\vec x}^{(s)}\right\}_{s=1}^N$ ，其中： $y^{(s)}\in \{1,-1\}$$y^{(s)}\in \{1,-1\}$ 为 label 表示是否点击； ${\overrightarrow{\mathbf{x}}}^{(s)}\in \{0,1{\}}^m$$\mathbf{\vec x}^{(s)}\in \{0,1\}^m$ 为二元特征向量，$x_i^{(s)}=1$$x_i^{(s)}=1$ 表示特征 $f_i$$f_i$ 是 active 的。

   例如，假设有两个 field ：性别、学历，那么 $n=2$$n=2$ 。假设有六个特征：$f_1=\text{男}\text{性},f_2=\text{女}\text{性},f_3=\text{博}\text{士},f_4=\text{硕}\text{士},f_5=\text{本}\text{科},f_6=\text{本}\text{科}\text{以}\text{下}$$f_1= 男性,f_2= 女性,f_3=博士,f_4=硕士,f_5=本科,f_6=本科以下$ ，那么 $f_1,f_2$$f_1,f_2$ 属于性别这个 field， $f_3\sim f_6$$f_3\sim f_6$ 属于学历这个 field，它们的取值都是 0 或 1 。

   • LR 模型为：

     $$\begin{array}{}\text{(29)}& \underset{\overrightarrow{\mathbf{w}}}{min}\lambda \parallel \overrightarrow{\mathbf{w}}{\parallel }_2^2+\sum _{s=1}^N\log (1+\exp (-y^{(s)}{\mathrm{\Phi }}_{\text{LR}}(\overrightarrow{\mathbf{w}},{\overrightarrow{\mathbf{x}}}^{(s)})))\end{array}$$

     其中：$\lambda$$\lambda$ 为正则化系数，$\overrightarrow{\mathbf{w}}$$\mathbf{\vec w}$ 为模型权重，${\mathrm{\Phi }}_{\text{LR}}(\overrightarrow{\mathbf{w}},\overrightarrow{\mathbf{x}})=w_0+\sum _{i=1}^m{x}_i{w}_i$$\Phi_\text{LR}(\mathbf{\vec w}, \mathbf{\vec x}) = w_0 + \sum_{i=1}^m x_iw_i$ 。

     注意，因为这里将 label 取值空间设为 {1, -1} 而不是 {1, 0} ，因此这个损失函数与交叉熵不同，而是指数损失函数。

   • Poly2：然而，线性模型对于诸如 CTR 预估这样的任务来说是不够的，在这些任务中，特征交互是至关重要的。解决这个问题的一般方法是增加 feature conjunction 。已有研究表明，Degree-2 Polynomial: Poly2 模型可以有效地捕获特征交互。Poly2 模型考虑将 ${\mathrm{\Phi }}_{\text{LR}}$$\Phi_\text{LR}$ 替换为：

     $$\begin{array}{}\text{(30)}& {\mathrm{\Phi }}_{\text{Poly2}}(\overrightarrow{\mathbf{w}},\overrightarrow{\mathbf{x}})=w_0+\sum _{i=1}^m{x}_i{w}_i+\sum _{i=1}^m\sum _{j=i+1}^m{x}_i{x}_j{w}_{h(i,j)}\end{array}$$

     其中：$h(i,j)$$h(i,j)$ 是一个哈希函数，它将 $i$$i$ 和 $j$$j$ 哈希到位于哈希空间 $\mathcal{H}$$\mathcal H$ 中的一个自然数，从而减少参数规模。否则，模型中的参数数量将达到 $O(m^2)$$O(m^2)$ 的数量级。

   • FM：Factorization Machine: FM 为每个特征学习一个 embedding 向量 ${\overrightarrow{\mathbf{v}}}_i\in {\mathbb{R}}^K$$\mathbf{\vec v}_i\in \mathbb R^K$ ，其中 $K$$K$ 为一个小的整数（如 $K=10$$K=10$ ）。FM 将两个特征 $i$$i$ 和 $j$$j$ 之间的交互建模为它们相应的 embedding 向量 ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$ 和 ${\overrightarrow{\mathbf{v}}}_j$$\mathbf{\vec v}_j$ 之间的内积：

     $$\begin{array}{}\text{(31)}& {\mathrm{\Phi }}_{\text{FM}}((\overrightarrow{\mathbf{w}},\mathbf{v}),\overrightarrow{\mathbf{x}})=w_0+\sum _{i=1}^m{x}_i{w}_i+\sum _{i=1}^m\sum _{j=i+1}^m{x}_i{x}_j<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>\end{array}$$

     其中：$<\cdot ,\cdot >$$<\cdot,\cdot>$ 为向量的内积。

     在涉及稀疏数据的应用中（如 CTR 预估），FM 的表现通常优于 Poly2 模型。原因是，只要特征本身在数据中出现的次数足够多，FM 总能为每个特征学习到一些有意义的 embedding 向量，这使得内积能很好地估计两个特征的交互效应 interaction effect ，即使两个特征在数据中从未或很少一起出现。

   • FFM：然而，FM 忽略了这样一个事实：当一个特征与其他不同 field 的特征交互时，其行为可能是不同的。Field-aware Factorization Machines: FFM 通过为每个特征（如 $i$$i$ ）学习 $n-1$$n-1$ 个 embedding 向量来显式地建模这种差异，并且只使用相应的 embedding 向量 ${\overrightarrow{\mathbf{v}}}_{i,F(j)}$$\mathbf{\vec v}_{i,F(j)}$ 与来自 field $F(j)$$F(j)$ 的另一个特征 $j$$j$ 交互：

     $$\begin{array}{}\text{(32)}& {\mathrm{\Phi }}_{\text{FM}}((\overrightarrow{\mathbf{w}},\mathbf{v}),\overrightarrow{\mathbf{x}})=w_0+\sum _{i=1}^m{x}_i{w}_i+\sum _{i=1}^m\sum _{j=i+1}^m{x}_i{x}_j<{\overrightarrow{\mathbf{v}}}_{i,F(j)},{\overrightarrow{\mathbf{v}}}_{j,F(i)}>\end{array}$$

     虽然 FFM 比 FM 有明显的性能改进，但其参数数量是 $O(mnK)$$O(mnK)$ 的数量级。在现实世界的生产系统中，FFM 的巨大参数数量是不可取的。因此，设计具有竞争力的和更高内存效率的替代方法是非常有吸引力的。

2. field pair 的交互强度：我们特别感兴趣的是，在 field level ，交互强度是否不同。即，不同 feature pair 的平均交互强度是否不同。这里的平均交互强度指的是：给定一个 field pair，它包含的所有 feature pair 的平均交互强度。

   例如，在CTR 预估数据中，来自 field ADVERTISER 的特征通常与来自 field PUBLISHER 的特征有很强的交互，因为 advertiser 通常针对一群有特定兴趣的人，而 PUBLISHER 的受众自然也是按兴趣分组的。另一方面， field HOUR_OF_DAY 的特征往往与 field DAY_OF_WEEK 的特征没有什么交互，这不难理解，因为凭直觉，它们的交互对点击量没有什么贡献。

   为了验证 field pair interaction 的异质性，我们使用 field pair $(F_k,F_l)$$(F_k,F_l)$ 和标签变量 $Y$$Y$ 之间的互信息来量化 field pair 的交互强度：

   $$\begin{array}{}\text{(33)}& \text{MI}((F_k,F_l),Y)=\sum _{(i,j)\in (F_k,F_l)}\sum _{y\in Y}p((i,j),y)\log \frac{p((i,j),y)}{p(i,j)p(y)}\end{array}$$

   其中：

   • $p(i,j)$$p(i,j)$ 表示所有样本中，特征 $f_i=1$$f_i=1$ 且特征 $f_j=1$$f_j=1$ 的概率。
   • $p(y)$$p(y)$ 表示所有样本中， $y=1$$y=1$ 的概率。
   • $p((i,j),y)$$p((i,j), y)$ 表示所有样本中，特征 $f_i=1$$f_i=1$ 且特征 $f_j=1$$f_j=1$ 且 $y=1$$y=1$ 的概率。

   下图是每个 field pair 和标签之间的互信息的可视化，由 Oath CTR 数据计算得出。不出所料，不同 field pair 的交互强度是相当不同的。一些 field pair 有非常强的交互，如 (AD_ID，SUBDOMAIN)、(CREATIVE_ID，PAGE_TLD)，而其他一些 field pair 有非常弱的交互，如 (LAYOUT_ID，GENDER)、(Day_OF_WEEK，AD_POSITION_ID) 。

   虽然分析结果并不令人惊讶，但我们注意到，现有的模型都没有考虑到这种 field level interaction 的异质性 。这促使我们建立一个有效的机器学习模型来捕获不同 field pair 的不同交互强度。

   

3. FwFM：我们提出对不同 field pair 的不同交互强度进行显式的建模，其中 feature pair $(i,j)$$(i,j)$ 的交互被建模为：

   $$\begin{array}{}\text{(34)}& x_i{x}_j<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>r_{F(i),F(j)}\end{array}$$

   其中：$r_{F(i),F(j)}\in \mathbb{R}$$r_{F(i),F(j)}\in \mathbb R$ 是用于建模 field pair $(F(i),F(j))$$(F(i),F(j))$ 之间交互强度的权重。

   核心要点：在 FM 基础上乘以 $r_{F(i),F(j)}$$r_{F(i),F(j)}$ 。实现简单，效果好。

   进一步地，我们是否可以在 field 的概念之上继续遵循这种做法。比如，可以把 field 进行分组：用户年龄、性别等等 field 是一组，item 类别、品牌等等是另一组、用户历史行为序列是其它一组，然后设定 field group 的权重：

   $$\begin{array}{}\text{(35)}& x_i{x}_j<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>r_{F(i),F(j)}\times r_{G(i),G(j)}\end{array}$$

   其中 $r_{G(i),G)j}$$r_{G(i),G)j}$ 为 field group 之间的权重。

   我们将得到的模型称为 Field-weighted Factorization Machine: FwFM 。

   • 模型复杂度：FM 的参数数量为 $m+mK$$m+mK$ ，其中 $m$$m$ 为线性部分的参数数量，$mK$$mK$ 为 embedding 向量的参数数量。FwFM 使用了额外的 $n(n-1)/2$$n(n-1)/2$ 个参数用于每个 field pair，因此总的参数数量为 $m+mK+n(n-1)/2$$m+mK+n(n-1)/2$ 。相比之下，FFM 的参数数量为 $m+m(n-1)K$$m+m(n-1)K$ ，因为每个特征有 $n-1$$n-1$ 个 embedding 向量。

     考虑到通常 $n\ll m$$n\ll m$ ，因此 FwFM 的参数与 FM 相当，显著少于 FFM 。

     

   • 线性项：我们认为，embedding 向量 ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$ 捕获到关于特征 $i$$i$ 的更多信息，因此我们提出使用 $x_i{\overrightarrow{\mathbf{v}}}_i$$x_i\mathbf{\vec v}_i$ 来在线性项中代表每个特征。

     我们为每个特征学习一个线性权重 ${\overrightarrow{\mathbf{w}}}_i$$\mathbf{\vec w}_i$ ，因此 FwFM 的线性项变为：

     $$\begin{array}{}\text{(36)}& \sum _{i=1}^m{x}_i<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{w}}}_i>\end{array}$$

     这需要 $mK$$mK$ 个参数。因此，FwFM 的总参数数量为 $2mK+n(n-1)/2$$2mK + n(n-1)/2$ ，记做 FwFM_FeLV 。

     这相当于为每个特征学习两个 embedding：embedding ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$ 用于建模特征交互，embedding ${\overrightarrow{\mathbf{w}}}_i$$\mathbf{\vec w}_i$ 用于建模线性项。好处有两个：

     • 首先，这种方法的表达能力更强。
     • 其次，实现起来更简单。原始的线性项需要把特征表示成 sparse 形式从而节省内存和计算量（大量的零存在），在实现的时候需要特殊的逻辑（稀疏张量的转换和计算）。而这里直接用 embedding lookup，与现有的逻辑保持一致。

     或者，我们为每个 field 学习一个线性权重 ${\overrightarrow{\mathbf{w}}}_{F(i)}$$\mathbf{\vec w}_{F(i)}$ ，此时线性项变为：

     $$\begin{array}{}\text{(37)}& \sum _{i=1}^m{x}_i<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{w}}}_{F(i)}>\end{array}$$

     此时总的参数数量为 $nK+mK+n(n-1)/2$$nK+mK + n(n-1)/2$ ，记做 FwFM_FiLV 。

     这相当于为每个 field 学习一个 embedding 。

     原始线性权重的 FwFM 记做 FwFM_LW 。

     或者我们是否可以用 $w_i=\sum _{s=1}^d{v}_{i,d}$$w_i = \sum_{s=1}^dv_{i,d}$ 来作为权重？这相当于将 ${\overrightarrow{\mathbf{w}}}_{F(i)}$$\mathbf{\vec w}_{F(i)}$ 固定为全 1 的向量，一定程度上降低了参数规模同时缓解过拟合。原因如下：考虑 $<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{w}}}_i>+<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>+<{\overrightarrow{\mathbf{v}}}_j,{\overrightarrow{\mathbf{w}}}_j>$$<\mathbf{\vec v}_i, \mathbf{\vec w}_i> + <\mathbf{\vec v}_i, \mathbf{\vec v}_j> + <\mathbf{\vec v}_j, \mathbf{\vec w}_j>$ ，如果 $\overrightarrow{\mathbf{v}}$$\mathbf{\vec v}$ 放大 $10$$10$ 倍、$\overrightarrow{\mathbf{w}}$$\mathbf{\vec w}$ 缩小 $10$$10$ 倍，则结果完全相同。因此这种方式的自由度太大，需要打破这种对称性，例如： $<{\overrightarrow{\mathbf{v}}}_i,\overrightarrow{\mathbf{1}}>+<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>+<{\overrightarrow{\mathbf{v}}}_j,\overrightarrow{\mathbf{1}}>$$<\mathbf{\vec v}_i, \mathbf{\vec 1}> + <\mathbf{\vec v}_i, \mathbf{\vec v}_j> + <\mathbf{\vec v}_j, \mathbf{\vec 1}>$ ，此时 $\overrightarrow{\mathbf{v}}$$\mathbf{\vec v}$ 方法或缩小会完全影响最终结果。

     在后面的实验部分，确实发现参数更少的 FwFM_FiLV 的测试 AUC 更高。那么是否 ${\overrightarrow{\mathbf{w}}}_{F(i)}$$\mathbf{\vec w}_{F(i)}$ 固定为全 1 的向量时效果还要好？

28.2 实验

1. 数据集：

   • Criteo CTR 数据集：我们将数据按 60%: 20%: 20% 随机分成训练集、验证集和测试集。

   • Oath CTR 数据集：我们使用两周的点击日志作为训练集，下一天的数据作为验证集、下下一天的数据作为测试集。

     对于 Oath CTR 数据集，正样本的比例通常小于 1% 。我们对负样本进行降采样，使正负样本更加平衡。对验证集和测试集不做降采样，因为评估应该在反映实际流量分布的数据集上进行。

   对于这两个数据集，我们过滤掉所有在训练集中出现少于 $\tau$$\tau$ 次的特征，用一个 NULL 特征代替，其中 $\tau$$\tau$ 在 Criteo 数据集中被设置为20 ，在 Oath 数据集中为10 。

   这两个数据集的统计数字如下表所示：

   

2. 实现：我们使用 LibLinear来训练 Poly2 ，并使用哈希技巧将 feature conjunctions 哈希到 ${10}^7$$10^7$ 的哈希空间。所有其他的模型都在 Tensorflow 中实现。Tensorflow 中 FwFM 的结构如下图所示。

   输入是一个稀疏的二元向量 $\overrightarrow{\mathbf{x}}\in {\mathbb{R}}^m$$\mathbf{\vec x}\in \mathbb R^m$，只有 $n$$n$ 个非零项，因为有 $n$$n$ 个field 。对每个样本而言每个 field 都有一个且只有一个活跃的特征。

   

3. FwFM 和已有模型的比较：我们评估了带原始线性项的 FwFM ，即 FwFM_LW 。对于所有的超参数，我们在验证集上进行调优，然后在测试集上进行评估。可以看到：

   • 在两个数据集上，FwFM 都能取得比 LR、Poly2 和 FM 更好的性能。这种改进来自于 FwFM 显式地建模了 field pair 的不同交互强度。
   • FFM 总是在验证集和测试集上获得最佳性能。然而，FwFM 的性能相比 FFM 具有相当的竞争力。

   

4. FwFM 与 FFM 在具有相同参数规模的情况下的比较：

   FFM的一个关键缺点是其参数数量在 $O(mnK)$$O(mnK)$ 的规模。有两种解决方案可以减少 FFM 的参数数量：使用较小的 $K$$K$ 、或者使用哈希技巧（具有较小的哈希空间 $\mathcal{H}$$\mathcal H$ ）。《Field-aware factorization machines in a real-world online advertising system》 提出对 FFM 使用较小的 $K_{\text{FFM}}=2$$K_\text{FFM} = 2$ ，以及通过使用较小的哈希空间 ${\mathcal{H}}_{\text{FFM}}$$\mathcal H_\text{FFM}$ 从而将参数规模进一步减少到 $O(n{m}_{\text{FFM}}{K}_{\text{FFM}})$$O(nm_\text{FFM}K_\text{FFM})$ 。

   这里我们通过选择合适的 $K_{\text{FFM}}$$K_\text{FFM}$ 和 ${\mathcal{H}}_{\text{FFM}}$$\mathcal H_\text{FFM}$ ，使得 FFM 和 FwFM 的参数数量相同。我们不计算线性项的参数，因为它们与交互项的数量相比可以忽略。我们选择 $K_{\text{FwFM}}=10$$K_\text{FwFM} = 10$ 、$K_{\text{FFM}}=2$$K_\text{FFM} = 2$ 以及 $K_{\text{FFM}}=4$$K_\text{FFM} = 4$ 。实验结果如下表所示。可以看到：当使用相同数量的参数时，FwFM 在 Criteo 和Oath 数据集的测试集上得到更好的表现，提升幅度分别为 0.70% 和 0.45% 。

   

5. 具有不同线性项的 FwFM：下表给出了不同线性项的 FwFM 的性能。可以看到：

   • FwFM_LW 和 FwFM_FeLV 在训练和验证集上比 FwFM_FiLV 能取得更好的性能。原因是这两个模型的线性项（$m$$m$ 和 $mK$$mK$ ）比FwFM_FiLV （$nK$$nK$ ）有更多的参数，所以它们能比 FwFM_FiLV 更好地拟合训练集和验证集。
   • 然而，FwFM_FiLV 在测试集上得到了最好的结果，这表明它有更好的泛化性能。
   • 此外，当我们使用相同数量的参数将 FwFM_FiLV 与 FFM 进行比较时，在Oath 数据集和Criteo 数据集上的AUC 提升分别为0.92% 和 0.47% 。

   

6. 超参数调优：以下所有的评估都是 FwFM_FiLV 模型在 Oath 验证集上进行的。

   • L2 正则化系数 $\lambda$$\lambda$ ：如 Figure3 所示，$\lambda ={10}^{-5}$$\lambda =10^{-5}$ 在验证集上得到最好的性能。

     正则化系数作用于所有的 parameters 。

   • 学习率 $\eta$$\eta$：如 Figure4 所示，我们选择 $\eta ={10}^{-4}$$\eta = 10^{-4}$ 。

   • embedding 维度 $K$$K$ ：如下表所示，我们选择 $K=10$$K=10$ 。

   

   

7. 学到的 field 交互强度：这里我们比较了 FM、FFM 和 FwFM 在捕获不同 field pair 的交互强度方面的能力。我们的结果表明，由于 field pair 交互权重 $r_{F_k,F_l}$$r_{F_k,F_l}$ 的存在，FwFM 可以比 FM 和 FFM 更好地建模交互强度。

   field pair 的交互强度通过互信息（ field pair 和标签之间的互信息 $\text{MI}((F_k,F_l),Y)$$\text{MI}((F_k,F_l),Y)$ ）进行量化，并在 Figure 5(a) 中通过热力图进行了可视化。

   为了衡量学到的 field 交互强度，我们定义了以下指标：

   $$\begin{array}{}\text{(38)}& \frac{\sum _{(i,j)\in (F_k,F_l)}I(i,j)\times \mathrm{\#}(i,j)}{\sum _{(i,j)\in (F_k,F_l)}\mathrm{\#}(i,j)}\end{array}$$

   其中：

   • $\mathrm{\#}(i,j)$$\#(i,j)$ 为 feature pair $(i,j)$$(i,j)$ 在训练数据中出现的次数。

   • $I(i,j)$$I(i,j)$ 为 feature pair $(i,j)$$(i,j)$ 学到的交互强度。

     • 对于 FM，$I(i,j)=|<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>|$$I(i,j) = |<\mathbf{\vec v}_i,\mathbf{\vec v}_j>|$ 。
     • 对于 FFM，$I(i,j)=|<{\overrightarrow{\mathbf{v}}}_{i,F_l},{\overrightarrow{\mathbf{v}}}_{j,F_k}>|$$I(i,j) = |<\mathbf{\vec v}_{i,F_l},\mathbf{\vec v}_{j,F_k}>|$ 。
     • 对于 FwFM，$I(i,j)=|<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>\times r_{F_k,F_l}|$$I(i,j) = |<\mathbf{\vec v}_i,\mathbf{\vec v}_j>\times r_{F_k,F_l}|$ 。

   注意，我们将内积项的绝对值相加，否则正值和负值会相互抵消。

   如果一个模型能够很好地捕捉到不同 field pair 的交互强度，我们期望其学习到的 field 交互强度接近于互信息 $\text{MI}((F_k,F_l),Y)$$\text{MI}((F_k,F_l),Y)$ 。为了便于比较，我们在 Figure 5 中以热力图的形式绘制了由 FM, FFM, FwFM 学到的field 交互强度，以及 field pair 和标签之间的互信息 $\text{MI}((F_k,F_l),Y)$$\text{MI}((F_k,F_l),Y)$。我们还计算了皮尔逊相关系数，以定量地衡量所学到的 field 交互强度与互信息的匹配程度。

   • 从 Figure 5(b) 中我们观察到：FM 学到的交互强度与互信息完全不同。这并不奇怪，因为 FM 在建模特征交互强度时没有考虑 field 信息。
   • 从 Figure 5(c) 中我们观察到：FFM 能够学习与互信息更相似的交互强度。
   • 从 Figure 5(d) 中我们观察到：FwFM 学到的交互强度的热力图与互信息的热力图非常相似。

   

   为了了解权重 $r_{F_k,F_l}$$r_{F_k,F_l}$ 在建模 field pair 的交互强度方面的重要性，我们在 Figure 6 中绘制了 $r_{F_k,F_l}$$r_{F_k,F_l}$ 的热力图，以及没有 $r_{F_k,F_l}$$r_{F_k,F_l}$ 的FwFM （退化回 FM ）的学到的 field 交互强度。可以看到： $r_{F_k,F_l}$$r_{F_k,F_l}$ 的热力图与 Figure 5(a) 的互信息热力图、Figure 5(d) 的 FwFM 学到的 field 交互强度都非常相似。这意味着 $r_{F_k,F_l}$$r_{F_k,F_l}$ 确实可以学到不同 field pair 的不同交互强度。

   

二十九、FM2[2021]

1. CTR 预估所涉及的数据通常是 multi-field categorical data，这类数据具有以下特性：

   • 首先，所有的特征都是 categorical 的，并且是非常稀疏的，因为其中许多是 id 。因此，特征的总数很容易达到数百万或数千万。
   • 其次，每个特征都唯一地属于一个 field ，而且可能有几十到几百个 field 。

   针对 ctr 预测问题的一个卓越模型是具有交叉特征的逻辑回归。当考虑到所有的交叉特征时，产生的模型等同于二阶的多项式核。然而，要考虑所有可能的交叉特征需要太多的参数。为解决这个问题，人们提出了 matrix factorization: MF 和 factorization machine: FM ，这些方法通过两个 feature embedding 向量的点乘来学习交叉特征的影响。在 FM 的基础上，人们提出了 Field-aware Factorization Machine: FFM，从而考虑 field 信息来建模来自不同 field pair 的不同的特征交互。最近，人们又提出了 Field-weighted Factorization Machine: FwFM 模型，以一种更加 parameter-efficient 的方式来考虑 field 信息。

   现有的考虑 field 信息的模型要么有太多的参数（如 FFM ），要么不是很有效（如 FwFM）。论文 《FM2: Field-matrixed Factorization Machines for Recommender Systems》 建议使用两个特征向量之间的 field matrix 来建模这两个特征向量之间的交互，其中矩阵是为每个 field-pair 单独学习的。论文表明，field-pair matrix 方法在保持计算空间和时间效率的同时，实现了良好的准确性。

29.1 模型

1. 假设有 $m$$m$ 个 unique 特征 $\{f_1,\cdots ,f_m\}$$\{f_1,\cdots,f_m\}$，以及 $n$$n$ 个不同的 fields $\{F_1,\cdots ,F_n\}$$\{F_1,\cdots,F_n\}$ 。每个特征 $f_i$$f_i$ 仅属于一个 field，记做 $F(i)$$F(i)$ 。

   给定数据集 $\mathcal{S}={\{y^{(s)},{\overrightarrow{\mathbf{x}}}^{(s)}\}}_{s=1}^N$$\mathcal S = \left\{y^{(s)},\mathbf{\vec x}^{(s)}\right\}_{s=1}^N$ ，其中： $y^{(s)}\in \{1,-1\}$$y^{(s)}\in \{1,-1\}$ 为 label 表示是否点击； ${\overrightarrow{\mathbf{x}}}^{(s)}\in \{0,1{\}}^m$$\mathbf{\vec x}^{(s)}\in \{0,1\}^m$ 为二元特征向量，$x_i^{(s)}=1$$x_i^{(s)}=1$ 表示特征 $f_i$$f_i$ 是 active 的。

   • LR 模型为：

     $$\begin{array}{}\text{(39)}& \underset{\overrightarrow{\mathbf{w}}}{min}\lambda \parallel \overrightarrow{\mathbf{w}}{\parallel }_2^2+\sum _{s=1}^N\log (1+\exp (-y^{(s)}{\mathrm{\Phi }}_{\text{LR}}(\overrightarrow{\mathbf{w}},{\overrightarrow{\mathbf{x}}}^{(s)})))\end{array}$$

     其中：$\lambda$$\lambda$ 为正则化系数，$\overrightarrow{\mathbf{w}}$$\mathbf{\vec w}$ 为模型权重，${\mathrm{\Phi }}_{\text{LR}}(\overrightarrow{\mathbf{w}},\overrightarrow{\mathbf{x}})=w_0+\sum _{i=1}^m{x}_i{w}_i$$\Phi_\text{LR}(\mathbf{\vec w}, \mathbf{\vec x}) = w_0 + \sum_{i=1}^m x_iw_i$ 。

     然而，线性模型缺乏表示特征交互的能力。由于交叉特征可能比那些单一特征更重要，在过去的几十年里，人们提出了许多改进。

   • Poly2：然而，线性模型对于诸如 CTR 预估这样的任务来说是不够的，在这些任务中，特征交互是至关重要的。解决这个问题的一般方法是增加 feature conjunction 。已有研究表明，Degree-2 Polynomial: Poly2 模型可以有效地捕获特征交互。Poly2 模型考虑将 ${\mathrm{\Phi }}_{\text{LR}}$$\Phi_\text{LR}$ 替换为：

     $$\begin{array}{}\text{(40)}& {\mathrm{\Phi }}_{\text{Poly2}}(\overrightarrow{\mathbf{w}},\overrightarrow{\mathbf{x}})=w_0+\sum _{i=1}^m{x}_i{w}_i+\sum _{i=1}^m\sum _{j=i+1}^m{x}_i{x}_j{w}_{h(i,j)}\end{array}$$

     其中：$h(i,j)$$h(i,j)$ 是一个哈希函数，它将 $i$$i$ 和 $j$$j$ 哈希到位于哈希空间 $\mathcal{H}$$\mathcal H$ 中的一个自然数，从而减少参数规模。否则，模型中的参数数量将达到 $O(m^2)$$O(m^2)$ 的数量级。

   • FM：Factorization Machine:FM 为每个特征学习一个 embedding 向量 ${\overrightarrow{\mathbf{v}}}_i\in {\mathbb{R}}^K$$\mathbf{\vec v}_i\in \mathbb R^K$ ，其中 $K$$K$ 为一个小的整数（如 $K=10$$K=10$ ）。FM 将两个特征 $i$$i$ 和 $j$$j$ 之间的交互建模为它们相应的 embedding 向量 ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$ 和 ${\overrightarrow{\mathbf{v}}}_j$$\mathbf{\vec v}_j$ 之间的内积：

     $$\begin{array}{}\text{(41)}& {\mathrm{\Phi }}_{\text{FM}}((\overrightarrow{\mathbf{w}},\mathbf{v}),\overrightarrow{\mathbf{x}})=w_0+\sum _{i=1}^m{x}_i{w}_i+\sum _{i=1}^m\sum _{j=i+1}^m{x}_i{x}_j<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>\end{array}$$

     其中：$<\cdot ,\cdot >$$<\cdot,\cdot>$ 为向量的内积。

     在涉及稀疏数据的应用中（如 CTR 预估），FM 的表现通常优于 Poly2 模型。原因是，只要特征本身在数据中出现的次数足够多，FM 总能为每个特征学习到一些有意义的 embedding 向量，这使得内积能很好地估计两个特征的交互效应 interaction effect ，即使两个特征在数据中从未或很少一起出现。

   • FFM：然而，FM 忽略了这样一个事实：当一个特征与其他不同 field 的特征交互时，其行为可能是不同的。Field-aware Factorization Machines: FFM 通过为每个特征（如 $i$$i$ ）学习 $n-1$$n-1$ 个 embedding 向量来显式地建模这种差异，并且只使用相应的 embedding 向量 ${\overrightarrow{\mathbf{v}}}_{i,F(j)}$$\mathbf{\vec v}_{i,F(j)}$ 与来自 field $F(j)$$F(j)$ 的另一个特征 $j$$j$ 交互：

     $$\begin{array}{}\text{(42)}& {\mathrm{\Phi }}_{\text{FM}}((\overrightarrow{\mathbf{w}},\mathbf{v}),\overrightarrow{\mathbf{x}})=w_0+\sum _{i=1}^m{x}_i{w}_i+\sum _{i=1}^m\sum _{j=i+1}^m{x}_i{x}_j<{\overrightarrow{\mathbf{v}}}_{i,F(j)},{\overrightarrow{\mathbf{v}}}_{j,F(i)}>\end{array}$$

     虽然 FFM 比 FM 有明显的性能改进，但其参数数量是 $O(mnK)$$O(mnK)$ 的数量级。在现实世界的生产系统中，FFM 的巨大参数数量是不可取的。因此，设计具有竞争力的和更高内存效率的替代方法是非常有吸引力的。

   • FwFM：在 FwFM 中，feature pair $(i,j)$$(i,j)$ 的交互被建模为：

     $$\begin{array}{}\text{(43)}& x_i{x}_j<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>r_{F(i),F(j)}\end{array}$$

     其中：$<\cdot ,\cdot >$$<\cdot,\cdot>$ 为向量的内积，$r_{F(i),F(j)}\in \mathbb{R}$$r_{F(i),F(j)}\in \mathbb R$ 是建模 field pair $(F(i),F(j))$$(F(i),F(j))$ 之间交互强度的权重。

     FwFM 的公式为：

     $$\begin{array}{}\text{(44)}& {\mathrm{\Phi }}_{\text{FwFM}}((\overrightarrow{\mathbf{w}},\mathbf{v}),\overrightarrow{\mathbf{x}})=w_0+\sum _{i=1}^m{x}_i{w}_i+\sum _{i=1}^m\sum _{j=i+1}^m{x}_i{x}_j<{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>r_{F(i),F(j)}\end{array}$$

     FwFM 是 FM 的扩展，即它使用额外的权重 $r_{F(i),F(j)}$$r_{F(i),F(j)}$ 来显式地建模不同 feature pair 的不同交互强度。FFM 可以隐式地建模不同 feature pair 的不同交互强度，因为 FFM 为每个特征 $i$$i$ 学习了几个 embedding 向量，每个向量 ${\overrightarrow{\mathbf{v}}}_{i,F_k}$$\mathbf{\vec v}_{i,F_k}$ 对应于其他的 field $F_k$$F_k$，其中$F_k\ne F(i)$$F_k\ne F(i)$ ，从而建模 $F(i)$$F(i)$ 与不同 field 特征的不同交互。

   最近，也有很多关于基于深度学习的 CTR 预测模型的工作。这些模型同时捕获了低阶交互和高阶交互，并取得了明显的性能改进。然而，这些模型的在线推理复杂性比浅层模型要高得多。通常需要使用模型压缩技术，如剪枝、蒸馏或量化来加速这些模型的在线推理。在本文中，我们专注于改进低阶交互，所提出的模型可以很容易地作为这些深度学习模型中的浅层组件。

2. 我们提出了一个新的模型，将 field pair 的交互表达为一个矩阵。与 FM 和 FwFM 类似，我们为每个特征学习一个 embedding 向量。 我们定义一个矩阵 ${\mathbf{M}}_{F(i),F(j)}$$\mathbf M_{F(i),F(j)}$ 来表示 field $F(i)$$F(i)$ 和 field $F(j)$$F(j)$ 之间的交互：

   $$\begin{array}{}\text{(45)}& x_i{x}_j<{\mathbf{M}}_{F(i),F(j)}{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>\end{array}$$

   其中：

   • ${\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j$$\mathbf{\vec v}_i,\mathbf{\vec v}_j$ 分别为 feature $i$$i$ 和 $j$$j$ 的 embedding 向量。

   • $F(i),F(j)$$F(i), F(j)$ 分别为 feature $i$$i$ 和 $j$$j$ 的 field。

   • ${\mathbf{M}}_{F(i),F(j)}\in {\mathbb{R}}^{K\times K}$$\mathbf M_{F(i), F(j)}\in \mathbb R^{K\times K}$ 为建模 field $F(i)$$F(i)$ 和 field $F(j)$$F(j)$ 之间交互的矩阵。

     注意：${\mathbf{M}}_{F(i),F(j)}\ne {\mathbf{M}}_{F(j),F(i)}$$\mathbf M_{F(i), F(j)} \neq \mathbf M_{F(j), F(i)}$ ，因为它们作用的 embedding 向量不同。此外，考虑到 “ field $F(i)$$F(i)$ 和 field $F(j)$$F(j)$ 之间的交互” 应该等于 “ field $F(j)$$F(j)$ 和 field $F(i)$$F(i)$ 之间的交互”，因此有：

     $$\begin{array}{}\text{(46)}& <{\mathbf{M}}_{F(i),F(j)}{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>=<{\mathbf{M}}_{F(j),F(i)}{\overrightarrow{\mathbf{v}}}_j,{\overrightarrow{\mathbf{v}}}_i>\end{array}$$

   我们称这个模型为 Field-matrixed Factorization Machine: FmFM（也叫做 FM2）：

   $$\begin{array}{}\text{(47)}& {\mathrm{\Phi }}_{\text{FmFM}}((\overrightarrow{\mathbf{w}},\mathbf{v}),\overrightarrow{\mathbf{x}})=w_0+\sum _{i=1}^m{x}_i{w}_i+\sum _{i=1}^m\sum _{j=i+1}^m{x}_i{x}_j<{\mathbf{M}}_{F(i),F(j)}{\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j>\end{array}$$

   FmFM 是 FwFM 的扩展，它使用一个二维矩阵 ${\mathbf{M}}_{F(i),F(j)}$$\mathbf M_{F(i),F(j)}$ （而不是FwFM 中的标量 $r$$r$ ）来建模不同field pair 的交互。通过这些矩阵，每个特征的 embedding 空间可以被转换到另外的 $n-1$$n-1$ 个 embedding 空间。我们将这些矩阵命名为 Field-Matrix 。

   核心思想：将 FwFM 中的标量 $r_{F(i),F(j)}$$r_{F(i), F(j)}$ 升级成矩阵 ${\mathbf{M}}_{F(i),F(j)}$$\mathbf M_{F(i), F(j)}$ 。

   下图展示了 feature pair $(i,j)$$(i,j )$ 和 $(i,k)$$(i,k)$ 的交互，其中 $i,j,k$$i, j,k$ 来自于三个不同的 field 。计算可以分解为三步：

   • Embedding Lookup：从 embedding table 中查找 feature embedding 向量 ${\overrightarrow{\mathbf{v}}}_i,{\overrightarrow{\mathbf{v}}}_j,{\overrightarrow{\mathbf{v}}}_k$$\mathbf{\vec v}_i,\mathbf{\vec v}_j,\mathbf{\vec v}_k$ 。
   • 转换：将 ${\mathbf{M}}_{F(i),F(j)}$$\mathbf M_{F(i),F(j)}$ 和 ${\mathbf{M}}_{F(i),F(k)}$$\mathbf M_{F(i),F(k)}$ 分别与 ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$ 相乘，得到中间向量 ${\overrightarrow{\mathbf{v}}}_{i,F(j)}={\mathbf{M}}_{F(i),F(j)}{\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_{i,F(j)} = \mathbf M_{F(i),F(j)} \mathbf{\vec v}_i$ 用于 field $F(j)$$F(j)$ 、 ${\overrightarrow{\mathbf{v}}}_{i,F(k)}={\mathbf{M}}_{F(i),F(k)}{\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_{i,F(k)} = \mathbf M_{F(i),F(k)} \mathbf{\vec v}_i$ 用于 field $F(k)$$F(k)$ 。
   • 点乘：最终的交互项将是 ${\overrightarrow{\mathbf{v}}}_{i,F(j)}\cdot {\overrightarrow{\mathbf{v}}}_j$$\mathbf{\vec v}_{i,F(j)}\cdot \mathbf{\vec v}_j$ 以及 ${\overrightarrow{\mathbf{v}}}_{i,F(k)}\cdot {\overrightarrow{\mathbf{v}}}_k$$\mathbf{\vec v}_{i,F(k)}\cdot \mathbf{\vec v}_k$ 。