四十六、EDCN[2021]

《Enhancing Explicit and Implicit Feature Interactions via Information Sharing for Parallel Deep CTR Models》

1. 有效地建模feature interactions 对于工业推荐系统中的CTR 预测至关重要。具有并行结构的SOTA 的deep CTR 模型（例如DCN ）通过独立的并行网络学习显式的和隐式的feature interactions 。然而，这些模型存在简单共享（trivial sharing ）的问题，即hidden layers 的共享不足、以及network input 的共享过度，限制了模型的表达能力和有效性。

   因此，为了增强显式的和隐式的feature interactions 之间的信息共享，我们提出了一种新颖的deep CTR 模型EDCN。EDCN引入了两个高级模块，即桥接模块（bridge module）和调制模块（regulation module ）。对于并行网络的每一个hidden layer，这两个模块协同工作以捕获layer-wise 的交互信号并学习差异性的特征分布（discriminative feature distributions ）。此外，两个模块是轻量级的、以及模型无关的，可以很好地推广到主流的并行deep CTR 模型。我们进行了大量的实验和研究，以证明EDCN 在两个公共数据集和一个工业数据集上的有效性。此外，还验证了两个模块与各种并行结构的模型的兼容性，并已部署到华为在线广告平台上；经过一个月的A/B test ，与并行结构的base 模型相比，CTR 和eCPM 分别提高了7.30％ 和4.85％ 。

2. 近年来，基于深度学习的CTR 模型迅速兴起，具有以端到端方式来捕获informative feature interactions 的能力，摆脱了手动特征工程和pre-defined formula 的阻碍。代表性模型，如Wide & Deep、DeepFM、DCN、PIN、DIN 和DIEN，联合学习显式的和隐式的feature interactions 并实现显著的性能提升。这些deep CTR 模型可以根据所用于建模显式的和隐式的feature interactions 的网络的组合方式分为两类，即并行结构（parallel structure ）和堆叠结构（stacked structure ），如Figure 1 所示。

   • 具有堆叠结构的模型将两个网络以串行的方式组合在一起，其中一个网络用于显式的有界阶次的feature interactions ，另一个网络用于隐式的feature interactions ，例如PIN、DIN 和DIEN。

   • 另一方面，具有并行结构的模型以并行的方式联合训练两个网络，例如DeepFM 、DCN 和xDeepFM ，如Figure 2 所示。

   

   

3. 在本文中，我们专注于通过信息共享（information sharing ）来增强显式的和隐式的feature interactions 从而来优化具有并行结构的模型。为了使我们的演示简单明了，我们以Deep & Cross Network: DCN 为例，这是一个具有代表性的并行结构的模型，在模型性能和效率之间取得了良好的平衡。然而，两个并行网络之间执行的简单共享策略限制了其表达能力和有效性，详述如下。

   • hidden layers 的共享不足（insufficient sharing ）：DCN 并行且独立地执行交叉网络（显式交互）和深度网络（隐式交互），并且学到的latent representations 直到最后一层才融合。我们将这种融合模式称为late fusion 。在late fusion 中，显式的和隐式的feature interaction networks 不会在intermediate hidden layers 共享信息，这会削弱彼此之间的interactive signals ，并且可能在反向传播过程中容易导致梯度倾斜（《 Dense multimodal fusion for hierarchically joint representation》）。总而言之，这种hidden layers 的共享不足的策略，阻碍了这些并行结构模型中effective feature interactions 的学习过程。

   • network input 的过度共享（excessive sharing）。DCN 中的交叉网络（cross network）和深度网络（deep network）共享相同的embedding layer 作为输入，这意味着所有input features 都被无差别地输入到并行网络中。然而，正如《AutoFeature: Searching for Feature Interactions and Their Architectures for Click-through Rate Prediction》 所指出的，不同的特征适用于不同的interaction 函数。因此，network inputs 的过度共享，以及将所有特征无差别地输入到所有并行网络中，可能不是一个合理的选择，会导致性能不佳。

   为了解决上述各种并行结构的模型中普遍存在的sharing 问题，我们提出了一种基于DCN 的新型deep CTR 模型，即Enhanced Deep & Cross Network: EDCN 。具体来说，我们引入了两个新模块，即bridge module 和regulation module ，分别解决hidden layers 的insufficient sharing 、以及network input 的excessive sharing 的问题。

   • 一方面，bridge module 通过在交叉网络和深度网络之间建立连接进行dense fusion ，从而捕获并行网络之间的layer-wise interactive signals ，并增强feature interactions 。

   • 另一方面，regulation module 旨在通过soft selection 方式通过field-wise gating network 学习不同子网络的差异化的特征分布（discriminative feature distributions ）。此外，regulation module 还能够与bridge module 协同工作，进一步学习每个hidden layer 的合理输入，使两个并行网络协同学习显式的和隐式的feature interactions 。

   这两个模块轻量级且与模型无关，可以很好地推广到各种并行结构的deep CTR 模型，以显著提高性能，同时降低时间复杂度和空间复杂度。

   不一定能降低时间复杂度和空间复杂度，事实上这两个模块会增加复杂度。

4. 贡献：

   • 我们分析了并行结构模型中存在的sharing 的问题，即hidden layers 的insufficient sharing 、以及network input 的excessive sharing ，并提出了一种新颖的deep CTR 模型EDCN ，以增强显式的和隐式的feature interactions 之间的信息共享。

   • 在EDCN 中，我们提出bridge module 从而捕获并行网络之间的layer-wise interactive signals ，提出regulation module 来学习两个网络的每个hidden layer 的差异化的特征分布。

   • 我们提出的bridge module and regulation module 是轻量级的和与模型无关的，可以很好地推广到主流的并行deep CTR 模型以提高性能。

   • 在两个公共数据集和一个工业数据集上进行了大量的实验，以证明EDCN 优于SOTA baseline。此外，还验证了bridge module and regulation module 与各种并行结构的CTR 模型的兼容性。在华为广告平台进行的为期一个月的online A/B test 显示，两个模块在CTR 和eCPM 方面分别比base 模型提升了7.30% 和4.85% 。

46.1 基础概念

1. 给定数据集 $\mathcal{D}$$\mathcal D$ ，假设它包含 $Q$$Q$ 个样本 $(\overrightarrow{\mathbf{x}},y)$$\left(\mathbf{\vec x},y\right)$ ，其中 $y\in \{0,1\}$$y\in \{0,1\}$ 表示用户是否点击，$\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 为一条multi-fields 的数据记录。CTR 预估任务是对每个输入 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ ，估计概率 $\text{Pr}(y=1\mid \overrightarrow{\mathbf{x}})$$\text{Pr}(y=1\mid \mathbf{\vec x})$ 。

   为了更好地预测在现实的复杂环境下的用户行为，互联网规模的工业推荐系统收集了大量的特征，包括用户画像（性别、年龄）、item 属性（名称、类目）、以及上下文信息（例如workday 、位置）来构建训练数据集。

   对于数值特征（例如bidding price 、使用次数），常用的方法是离散化，包括：

   • soft discretization ：如AutoDis 。

   • hard discretization ：通过将numerical features 变换为categorical features ，例如对数离散化（logarithm discretization ）、和基于树的离散化。

   然后，可以通过field-aware one-hot encoding 将multi-field categorical record 转换为高维稀疏特征。例如，一个实例(Gender=Male, Age=18, Category=Electronics, ..., Weekday=Monday) 可以被表示为：

   $$\overrightarrow{\mathbf{x}}=\underset{\text{Gender}}{\underbrace{[0,1]}}\underset{\text{Age}}{\underbrace{[0,1,0,\cdots ,0]}}\underset{\text{Category}}{\underbrace{[0,0,1,\cdots ,0]}}\cdots \underset{\text{Weekday}}{\underbrace{[1,0,0,\cdots ,0]}}$$

   对于遵循feature embedding & feature interaction 范式的基于深度学习的CTR 模型，它应用embedding layer 将每个稀疏向量转换为低维稠密向量，这通常称为feature embedding 。对于第 $i$$i$ 个categorical field ，可以通过embedding look-up 操作获得feature embedding ：

   $${\overrightarrow{\mathbf{e}}}_i={\mathbf{E}}_i^{\mathrm{\top }}{\overrightarrow{\mathbf{x}}}_i$$

   其中：

   • ${\mathbf{E}}_i\in {\mathbb{R}}^{v_i\times k}$$\mathbf E_i \in \mathbb R^{v_i\times k}$ 为embedding 矩阵，$v_i$$v_i$ 为vocabulary 规模，$k$$k$ 为embedding size 。

   • ${\overrightarrow{\mathbf{x}}}_i\in {\mathbb{R}}^{v_i}$$\mathbf{\vec x}_i\in \mathbb R^{v_i}$ 为one-hot 向量。

   因此，embedding layer 的结果表示为：

   $$\overrightarrow{\mathbf{e}}=[{\overrightarrow{\mathbf{e}}}_1||{\overrightarrow{\mathbf{e}}}_2||\cdots ||{\overrightarrow{\mathbf{e}}}_f]\in {\mathbb{R}}^{kf\times 1}$$

   其中 $f$$f$ 表示field 数量，$[\cdot ||\cdot ]$$[\cdot||\cdot]$ 表示向量拼接。

   然后，feature embedding 被馈入到堆叠结构或并行结构的模型中，从而捕获explicit/implicit feature interactions 。接着通过判别函数 $\hat{y}=f_{\text{CTR}}\left(\overrightarrow{\mathbf{e}}\right)$$\hat y = f_\text{CTR}\left(\mathbf{\vec e}\right)$ 来获得预测的CTR 得分。

2. DCN：DCN 是一个典型的并行结构的CTR 模型，它将embedding $\overrightarrow{\mathbf{e}}$$\mathbf{\vec e}$ 馈入两个独立的子网络，即交叉网络和深度网络，用于建模显式的和隐式的feature interaction 。具体而言，这两个网络中的cross layers 和deep layers 分别表示为：

   $$\begin{array}{c}{\overrightarrow{\mathbf{x}}}_{l+1}={\overrightarrow{\mathbf{x}}}_0{\overrightarrow{\mathbf{x}}}_l^{\mathrm{\top }}{\overrightarrow{\mathbf{w}}}_l^c+{\overrightarrow{\mathbf{b}}}_l^c+{\overrightarrow{\mathbf{x}}}_l\\ {\overrightarrow{\mathbf{h}}}_{l+1}=\text{ReLU}({\mathbf{W}}_l^{d^{\mathrm{\top }}}{\overrightarrow{\mathbf{h}}}_l+{\overrightarrow{\mathbf{b}}}_l^d)\end{array}$$

   其中：

   • ${\overrightarrow{\mathbf{x}}}_l$$\mathbf{\vec x}_l$ 为第 $l$$l$ 层cross layer 的输出，${\overrightarrow{\mathbf{w}}}_l^c,{\overrightarrow{\mathbf{b}}}_l^c$$\mathbf{\vec w}_l^c, \mathbf{\vec b}_l^c$ 为第 $l$$l$ 层cross layer 的权重参数和偏置参数。

   • ${\overrightarrow{\mathbf{h}}}_l$$\mathbf{\vec h}_l$ 为第 $l$$l$ 层deep layer 的输出，${\mathbf{W}}_l^d,{\overrightarrow{\mathbf{b}}}_l^d$$\mathbf W_l^d, \mathbf{\vec b}_l^d$ 为第 $l$$l$ 层deep layer 的权重参数和偏置参数。

   注意，交叉网络和深度网络的输入是相同的，即 ${\overrightarrow{\mathbf{x}}}_0={\overrightarrow{\mathbf{h}}}_0=\overrightarrow{\mathbf{e}}$$\mathbf{\vec x}_0 = \mathbf{\vec h}_0 = \mathbf{\vec e}$ 。

   最后，交叉网络和深度网络的结果在最后一层（第 $L$$L$ 层）进行融合，然后馈入到输出层进行预测，可以表示为：

   $${\hat{y}}_{\text{DCN}}=\text{sigmoid}({\overrightarrow{\mathbf{w}}}^{\mathrm{\top }}[{\overrightarrow{\mathbf{x}}}_L||{\overrightarrow{\mathbf{h}}}_L]+\overrightarrow{\mathbf{b}})$$

   其中：

   • $\overrightarrow{\mathbf{w}},\overrightarrow{\mathbf{b}}$$\mathbf{\vec w}, \mathbf{\vec b}$ 为输出的权重参数和偏置参数。

   • $\text{sigmoid}(\cdot )$$\text{sigmoid}(\cdot)$ 为sigmoid 函数。

   然而，简单的共享策略限制了DCN 的表达能力和有效性。

   • 一方面，交叉网络和深度网络是独立的，学到的representations 直到最后一层才融合。

   • 另一方面，交叉网络和深度网络都以相同的embedding $\overrightarrow{\mathbf{e}}$$\mathbf{\vec e}$ 作为输入，而忽略了对feature selection 的重视。

   这两个缺陷阻碍了DCN 中effective feature interactions 的学习过程，导致性能不佳。为了克服这些问题，我们提出了一种Enhanced Deep & Cross Network: EDCN ，它有两个模块，即bridge module 和regulation module ，将在下一节中介绍。

46.2 EDCN

1. EDCN的架构如Figure 4 所示，与原始DCN 相比，它包括两个核心模块，即bridge module 和regulation module 。

   

46.2.1 Bridge Module

1. 现有的并行的deep CTR 模型分别通过两个并行子网络学习显式的和隐式的feature interactions ，例如DeepFM、DCN、xDeepFM 和AutoInt。两个子网络分开独立运行，这意味着直到最后一层才进行信息融合，这称为后期融合（late fusion ）。后期融合策略无法捕获在中间层（intermediate layers ）中两个并行网络之间的相关性，从而削弱了explicit and implicit feature interaction 之间的交互信号。此外，每个子网络中冗长的updating progress 可能导致反向传播过程中梯度倾斜（《 Dense multimodal fusion for hierarchically joint representation》），从而阻碍两个网络的学习过程。

   为了克服这一限制，我们引入了一种dense fusion 策略，该策略由我们提出的bridge module 实现，以捕获两个并行网络之间的layer-wise 交互信号。与仅在子网络的最后一层执行信息共享的late fusion 不同，dense fusion 在每一层共享中间信息（intermediate information），利用multi-level 交互信号，并缓解梯度问题。Figure 3 展示了late fusion 和dense fusion 之间的比较。

   

2. 更具体地说，在EDCN 中，在每对cross layer and deep layer 之后插入一个bridge module ，从而捕获有效的layer-wise 交互。正式地，假设第 $l$$l$ 个cross layer 和第 $l$$l$ 个deep layer 的输出记作 ${\overrightarrow{\mathbf{x}}}_l$$\mathbf{\vec x}_l$ 和 ${\overrightarrow{\mathbf{h}}}_l$$\mathbf{\vec h}_l$ ，bridge module 可以表示为 ${\overrightarrow{\mathbf{f}}}_l=f({\overrightarrow{\mathbf{x}}}_l,{\overrightarrow{\mathbf{h}}}_l)$$\mathbf{\vec f}_l = f\left(\mathbf{\vec x}_l,\mathbf{\vec h}_l\right)$ ，其中 $f(\cdot )$$f(\cdot)$ 是一个预定义的交互函数，它以两个向量作为输入并输出一个具有相同维度的向量。具体来说，我们实证比较了以下四个交互函数 $f(\cdot ):{\mathbb{R}}^d\times {\mathbb{R}}^d\to {\mathbb{R}}^d$$f(\cdot):\mathbb R^d\times \mathbb R^d\rightarrow \mathbb R^d$：

   • Pointwise Addition ：逐元素地计算输入向量的element-wise sum 。它没有parameters，公式为 ${\overrightarrow{\mathbf{f}}}_l={\overrightarrow{\mathbf{x}}}_l\oplus {\overrightarrow{\mathbf{h}}}_l$$\mathbf{\vec f}_ l = \mathbf{\vec x}_ l\oplus \mathbf{\vec h}_ l$ 。

   • Hadamard Product ：逐元素地计算输入向量的element-wise 乘积 。它也没有parameters，公式为 ${\overrightarrow{\mathbf{f}}}_l={\overrightarrow{\mathbf{x}}}_l\otimes {\overrightarrow{\mathbf{h}}}_l$$\mathbf{\vec f}_ l = \mathbf{\vec x}_ l\otimes \mathbf{\vec h}_ l$ 。

   • Concatenation：将输入向量拼接起来，并传递到具有ReLU 激活函数的feed-forward layer ，以保持输出向量的维度为 $d$$d$ 。该函数的公式为：${\overrightarrow{\mathbf{f}}}_l=\text{ReLU}({\overrightarrow{\mathbf{w}}}_l^{\mathrm{\top }}[{\overrightarrow{\mathbf{x}}}_l||{\overrightarrow{\mathbf{h}}}_l]+{\overrightarrow{\mathbf{b}}}_l)$$\mathbf{\vec f}_l = \text{ReLU}\left(\mathbf{\vec w}_l^\top \left[\mathbf{\vec x}_l || \mathbf{\vec h}_l\right] + \mathbf{\vec b}_l\right)$ 。其中，${\overrightarrow{\mathbf{w}}}_l,{\overrightarrow{\mathbf{b}}}_l$$\mathbf{\vec w}_l, \mathbf{\vec b}_l$ 分别为bridge module 第 $l$$l$ 层的权重参数和偏置参数。

   • Attention Pooling ：利用self-attention network 来衡量两个输入向量的重要性，并相应地执行attentive pooling 。该交互函数记作：${\overrightarrow{\mathbf{f}}}_l=a_l^x{\overrightarrow{\mathbf{x}}}_l\oplus a_l^h{\overrightarrow{\mathbf{h}}}_l$$\mathbf{\vec f}_l = a_l^x\mathbf{\vec x}_l\oplus a_l^h\mathbf{\vec h}_l$ 。其中，$a_l^x,a_l^h$$a_l^x,a_l^h$ 分别为bridge module 第 $l$$l$ 层的attention weights 。

     $a_l^x,a_l^h$$a_l^x,a_l^h$ 的计算方式为：

   $$\begin{array}{c}{a}_l^x=\text{softmax}\left({\overrightarrow{\mathbf{p}}}_l^{\mathrm{\top }}\text{ReLU}({\overrightarrow{\mathbf{w}}}_l^{\mathrm{\top }}{\overrightarrow{\mathbf{x}}}_l+{\overrightarrow{\mathbf{b}}}_l)\right)\\ a_l^h=\text{softmax}\left({\overrightarrow{\mathbf{p}}}_l^{\mathrm{\top }}\text{ReLU}({\overrightarrow{\mathbf{w}}}_l^{\mathrm{\top }}{\overrightarrow{\mathbf{h}}}_l+{\overrightarrow{\mathbf{b}}}_l)\right)\end{array}$$

   其中，${\overrightarrow{\mathbf{w}}}_l,{\overrightarrow{\mathbf{b}}}_l,{\overrightarrow{\mathbf{p}}}_{\mathbf{l}}$$\mathbf{\vec w}_l, \mathbf{\vec b}_l,\mathbf{\vec p_l}$ 分别为bridge module 第 $l$$l$ 层的权重参数、偏置参数以及transform weight parameter。

   这两个子网络共享相同的attention 参数。

   总而言之，bridge module 充当连接explicit and implicit modeling networks 的桥梁，加强了网络之间的交互信号，避免了反向传播过程中的倾斜梯度。我们在消融研究中对上述四个函数进行了实证比较。

46.2.2 Regulation Module

1. 具有并行结构的deep CTR 模型基于shared embeddings 来同时利用显式的和隐式的特征。显式的feature interactions 通常使用预定义的交互函数来建模，以有效探索bounded-degree interaction （例如，DCN 中的cross network ）；而隐式的feature interactions 主要通过全连接层来学习。直观地讲，不同的特征适合不同的交互函数，如AutoFeature 论文中所观察到的。因此，需要仔细为两个并行网络选择不同的特征，而不是像DCN 那样将所有特征平等地馈入这两个网络。

   受MMoE 中使用的门控机制的启发，我们提出了一个regulation module ，由field-wise gating network 实现，为每个并行网络soft-select 差异化的特征分布。具体而言，假设有 $B$$B$ 个并行网络，对于第 $b$$b$ 个网络，field-wise 门控单元为：

   $${\overrightarrow{\mathbf{g}}}^b=[g_1^b,g_2^b,\cdots ,g_f^b]\in {\mathbb{R}}^f$$

   其中：实数 $g_i^b$$g_i^b$ 为在网络 $b$$b$ 中第 $i$$i$ 个field 的门控权重（gating weight ）。

   注意：这里的门控单元是free-parameter，而不是由input 来决定的（有一种做法是将input 馈入一个子网络从而得到门控单元）。论文的实验部分表明，这种方法的效果反而更好。读者猜测这是因为：可以视为对所有样本都相同的全局门控参数，与样本无关，因此训练更加稳定。

   为了获得差异化的特征分布，对 ${\overrightarrow{\mathbf{g}}}^b$$\mathbf{\vec g}^b$ 执行Softmax 激活函数，得到：

   $$\begin{array}{c}{\widehat{\overrightarrow{\mathbf{g}}}}^b=[{\hat{g}}_1^b,{\hat{g}}_2^b,\cdots ,{\hat{g}}_f^b]\in {\mathbb{R}}^f\\ {\hat{g}}_i^b=\frac{\exp \left(g_i^b/\tau \right)}{\sum _{j=1}^f\exp \left(g_j^b/\tau \right)}\end{array}$$

   其中：$\tau$$\tau$ 为控制分布的温度系数；标量 ${\hat{g}}_i^b$$\hat g_i^b$ 为在网络 $b$$b$ 中第 $i$$i$ 个field 的gating score 。因此，网络 $b$$b$ 的regulated representation ${\overrightarrow{\mathbf{e}}}^b$$\mathbf{\vec e}^b$ 为：

   $${\overrightarrow{\mathbf{e}}}^b={\widehat{\overrightarrow{\mathbf{g}}}}^b\odot \overrightarrow{\mathbf{e}}=[{\hat{g}}_1^b{\overrightarrow{\mathbf{e}}}_1||{\hat{g}}_2^b{\overrightarrow{\mathbf{e}}}_2||\cdots ||{\hat{g}}_f^b{\overrightarrow{\mathbf{e}}}_f]$$

   除了shared embedding layer 之外，我们还将regulation module 与每个bridge module 一起执行，如Figure 4 所示。

2. 请注意，DCN 中的交叉网络实际上是 ${\overrightarrow{\mathbf{x}}}_0$$\mathbf{\vec x}_0$ 的线性变换，如xDeepFM 论文中所示。换句话说，field 信息仍然存在于bridge module 的fused representation 中。因此，bridge module 之后的regulation module 的工作原理，与shared embedding layer 的regulation module 相同。

   这段话是解释：为什么在bridge module 的output representation 上应用 regulation module 。

46.2.3 Combination Output Layer

1. 堆叠 $L$$L$ 层后，交叉网络和深度网络的输出被拼接起来，并馈入到标准logits layer 进行预测。假设第 $L$$L$ 个cross layer, deep layer and bridge module 的输出分别为 ${\overrightarrow{\mathbf{x}}}_L,{\overrightarrow{\mathbf{h}}}_L,{\overrightarrow{\mathbf{f}}}_L$$\mathbf{\vec x}_L, \mathbf{\vec h}_L, \mathbf{\vec f}_L$ ，则EDCN 的结果表示为：

   $$\hat{y}=\text{Sigmoid}({\overrightarrow{\mathbf{w}}}^{\mathrm{\top }}[{\overrightarrow{\mathbf{x}}}_L||{\overrightarrow{\mathbf{h}}}_L||{\overrightarrow{\mathbf{f}}}_L]+\overrightarrow{\mathbf{b}})$$

   其中，$\overrightarrow{\mathbf{w}},\overrightarrow{\mathbf{b}}$$\mathbf{\vec w},\mathbf{\vec b}$ 分别为权重参数和偏置参数。

   有没有必要将bridge module 的输出拼接进来？读者认为，这样就相当于三个子网络，而不是原始DCN 的两个子网络，因此比DCN 更强是可以预期的（表达能力更强）。

   损失函数是广泛使用的带有正则化项的LogLoss ，如下所示：

   $$\mathcal{L}=-\frac{1}{N}\sum _{i=1}^N[y_i\log \left({\hat{y}}_i\right)+(1-y_i)\log (1-{\hat{y}}_i)]+\lambda ||\mathrm{\Theta }|{|}_2$$

   其中：

   • $y_i$$y_i$ 和 ${\hat{y}}_i$$\hat y_i$ 分别是第 $i$$i$ 个实例的真实标签和估计值。

   • $N$$N$ 是训练实例的总数。

   • $\lambda$$\lambda$ 是L2 正则化权重，$\mathrm{\Theta }$$\Theta$ 是模型参数集合。

46.2.4 讨论

1. 复杂度分析：这里分析bridge module and regulation module 的时间复杂度和空间复杂度。

   将embedding size 记作 $k$$k$ ，我们将Hadamard Product 作为bridge module 中的交互函数，因为它在实验中实现了最佳性能。

   • 由于无参数的逐元素乘积，单个bridge module 的时间复杂度和空间复杂度分别为 $O(k)$$O(k)$ 和 $O(1)$$O(1)$ 。

   • 此外，由于计算 ${\overrightarrow{\mathbf{e}}}^b$$\mathbf{\vec e}^b$ 中的乘法运算，单个regulation module 的时间复杂度也为 $O(k)$$O(k)$；而由于 ${\overrightarrow{\mathbf{g}}}^b$$\mathbf{\vec g}^b$ 中的参数是field-wise 的，其空间复杂度为 $O(1)$$O(1)$ 。

   上述分析表明这两个模块是轻量级的，关于模型效率的实证研究将在实验部分详细阐述。

2. 兼容性分析：EDCN 提出了两个核心模块，即bridge module and regulation module ，可以无缝应用于主流的并行结构的模型，如DeepFM、DCN、xDeepFM、AutoInt 等。

   • bridge module 捕获不同并行网络之间的layer-wise interaction ，增强跨网络的交互信号。

   • 而regulation module 可以为不同的并行网络来区分特征分布。

   这两个模块可以很好地推广到并行结构的模型，这由实验部分中阐述的兼容性研究所证明。具体而言，为了应对隐式网络和显式网络具有不同层的情况，我们利用层数较少的子网络的最后一层输出与另一个子网络重复执行桥接操作。

46.3 实验

1. 数据集：两个流行的benchmarks （即Avazu、Criteo ）和一个工业数据集。Table 1 总结了所有三个数据集的统计数据。

   • Avazu 数据集包含23 个fields ，涵盖从user/device 特征到广告属性。我们以8:1:1 的比例将数据集随机分为训练集、验证集和测试集。

   • Criteo 数据集包含26 个categorical fields 和13个numerical fields，其中第1-7天用于训练，第8 天和第9 天分别用于验证和测试。我们遵循PNN中的相同数据处理程序，通过执行negative down-sampling 以保持positive ratio 接近50% ，并将数值特征转换为categorical 特征。

   • 工业数据集包含从华为广告平台采样的连续9 天的点击日志。该数据集的feature set 由 44 个categorical 特征和41个numerical 特征组成，它们通过各种混杂的、手动设计的规则进行离散化。我们将第1-7 天设置为训练集，第8 天设置为验证集，第9 天设置为测试集。

   

2. 评估指标：AUC, LogLoss 。所有实验重复5 次以获得平均性能。进行two-tailed unpaired t-test 以检测EDCN 与best baseline 之间的显著差异。

3. baseline 与实现细节：

   • 为了证明EDCN的有效性，我们将它与代表性的deep CTR 模型进行了比较，包括FNN、Wide & Deep、DeepFM、DCN、DCN-V2、xDeepFM、AutoInt 和PNN。

   • 所有模型均在TensorFlow上实现，我们使用mini-batch Adam 对所有模型进行优化，其中学习率从 $[{10}^{-5},{10}^{-4},\cdots ,{10}^{-2}]$$\left[10^{-5}, 10^{-4},\cdots, 10^{-2}\right]$ 中搜索，batch size 固定为2000 。此外，embedding size 设置为40 。deep network 的隐层默认固定为400-400-400 ，并应用Batch Normalization 。L2 正则化的权重从 $[{10}^{-5},{10}^{-4},\cdots ,{10}^{-3}]$$\left[10^{-5},10^{-4}, \cdots, 10^{-3}\right]$ 中搜索，dropout rate 从 $[0.1,0.2,\cdots ,0.9]$$[0.1, 0.2,\cdots, 0.9]$ 中搜索。

     具体来说，DCN、DCN-V2 和xDeepFM 中用于建模显式的feature interactions 的网络结构（即CrossNet 和CIN）均设置为3层。AutoInt 中multi-head attention 的head 设为12 、attention factor 设为20 。默认情况下，bridge module 中的交互函数选择Hadamard Product 。regulation module 中的 ${\hat{g}}_i^b$$\hat g_i^b$ 初始化为1.0 ，以确保开始时每个field 的权重相等。

46.3.1 性能比较

1. Table 2 展示了模型在这三个数据集上的表现，从中我们得到以下观察结果：

   • 在三个数据集上，EDCN 在AUC 和LogLoss方面的表现都远远优于所有SOTA baselines ，这证明了EDCN在CTR预测任务中的卓越性能。

   • 在三个数据集上，与原始DCN模型相比，EDCN的AUC分别提高了0.54%、0.48% 和0.65%。我们认为这一显著改进归因于以下原因：

     • (1)：基于dense fusion 策略的bridge module 有助于加强并行网络之间的 layer-wise interaction and supervision 。虽然deep layers 的网络宽度被扩展为与embedding layer 相同，但性能的提高并不是通过额外的hidden neurons 来实现的（因为在三个数据集上extended-width DCN 实现的平均AUC 仅提高了不到0.03% ）。

     • (2)：regulation module 调制了shared embeddings 和fused information ，将差异化的特征分布传递到不同的子网络中，这帮助子网络soft-select 合适的特征。

   

46.3.2 与不同模型的兼容性分析

1. Bridge Module 的兼容性分析：为了证明我们提出的bridge module 的兼容性，我们在三种流行的deep parallel CTR 模型（即xDeepFM、DCN和DCN-V2）中为每个hidden layer 引入了bridge module 。配备bridge module 的模型 $\mathcal{M}$$\mathcal M$ 记作 ${\mathcal{M}}_{\text{Bridge}}$$\mathcal M_\text{Bridge}$。

   从Table 3 中，我们可以观察到bridge module 一致性地提高了deep parallel CTR 模型的性能。AUC 指标的平均改进分别为xDeepFM 上改进0.13% 、DCN 上改进0.42% 和DCN-V2 上改进0.20% ，这证明了bridge module 的有效性。原因在于layer-wise bridge module 利用dense fusion 策略来捕获interactive correlation signals，并随后为explicit and implicit feature modeling 带来好处。此外，由于引入了不同子网络之间的multi-paths ，反向传播时梯度更新更加均衡，从而可以很好地缓解梯度倾斜问题。

   

2. Regulation Module 的兼容性分析：我们提出的regulation module 也是与模型无关的。在本节中，我们进行了广泛的实验来证明其兼容性，方法是将regulation module 应用于五种SOTA 的并行CTR模型：DeepFM、xDeepFM、AutoInt、DCN、DCN-V2以及 ${\text{DCN}}_{\text{Bridge}}$$\text{DCN}_\text{Bridge}$。除 ${\text{DCN}}_{\text{Bridge}}$$\text{DCN}_\text{Bridge}$ 之外的所有这些模型都应用了late fusion 策略，因此我们仅在embedding layer 上执行regulation module 。配备regulation module 的模型 $\mathcal{M}$$\mathcal M$ 记作 ${\mathcal{M}}_{\text{Regulate}}$$\mathcal M_\text{Regulate}$。请注意，${\text{DCN}}_{\text{BridgeRegulate}}$$\text{DCN}_\text{BridgeRegulate}$ 实际上是我们提出的EDCN 。从Table 4 中可以观察到一致的改进。

   如前所述，regulation module 差异化特征分布并将它们传递到不同的子网络中，在这些子网络中将分别利用不同的feature collections 。从反向传播的角度来看，由于并行结构的模型中的shared embeddings ，来自多个子网络的梯度可能会在一定程度上相互冲突。通过regulation module ，在反向传播到embedding layer 之前对梯度进行调制，从而缓解梯度冲突。

   

46.3.3 Regulation Module 的分析

1. 为了生动地说明regulation module 的feature regulation 结果，我们将EDCN 中并行网络的每个hidden layer 的权重分布 ${\widehat{\overrightarrow{\mathbf{g}}}}^b$$\hat{\mathbf{\vec g}}^b$ 可视化（使用min-max 归一化将每个元素 ${\hat{g}}_i^b$$\hat g_i^b$ 缩放到[0,1] 之间以直观呈现）。Avazu 数据集上的结果如Figure 5 所示。请注意，颜色越深，表示该field 越倾向于相应的特征交互方式（即EDCN 中的交叉网络和深度网络）。

   注意，图中的 $\hat{G}$$\hat G$ 就是笔记中的 $\widehat{\overrightarrow{\mathbf{g}}}$$\hat{\mathbf{\vec g}}$ 。

   从热力图中我们可以观察到特征分布在不同layers 和不同feature interaction 方式之间有所不同。具体而言：

   • 对于交叉网络和深度网络，f11 在layer0 和layer1 中具有较大的权重。

   • f2 在交叉网络的layer2 更具差异性，而f16 在深度网络的layer2 更具差异性。

   • 此外，交叉网络中的热力图更加多样化，表明某些fields 在bounded-degree explicit feature interaction 中比其他fields 发挥更重要的作用。相反，大多数fields 对implicit feature interactions 的贡献相对地相似。

   • 另一个观察结果是，随着层数的增加，不同子网络的偏好更加明显。特征分布在layer0 相对接近，而在layer 2 则明显不同。因此，EDCN 利用regulation module 来soft-select 差异化的特征分布，从而充分利用不同的特征。

   

47.3.4 消融研究

1. Bridge Module：为了比较bridge module 中不同交互函数的性能，我们探索了四个交互函数 $f(\cdot )$$f(\cdot)$，即逐点加法（EDCN-ADD）、hadamard product（EDCN-PROD）、拼接（EDCN-CON）、以及attention pooling（EDCN-ATT ）。

   从Figure 6 可以看出，hadamard product 的表现明显优于其他函数，这可能是由于以下原因。

   • 一方面，hadamard product 是无参数的，因此不涉及任何额外的learnable parameters，比有参数的方法（例如拼接和attention pooling）更容易稳定地训练。

   • 另一方面，与逐点加法相比，乘积操作是推荐模型中更好的interaction modeling 操作，如DeepFM, PNN, FM 所示。

   下图应该是(a) Avazu ，(b) Criteo 。

   

2. Regulation Module：为了证明我们提出的regulation module 的有效性，我们进行了实验，用三种方法替换了regulation module (RM) 。

   • Fully connection (FC)：全连接是一种常用的变换方法，从前一层提取representation 。

   • Squeeze-and-Excitation (SE)：Squeeze-and-Excitation Networ 执行Squeeze, Excitation and Re-Weight 步骤，从而使用informative features 来re-scale representation 。

   • GateNet (GN) ：GateNet 提出feature embedding gate 来从feature-level 选择显著的信息（salient information）。

   Figure 7 显示了这些方法之间的比较。我们可以观察到：

   • 简单的FC 获得最差的结果。

   • 此外，与nonregulation （即 ${\text{DCN}}_{\text{Bridge}}$$\text{DCN}_\text{Bridge}$ ）相比，GN和SE 方法在Avazu 上取得了改进，而在Criteo 上略有下降。

   • RM 始终比其他竞争对手取得显著改进，证明了我们提出的regulation module 的有效性。

   

46.3.5 模型复杂度

1. 为了定量分析我们提出的EDCN 的空间复杂度和时间复杂度，我们比较了三个具有并行结构的代表性的deep CTR 模型的模型参数和推理时间（在整个测试集上）。所有实验均在具有16G 内存的NVIDIA Tesla P100-PCIE GPU 上进行。Table 5 报告了Avazu 数据集上的比较结果。

   我们可以观察到：

   • 与DCN 相比，EDCN 增加的模型参数和推理时间是可以接受的，表明EDCN 引入的两个模块在实际工业应用中是轻量级的和可行的。

   • 此外，xDeepFM 的推理时间比EDCN长得多，而EDCN增加的模型参数比AutoInt小得多。

   

46.3.6 Online A/B Test

1. online A/B test 从3月10日到4月10日进行了一个月。比较的基线表示为 ${\mathcal{M}}_{\text{base}}$$\mathcal M_\text{base}$，这是一个高度优化的并行结构模型。我们部署了基于 ${\mathcal{M}}_{\text{base}}$$\mathcal M_\text{base}$ 的bridge module 和regulation module ，命名为 ${\mathcal{M}}_{\text{enhance}}$$\mathcal M_\text{enhance}$ 。这两个模型都是根据最新的点击日志进行训练的，其中执行相同的数据处理过程。评估指标CTR 和eCPM 。

   连续30 天的在线结果表明，我们提出的模块比基线 ${\mathcal{M}}_{\text{base}}$$\mathcal M_\text{base}$ 有显著的改进，其结果如Table 6 所示。我们可以观察到：

   • 在Instant Access （Video Page ）场景中， ${\mathcal{M}}_{\text{enhance}}$$\mathcal M_\text{enhance}$ 分别实现了7.30%（2.42%）和4.85%（1.71%）的CTR 和eCPM改进。

   • 此外，增加的serving latency 在工业界中也是可以接受的。

   结果表明，bridge module and regulation module 在用户体验和平台收入方面带来了显著的性能改进，同时只有轻微的latency overload 。

   

四十七、GDCN[2023]

《Towards Deeper, Lighter and Interpretable Cross Network for CTR Prediction》

1. 有效地建模feature interactions 对于提高CTR 模型的预测性能至关重要。然而，现有的方法面临三个重大挑战：

   • 首先，虽然大多数方法可以自动捕获高阶feature interactions ，但随着feature interactions 的阶次增加，它们的性能往往会下降。

   • 其次，现有方法缺乏能力对预测结果提供令人信服的解释，特别是对于高阶feature interactions ，这限制了其预测的可信度。

   • 第三，许多方法都存在冗余参数，特别是在embedding layer 中。

   本文提出了一种称为Gated Deep Cross Network (GDCN) 的新方法，以及一种Field-level Dimension Optimization (FDO) 方法来应对这些挑战。作为GDCN 的核心结构，Gated Cross Network (GCN) 捕获显式的高阶feature interactions，并在每个阶次中使用information gate 来动态地过滤important interactions 。此外，我们使用FDO 方法，根据每个field 的重要性来学习condensed dimensions 。在五个数据集上进行的综合实验证明了GDCN 的有效性、优越性和可解释性。此外，我们验证了FDO 在learning various dimensions 和reducing model parameters 方面的有效性。

2. 大多数CTR 建模方法通常由三种layer 组成：feature embedding, feature interaction, and prediction 。为了提高CTR 预测的准确性，人们已经提出了许多专注于设计有效feature interaction 架构的方法。然而，以前的工作，如Logistic Regression (LR) 和FM-based 的方法，只能建模低阶feature interactions 或固定阶次的feature interactions 。随着互联网规模的推荐系统变得越来越复杂，对捕获高阶feature interactions 的方法的需求日益增长。因此，一些最新的方法能够对显式的和隐式的高阶feature interactions 进行联合建模，并实现显著的性能改进。虽然这些方法取得了很大进展，但它们仍然有三个主要局限性：

   • 首先，随着feature interactions 阶次的增加，这些方法的有效性趋于下降。一般来说，所能够捕获的交互的最大阶次由feature interactions 的depth 决定。随着interaction layers 的加深，interactions 的数量呈指数增长，这使得模型能够生成更多的高阶交互。然而，并不是所有的交互都是有帮助的，这也带来了许多不必要的交互，导致性能下降和计算复杂度增加。许多现有的SOTA 工作已经通过hyper-parameter analysis 证实，当交互阶次超过一定深度（通常是三阶）时，它们的性能会下降。因此，至关重要的是进行改进从而确保高阶交互具有positive 影响，而不是引入更多噪音并导致次优性能。

   • 其次，现有方法缺乏可解释性，限制了其predictions and recommendations 的可信度。大多数方法由于隐式的feature interactions （通过DNN）、或为所有feature interactions 分配相等的权重，从而导致可解释性较低。尽管一些方法（《DCAP: Deep Cross Attentional Product Network for User Response Prediction》、《Interpretable click-through rate prediction through hierarchical attention》、《Autoint: Automatic feature interaction learning via selfattentive neural networks》 ）试图通过self-attention 机制学到的attention scores 来提供解释，但这种方法倾向于融合（fuse）所有features information ，因此很难区分哪些交互是必不可少的，尤其是对于高阶的crosses 。因此，开发方法能够从模型的和实例的角度来提供有说服力的解释，至关重要，从而实现更可靠的、更可信的结果。

   • 第三，大多数现有模型包含大量冗余参数，尤其是在embedding layer 中。许多方法依赖于feature-wise 的交互结构，这些结构假设所有fields 的embedding dimensions 是相等的。然而，考虑到fields 的信息容量，有些fields 只需要相对较短的维度。因此，这些模型在embedding layer 产生大量冗余参数。但直接降低embedding 维度会导致模型性能下降。同时，大多数方法仅侧重于减少non-embedding 参数，与减少embedding 参数相比，对整体参数减少的影响并不显著。尽管DCN 和DCN-V2 使用经验公式为每个field 分配不同的维度，该公式仅基于feature numbers 来计算维度，但它们忽略了每个field 的重要性，并且经常无法减少模型参数。因此，我们的目标是为每个field 分配field-specific and condensed dimensions ，考虑其固有的重要性，并有效减少embedding 参数。

   本文提出了一种称为Gated Deep Cross Network (GDCN) 的模型、以及一种称为Field-level Dimension Optimization (FDO) 的方法来解决上述限制。在DCN-V2 优雅而高效的设计的基础上，GDCN 进一步提高了低阶交互和高阶交互的性能，并且在模型的和实例的视角下都表现出了很好的可解释性。GDCN 通过提出的Gated Cross Network (GCN) 对explicit feature interactions 进行建模，然后与DNN 集成以学习implicit feature interactions 。GCN 由两个核心组件组成：feature crossing 和information gate。feature crossing 组件在bounded degree 内捕获显式的交互，而information gate 则在每个cross order 上选择性地放大重要性高的important cross features 并减轻不重要特征的影响。此外，考虑到field 各自的重要性，FDO 方法可以为每个field 分配压缩的和独立的维度。

3. 贡献：

   • 我们引入了一种新方法GDCN ，通过GCN 和DNN 学习显式的和隐式的feature interactions 。GCN 设计了一个information gate 来动态地过滤next-order cross features 并有效地控制信息流。与现有方法相比，GDCN 在捕获更深层次的高阶交互方面表现出更高的性能和稳定性。

   • 我们开发了FDO 方法，为每个field 分配压缩的维度，考虑到每个field 固有的重要性。通过使用FDO，GCN 仅以原始模型参数的23% 实现了可比性能，并且以更小的模型大小、以及更快的训练速度超越了现有的SOTA 模型。

   • 综合实验表明GDCN 在五个数据集上具有很高的有效性和泛化能力。此外，我们的方法在model level 和instance level 提供了出色的可解释性，增强了我们对模型预测的理解。

   论文其实创新点不多也不大，更多的是工程上的工作。而且创新点之间（GCN 和 FDO ）没啥关系，强行拼凑一起得到一篇论文。

47.1 GDCN

1. 受DCN-V2 的启发，我们开发了GDCN ，它由embedding layer 、gated cross network (GCN) 和deep network (DNN) 组成。

   • embedding layer 将高维稀疏的输入转换为低维稠密的representations 。

   • GCN 旨在捕获显式的feature interactions ，并使用information gate 来识别重要的交叉特征。

   • 然后，DNN 被集成进来从而建模隐式的feature crosses 。

   本质上，GDCN 是DCN-V2 的泛化，继承了DCN-V2 出色的表达能力，并具有简单而优雅的公式，易于部署。然而，GDCN 通过采用information gates 从而引入了一个关键的区别，它在每个阶次中自适应地过滤交叉特征，而不是统一聚合所有特征。这使GDCN 能够真正利用deeper 的高阶cross-information ，而不会出现性能下降，并为GDCN 赋予了针对每个实例的动态可解释性。GDCN 的架构如Figure 1 所示，展示了结合GCN 和DNN 网络的两种结构：(a) GDCN-S and (b) GDCN-P 。

   

2. Embedding Layer：输入实例通常是multi-field tabular data records ，其中包含 $F$$F$ 个不同fields 和 $T$$T$ 个特征。每个实例都由一个field-aware one-hot vector 来表示。embedding layer 将稀疏的高维特征转换为稠密的低维embedding matrix $\mathbf{E}=[{\overrightarrow{\mathbf{e}}}_1;\cdots ;{\overrightarrow{\mathbf{e}}}_F]$$\mathbf E = \left[\mathbf{\vec e}_1;\cdots;\mathbf{\vec e}_F\right]$。大多数CTR 模型要求embedding 维度相同，从而匹配特定的interaction 操作。然而，GDCN 允许任意embedding 维度，并且embedding layer 的输出以向量拼接来表示：${\overrightarrow{\mathbf{c}}}_0=[{\overrightarrow{\mathbf{e}}}_1||\cdots ||{\overrightarrow{\mathbf{e}}}_F]\in {\mathbb{R}}^D$$\mathbf{\vec c}_0 = \left[\mathbf{\vec e}_1||\cdots||\mathbf{\vec e}_F\right]\in \mathbb R^D$ ，$D$$D$ 为拼接后的维度。

3. Gated Cross Network (GCN)：作为GDCN 的核心结构，GCN 旨在通过information gate 来建模显式的有界的feature crosses 。GCN 的第 $(l+1)$$(l+1)$ 个gated cross layer 表示为：

   $${\overrightarrow{\mathbf{c}}}_{l+1}=\underset{\text{Feature Crossing}}{\underbrace{{\overrightarrow{\mathbf{c}}}_0\odot ({\mathbf{W}}_l^{(c)}{\overrightarrow{\mathbf{c}}}_l+{\overrightarrow{\mathbf{b}}}_l)}}\odot \underset{\text{Information Gate}}{\underbrace{\sigma \left({\mathbf{W}}_l^{(g)}{\overrightarrow{\mathbf{c}}}_l\right)}}+{\overrightarrow{\mathbf{c}}}_l$$

   其中：

   • ${\overrightarrow{\mathbf{c}}}_0$$\mathbf{\vec c}_0$ 为来自embedding layer 的base input，其中包含一阶特征。

   • ${\overrightarrow{\mathbf{c}}}_l\in {\mathbb{R}}^D$$\mathbf{\vec c}_l\in \mathbb R^{D}$ 是是来自前一个gated cross layer （即，第 $l$$l$ 个gated cross layer ）的输出特征，用作当前第 $(l+1)$$(l+1)$ 个gated cross layer 的输入。

   • ${\overrightarrow{\mathbf{c}}}_{l+1}\in {\mathbb{R}}^D$$\mathbf{\vec c}_{l+1}\in \mathbb R^{D}$ 是当前第 $(l+1)$$(l+1)$ 个gated cross layer 的输出。

   • ${\mathbf{W}}_l^{(c)},{\mathbf{W}}_l^{(g)}\in {\mathbb{R}}^{D\times D}$$\mathbf W_l^{(c)}, \mathbf W_l^{(g)}\in \mathbb R^{D\times D}$ 为可学习的权重矩阵，${\overrightarrow{\mathbf{b}}}_l\in {\mathbb{R}}^D$$\mathbf{\vec b}_l\in \mathbb R^D$ 为可学习的偏置向量。

   • $\sigma (\cdot )$$\sigma(\cdot)$ 为sigmoid 函数，$\odot$$\odot$ 为逐元素乘积。

   Figure 2 可视化了gated cross layer 的过程。

   下图中的 $\times$$\times$ 实际上是矩阵乘法。

   

   在每个gated cross layer 中，都有两个核心组件：feature crossing 和information gate ，如公式和Figure 2 所示。

   • feature crossing 组件以bit-level 计算一阶特征 ${\overrightarrow{\mathbf{c}}}_0$$\mathbf{\vec c}_0$ 和 $l$$l$ 阶特征 ${\overrightarrow{\mathbf{c}}}_l$$\mathbf{\vec c}_l$之间的交互。然后，它输出下一个多项式阶次的交互，其中包含所有 $(l+1)$$(l+1)$ 阶交叉特征。矩阵 ${\mathbf{W}}_l^{(c)}$$\mathbf W_l^{(c)}$ 称为交叉矩阵（cross matrix ），表示第 $l$$l$ 阶中各个field 之间的固有重要性。

     但是，并非所有的 $(l+1)$$(l+1)$ 阶特征都对预测产生positive 影响。随着cross depth 的增加，交叉特征呈现指数级增长，这会引入交叉噪声并可能导致性能不佳。

   • 为了解决这个问题，我们引入了information gate 组件。作为soft gate ，它自适应地学习第 $(l+1)$$(l+1)$ 阶特征的重要性。通过将sigmoid 函数 $\sigma (\cdot )$$\sigma(\cdot)$ 应用于 $\left({\mathbf{W}}_l^{(g)}{\overrightarrow{\mathbf{c}}}_l\right)$$\left(\mathbf W_l^{(g)}\mathbf{\vec c}_l\right)$，可获得gate values 。然后将它们逐元素乘以feature crossing 的结果。此过程放大了重要特征，并减轻了不重要特征的影响。随着cross layers 数量的增加，每个cross layer 的information gate 都会过滤下一阶次的交叉特征并有效控制信息流。

   最后，通过将输入 ${\overrightarrow{\mathbf{c}}}_l$$\mathbf{\vec c}_l$ 与feature crossing and information gate 的结果相加，生成最终的output cross vector ${\overrightarrow{\mathbf{c}}}_{l+1}$$\mathbf{\vec c}_{l+1}$，从而包含从第0 阶到第 $(l+1)$$(l+1)$ 阶的所有特征交互。

   事实上，GCN 是 DCN 的变体，区别在与 GCN 多了一个 Information Gate 而已。那么，是否有更好的 Information Gate？比如，直接用 ${\overrightarrow{\mathbf{c}}}_0$$\mathbf{\vec c}_0$ 作为 information gate 的输入？

4. Deep Neural Network (DNN)：DNN 的目标是建模隐式feature interactions。DNN 的每个deep layer 表示为：

   $${\overrightarrow{\mathbf{h}}}_{l+1}=f({\mathbf{W}}_l{\overrightarrow{\mathbf{h}}}_l+{\overrightarrow{\mathbf{b}}}_l)$$

   其中：

   • ${\mathbf{W}}_l\in {\mathbb{R}}^{n_{l+1}\times n_l},{\overrightarrow{\mathbf{b}}}_l\in {\mathbb{R}}^{n_{l+1}}$$\mathbf W_l \in \mathbb R^{n_{l+1}\times n_l}, \mathbf{\vec b}_l\in \mathbb R^{n_{l+1}}$ 为第 $l$$l$ 个deep layer 中可学习的权重矩阵和偏置向量。

   • ${\overrightarrow{\mathbf{h}}}_l\in {\mathbb{R}}^{n_l},{\overrightarrow{\mathbf{h}}}_{l+1}\in {\mathbb{R}}^{n_{l+1}}$$\mathbf{\vec h}_l\in \mathbb R^{n_l}, \mathbf{\vec h}_{l+1}\in \mathbb R^{n_{l+1}}$ 为第 $l$$l$ 个deep layer 的input 和output，$n_l,n_{l+1}$$n_l,n_{l+1}$ 分别为对应的维度。

   • $f(\cdot )$$f(\cdot )$ 为激活函数，通常为ReLU 。

5. 整合GCN 和DNN：现有的研究主要采用两种结构来整合显式的和隐式的交互信息：堆叠和并行。因此，我们也以两种方式将GCN 和DNN结合起来，得到了两个版本的GDCN。

   • Figure 1(a) 展示了堆叠结构：GDCN-S 。

     • embedding 向量 ${\overrightarrow{\mathbf{c}}}_0$$\mathbf{\vec c}_0$ 被馈入到GCN 并输出 ${\overrightarrow{\mathbf{c}}}_{L_c}$$\mathbf{\vec c}_{L_c}$。

     • 然后 ${\overrightarrow{\mathbf{c}}}_{L_c}$$\mathbf{\vec c}_{L_c}$ 馈入DNN 从而生成最终的交叉向量 ${\overrightarrow{\mathbf{c}}}_{\text{final}}={\overrightarrow{\mathbf{h}}}_{L_d}$$\mathbf{\vec c}_\text{final} = \mathbf{\vec h}_{L_d}$。

     $L_c$$L_c$ 和 $L_d$$L_d$ 分别是gated cross layer and deep network 的深度。

   • Figure 1(b) 展示了并行结构：GDCN-P 。

     • embedding 向量 ${\overrightarrow{\mathbf{c}}}_0$$\mathbf{\vec c}_0$ 被并行地馈入GCN 和DNN 中。

     • GCN 和DNN 的输出（即 ${\overrightarrow{\mathbf{c}}}_{L_c}$$\mathbf{\vec c}_{L_c}$ 和 ${\overrightarrow{\mathbf{h}}}_{L_d}$$\mathbf{\vec h}_{L_d}$ ）被拼接起来以获得最终的交叉向量 ${\overrightarrow{\mathbf{c}}}_{\text{final }}=[{\overrightarrow{\mathbf{c}}}_{L_c}||{\overrightarrow{\mathbf{h}}}_{L_d}]$$\mathbf{\vec c}_\text{final } = \left[\mathbf{\vec c}_{L_c} ||\mathbf{\vec h}_{L_d}\right]$。

6. 训练和预测：最后，我们通过标准的逻辑回归函数计算预测点击率：

   $${\hat{y}}_i=\sigma \left({\overrightarrow{\mathbf{w}}}_{\text{logit}}^{\mathrm{\top }}{\overrightarrow{\mathbf{c}}}_{\text{final}}\right)$$

   其中：

   • ${\overrightarrow{\mathbf{w}}}_{\text{logit}}$$\mathbf{\vec w}_\text{logit}$ 是待学习的权重向量。

   • $\sigma (z)=1/(1+\exp (-z))$$\sigma(z) = 1/(1 + \exp(-z))$ 为sigmoid 函数。

   损失函数是广泛使用的二元交叉熵损失（又名LogLoss）：

   $${\mathcal{L}}_{\text{ctr}}=-\frac{1}{N}\sum _{i=1}^N(y_i\log \left({\hat{y}}_i\right)+(1-y_i)\log (1-{\hat{y}}_i))$$

   其中：${\hat{y}}_i$$\hat y_i$ 和 $y_i$$y_i$ 分别是预测点击率和真实点击率；$N$$N$ 是所有训练实例的数量。

7. 与DCN-V2 的关系：GDCN是DCN-V2的推广。当省略information gate 或所有gate values 都设置为1时，GDCN会退回到DCN-V2。在DCN-V2中，cross layer（即CN-V2）平等对待所有交叉特征并直接将它们聚合到下一个阶次，而未考虑不同交叉特征的不同重要性。然而，GDCN引入了GCN，在每个gated cross layer 中都包含一个information gate 。这个information gate 自适应地学习所有交叉特征的bit-wise gate values ，从而实现对每个交叉特征的重要性的细粒度控制。值得注意的是，GDCN和DCN-V2 都能够建模bit-wise and vector-wise 特征交叉，如DCN-V2 中所示。

   虽然GDCN和DCN-V2都使用了门控机制，但它们的目的和设计原理不同。

   • DCN-V2引入了MMoE的思想，将cross matrix 分解为多个较小的子空间或“专家”。然后，门控函数将这些专家组合在一起。这种方法主要减少了cross matrices 中的non-embedding 参数，同时保持了性能。

   • 不同的是，GDCN 利用门控机制自适应地选择重要的交叉特征，真正利用deeper 的交叉特征，而不会降低性能。它提供了动态的instance-based 的可解释性，可以更好地理解和分析模型的决策过程。

   为了进一步提高GDCN 的cost-efficiency ，接下来提出了一种field-level 维度优化方法，以直接减少embedding 参数。

47.2 FDO

1. embedding 维度通常决定了编码信息的能力。然而，为所有field 分配相同的维度会忽略不同field 的信息容量。例如，“性别” 和“item id ” 等field 中的特征的数量范围从 $O(2)$$O(2)$ 到 $O({10}^6)$$O(10^6)$。DCN-V2和DCN 采用经验公式根据每个field 的特征的数量，为每个field 分配独立的维度，即 $(\text{feature number}{)}^{0.25}$$(\text{feature number})^{0.25}$ 。这是一种先验的方法，但忽略了每个field 的真正重要性。 受FmFM 的启发，我们使用后验的 Field-level Dimension Optimization (FDO)方法，该方法根据每个field 在特定数据集中的固有重要性来学习其独立的维度。

   • 首先，我们训练一个完整模型，采用固定的field 维度为16 ，正如先前的研究所建议的那样。此过程使我们能够为每个field 生成一个informative embedding table 。

   • 接下来，我们使用PCA 为每个field 的embedding table 计算一组奇异值，按奇异值的幅值（magnitude）降序排列。通过评估信息利用率（即information ratio ），我们可以通过识别对整体information summation 贡献最大的 $\arg \underset{k}{min}$$\arg\min_k$ 个奇异值来确定最佳维度。此步骤使我们能够为每个field 选择合适的压缩维度。

   • 最后，我们使用上一步中学到的field 维度训练一个新模型。

   实际上，我们只需要基于full model 学习一次一组field dimensions ，然后在后续模型refresh 时重复使用它。

   Table 1 列出了具有80% 和95% 的 information ratio 时，每个field 的优化后的维度。

   • 当保留95% 比率时，field 维度范围为2 到15 。

   • 降低 information ratio 会导致每个field 的维度减少。

   • 具有大量特征的field 有时需要更高的维度，如在fields {#23, #24} 中观察到的那样。然而，情况并非总是如此；例如，fields {#16, #25} 表现出更小的维度。在实验部分中，我们提供了实验证据，表明field 的维度与其在预测过程中的重要性密切相关，而不是其特征数量

   • 此外，通过保留超过80% 的information ratio ，我们可以获得更轻的GCN 模型，其性能略优于具有完整embedding 维度的GCN 模型，并超过其他SOTA 模型。

   我们还对FDO 进行了更全面的分析，以了解field 维度与其固有重要性之间的联系。

   

2. 参数分析：定义：

   • $\mathbb{E}=[{\mathbf{E}}_1,{\mathbf{E}}_2,\cdots ,{\mathbf{E}}_F]$$\mathbb E = \left[\mathbf E_1, \mathbf E_2, \cdots, \mathbf E_F\right]$ 为所有特征的embedding ； ${\mathbf{E}}_f$$\mathbf E_f$ 为feature representations 子集，对应于第 $f$$f$ 个field ，$1\le f\le F$$1\le f \le F$ 。

   • 第 $f$$f$ 个field 中的特征的数量记作 $|{\mathbf{E}}_f|$$|\mathbf E_f|$ ，数据集中的特征的总数量为 $T=\sum _{f=1}^F|{\mathbf{E}}_f|$$T = \sum_{f=1}^F |\mathbf E_f|$ 。

   • 类似地，令 $\mathbf{d}=[d_1,d_2,\cdots ,d_F]$$\mathbf d = [d_1,d_2,\cdots,d_F]$ 表示每个field 的embedding 维度，其中 $d_f$$d_f$ 为第 $f$$f$ 个field 的embedding 维度。

   对于一个输入的实例，算数平均的维度为 $\overline{K}=\left(\sum _{f=1}^F{d}_f\right)/F$$\bar K = \left(\sum_{f=1}^F d_f\right)/F$ ，embedding layer 的输出维度为 $D=F\overline{K}$$D= F\bar K$ 。考虑所有特征，加权平均维度记作 $\overline{D}=(\sum _{f=1}^F{d}_f|{\mathbf{E}}_f|)/T$$\bar D = \left(\sum_{f=1}^F d_f |\mathbf E_f|\right)/T$ 。embedding 参数的总量为 ${\mathcal{P}}_e=\sum _{f=1}^F{d}_f|{\mathbf{E}}_f|=T\overline{D}$$\mathcal P_e = \sum_{f=1}^F d_f|\mathbf E_f| = T\bar D$ 。在互联网规模数据集中，特征总数 $T$$T$ 的数量通常非常庞大。例如，在著名的Criteo 数据集中，原始特征数量超过30M ，稀疏度超过99.99% ，embedding 参数占据了模型参数的绝大部分。因此，$\overline{D}$$\bar D$ 决定了embedding 参数的数量，而 $\overline{K}$$\bar K$ 主要影响non-embedding 参数的数量，例如DCN-V2 和GCN 中的cross matrix ${\mathbf{W}}^{(c)}\in {\mathbb{R}}^{(F\overline{K})\times (F\overline{K})}$$\mathbf W^{(c)}\in \mathbb R^{(F\bar K)\times (F\bar K)}$。

   时间复杂度主要与 $\overline{K}$$\bar K$ 有关。

   通过采用FDO 方法，我们可以通过缩小某些field 的不必要维度来refine 特征维度，以减少冗余的embedding 参数。

   • 当使用固定维度16 时，embedding 参数为 $16T$$16T$ 。

   • 然而，在95% information ratio 的FDO 之后，embedding 参数减少到 $5.92T$$5.92T$，仅占原始embedding 参数的37% 。

   • 如果我们根据公式（即 $d_f=|{\mathbf{E}}_f{|}^{0.25}$$d_f = |\mathbf E_f|^{0.25}$）计算field 维度，加权平均维度 $\overline{D}$$\bar D$ 变为18.66 ，导致emebdding 参数为 $18.66T$$18.66T$，大于 $16T$$16T$ 。此公式为具有大量特征的field 分配了更大的维度，忽略了每个field 的特定重要性。相比之下，FDO 是一种后验方法，它基于从训练好的embedding table 中提取的特定信息来学习field-level 维度。

   随着field 维度的降低，算术平均维度 $\overline{K}$$\bar K$ 也相应降低（例如，从16 降至7.87 ）。这样，GCN 网络中的non-embedding 参数，即cross matrix ${\mathbf{W}}^{(c)}\in {\mathbb{R}}^{(F\overline{K})\times (F\overline{K})}$$\mathbf W^{(c)}\in \mathbb R^{(F\bar K)\times (F\bar K)}$ 和gate matrix ${\mathbf{W}}^{(g)}\in {\mathbb{R}}^{(F\overline{K})\times (F\overline{K})}$$\mathbf W^{(g)}\in \mathbb R^{(F\bar K)\times (F\bar K)}$ 也自然减少了。

47.3 实验

1. 数据集：Criteo、Avazu、Malware 、Frappe、ML-tag 。这些数据集的统计数据如Table 2 所示，详细描述可在给定的参考文献中找到。

   

2. 数据预处理：

   • 首先，我们将每个数据集随机分成训练集（80%）、验证集（10%）和测试集（10% ）。

   • 其次，在Criteo 和Avazu中，我们删除某个field 中出现次数少于阈值的低频特征，并将其视为dummy feature "<unkonwn>" 。Criteo 和Avazu 的阈值分别设置为{10, 5} 。

   • 最后，在Criteo数据集中，我们通过将实数值 $z$$z$ 转换为：当 $z>2$$z\gt 2$ 时 $\lfloor {\log }_2(z)\rfloor$$\lfloor\log_2(z)\rfloor$ ；否则为1 。这是Criteo 竞赛的获胜者所采用的。

3. 评估指标：AUC、Logloss 。

4. baseline 方法：我们与四类代表性的方法进行了比较。

   • 一阶方法，例如LR 。

   • 建模二阶交叉特征的基于FM 的方法，包括FM、FwFM、DIFM和FmFM 。

   • 捕获高阶交叉特征的方法，包括CrossNet(CN)、CIN、AutoInt、AFN、CN-V2、IPNN、OPNN、FINT、FiBiNET 和SerMaskNet。

   • 代表性的集成/并行方法，包括WDL、DeepFM、DCN、xDeepFM、AutoInt+、AFN+、DCN-V2、NON、FED 和ParaMaskNet。

   我们没有展示某些方法的结果，例如CCPM、GBDT、FFM、HoFM、AFM、NFM，因为许多模型已经超越了它们。

5. 实现细节：

   • 我们使用Pytorch实现所有模型，并参考现有工作。

   • 我们使用Adam 优化器优化所有模型，默认学习率为0.001。我们在训练过程中使用Reduce-LR-On-Plateau scheduler ，当性能在连续3 epochs 停止改善时，将学习率降低10 倍。

   • 我们在验证集上应用patience = 5 的早停（early stopping），以避免过拟合。

   • batch size 设置为4096 。所有数据集的embedding 维度均为16 。

   • 根据先前的研究，我们对涉及DNN的模型采用相同的结构（即3层，400-400-400 ），以便进行公平比较。除非另有说明，所有激活函数均为ReLU ，dropout rate = 0.5 。

   • 对于我们提出的GCN、GDCN-S 和GDCN-P ，除非另有说明，默认的gated cross layer 数量为3 。

   • 对于其他baseline ，我们参考了两个benchmark 工作（即 BARS 和FuxiCTR ）及其原始文献来微调它们的超参数。

6. 显著性检验：为了确保公平比较，我们在单个GPU（NVIDIA TITAN V）上使用随机种子运行每种方法10次，并报告平均的测试性能。我们执行双尾t-test 来检测我们的方法与最佳baseline 方法之间的统计显着性。在所有实验中，与最佳baseline 相比的改进具有统计学意义（$p<0.01$$p<0.01$），在Table 3 和Table 4 中用 ★ 表示。

47.3.1 整体性能

注意，这里的结果是在没有应用 FDO 的情况下得出的。

1. 与堆叠式模型的比较：我们将GCN 和GDCN-S 与 stacked baseline 模型进行比较，包括一阶、二阶和高阶模型。整体性能总结在Table 3 中。我们有以下观察结果：

   • 首先，在大多数情况下，高阶模型优于一阶模型和二阶模型，证明了学习复杂的高阶feature interactions 的有效性。值得注意的是，OPNN、FiBiNet、FINT 和SerMaskNet 等模型表现更佳，它们使用一个stacked DNN 同时捕获显式的和隐式的特征交叉。这证实了对显式的和隐式的高阶feature interactions 进行建模背后的原理。

   • 其次，GCN 通过仅考虑显式的多项式feature interactions ，始终优于所有堆叠的baseline 模型。GCN是CN-V2的泛化，增加了一个information gate 来识别有意义的交叉特征。GCN 的性能验证了并非所有交叉特征都对最终预测有益，大量不相关的交互会引入不必要的噪音。通过自适应地re-weighting 每个阶次中的交叉特征，GCN 比CN-V2 实现了显著的性能提升。此外，它优于SerMaskNet ，平均 $\mathrm{\Delta }\text{AUC}$$\Delta \text{AUC}$ 提高0.14% ，平均 $\mathrm{\Delta }\text{LL}$$\Delta \text{LL}$ 改善了0.45% 。

   • 第三，GDCN-S 超越了所有堆叠的baseline 并实现最佳性能。在 GDCN-S 中，stacked DNN 进一步学习GCN 结构之上的隐式交互信息。因此，与其他堆叠式模型（例如OPNN、FINT和SerMaskNet）相比，GDCN-S优于GCN并实现更高的预测准确率。具体来说，与SerMaskNet相比，GDCN-S实现了平均0.28% （$\mathrm{\Delta }\text{AUC}$$\Delta \text{AUC}$ ）和2.70% （ $\mathrm{\Delta }\text{LL}$$\Delta \text{LL}$ ）的改善。

   

2. 与并行式模型的比较：Table 4 展示了SOTA 的ensemble/parallel 模型的性能。每种方法都包含并行网络，例如DeepFM 中的FM和DNN，以及DCN-V2 中的CN-V2和DNN。此外，我们将这些模型与常规的DNN 模型进行比较，并在此基础上计算 $\mathrm{\Delta }\text{AUC}$$\Delta \text{AUC}$ 和 $\mathrm{\Delta }\text{LL}$$\Delta \text{LL}$ 的平均改进。我们的观察结果如下：

   • 首先，整合隐式的和显式的feature interactions 可以增强预测能力。DNN 仅建模隐式的feature interactions ，而将DNN 与捕获显式feature interactions 的其他网络相结合得到的并行模型优于单个网络。值得注意的是，GCN 显示出最显著的平均性能改进，从 $\mathrm{\Delta }\text{AUC}$$\Delta \text{AUC}$ 和 $\mathrm{\Delta }\text{LL}$$\Delta \text{LL}$ 分别为0.46%和5.57%可以看出。这凸显了GCN 与其他basic operation 网络相比的卓越能力。

   • 其次，GDCN-P 的表现优于所有并行式模型和堆叠式模型。与Table 4 中的并行式模型相比，GDCN-P 实现了卓越的性能，超越了所有最佳baseline。此外，当考虑堆叠式模型并使用Table 3 中的SerMaskNet 作为benchmark 时，GDCN-P 实现了0.38%（ $\mathrm{\Delta }\text{AUC}$$\Delta \text{AUC}$ ）和4.26% （ $\mathrm{\Delta }\text{LL}$$\Delta \text{LL}$）的平均改进。

   

47.3.2 Deeper 高阶特征交叉

1. 通过改变cross depth将GCN 与其他模型进行比较：我们将GCN 与五个可以捕获高阶交互的代表性模型进行比较，即AFN、FINT、CN-V2、DNN 和IPNN。Figure 3 说明了在Criteo 数据集上随着cross depth的增加而出现的测试AUC 和Logloss 。

   • 随着交叉层的增加，五个被比较的模型的性能得到改善。然而，当cross depth 变得更深（例如，超过2、3 或4 个交叉层）时，它们的性能会显著下降。这些模型可以在功能上捕获更深的高阶显式和隐式的feature interactions ，但高阶的交叉特征也会引入不必要的噪声，这可能会导致过拟合并导致结果下降。在许多SOTA 工作中进行的cross depth 超参数分析中也观察到了这个问题。

   • 相反，随着交叉层数从1 增加到8，GCN的性能不断提高。具体来说，与CN-V2模型相比，GCN包含了一个information gate 。该information gate 使GCN能够对每个阶次识别有用的交叉特征，并仅积累最终预测所需的信息。因此，即使cross depth 变得更深，GCN 的表现始终优于CN-V2和其他模型，验证了information gate 设计的合理性。

   

2. 具有更深gated cross layers 的GCN 和GDCN-P 的性能：在Criteo 和Malware 数据集上，我们进一步将GCN 和GDCN-P的cross depth 从1增加到16。值得注意的是，我们将GDCN-P 中的DNN深度固定在3，以防止DNN导致的过拟合。Figure 4 展示了实验结果。

   • 随着cross depth的增加，GCN和GDCN-P的性能都得到了改善，在GDCN-P 中观察到的趋势与GCN的趋势一致。

   • 在加入DNN组件后，GDCN-P 的表现始终优于GCN，这凸显了使用DNN捕获隐式feature interactions 的重要性。

   • 此外，DNN 使GDCN-P能够更早地获得最佳结果。具体来说，当深度超过8或10时，GCN的性能会达到稳定状态，而GDCN-P 的阈值为4或6。

   • 尽管GCN 和GDCN-P 可以选择有价值的交叉特征，但随着cross depth的增加，高阶交叉特征的有用性会急剧下降。这种现象符合人们的普遍直觉，即个人在做出决策（例如点击或购买item ）时通常不会同时受到太多特征的影响。

   • 值得注意的是，在cross depth超过稳定阈值后，我们的模型的性能保持稳定，而不是下降。

   

47.3.3 GCN 的可解释性

1. 可解释性对于理解specific predictions背后的原因、以及增强对预测结果的信心至关重要。GCN 从模型的和实例的角度提供静态的和动态的解释，有助于全面理解模型的决策过程。

2. 静态的model interpretability：在GCN 中，交叉矩阵 ${\mathbf{W}}^{(c)}$$\mathbf W^{(c)}$ 作为不同fields 之间交互的相对重要性的指标。如果每个实例由F 个fields 组成，每个field 具有相同的field size $d$$d$ ，则交叉矩阵可以按bit-wise 和block-wise 的方式来表示：

   $$\begin{array}{c}{\mathbf{W}}^{(c)}=\left[\begin{array}{ccc}{w}_{1,1}& \cdots & w_{1,Fd}\\ ⋮& \ddots & ⋮\\ w_{Fd,1}& \cdots & w_{Fd,Fd}\end{array}\right]=\left[\begin{array}{ccc}{\mathbf{W}}_{1,1}& \cdots & {\mathbf{W}}_{1,F}\\ ⋮& \ddots & ⋮\\ {\mathbf{W}}_{F,1}& \cdots & {\mathbf{W}}_{F,F}\end{array}\right]\end{array}$$

   其中，每个分块矩阵 ${\mathbf{W}}_{i,j}\in {\mathbb{R}}^{d\times d}$$\mathbf W_{i,j}\in \mathbb R^{d\times d}$ 显示了第 $i$$i$ 个field 和第 $j$$j$ 个field 之间一阶交叉的重要性。当应用FDO 学习各个field 维度时，分块矩阵 ${\mathbf{W}}_{i,j}\in {\mathbb{R}}^{d_i\times d_j}$$\mathbf W_{i,j} \in \mathbb R^{d_i\times d_j}$ ，$d_i,d_j$$d_i, d_j$ 是第 $i$$i$ 个field 和第 $j$$j$ 个field 的不同维度。

   ${\mathbf{W}}_{l,i,j}^{(c)}$$\mathbf W^{(c)}_{l,i,j}$ 刻画的是第 $l+1$$l+1$ 阶的第 $i$$i$ 个 field 与第 $l$$l$ 阶的第 $j$$j$ 个 field 之间的一阶交叉的重要性。

   此外，随着交叉层的增加，相应的交叉矩阵可以进一步表明多个field 之间的固有的relation importance 。

   • Figure 5(a) 展示了GCN在Criteo数据集上学到的第一阶交叉层的分块交叉矩阵 ${\mathbf{W}}_1^{(c)}$$\mathbf W_1^{(c)}$ 的热力图。与DCN-V2 类似，每个color box 代表相应分块矩阵 ${\mathbf{W}}_{i,j}$$\mathbf W_{i,j}$ 的Frobenius 范数，表示field cross 的重要性。红色越深，表示学到的交叉越强，例如<#3, #2> 和<#9, #6>。

   • 将FDO 方法应用于GCN时，GCN-FDO仍然能够捕获相似的交叉重要性，如Figure 5(b) 所示。两个矩阵之间的余弦相似度为0.89，表明在应用FDO之前和之后，在捕获固有field cross 重要性方面具有很强的一致性。

   

3. 动态的instance interpretability：基于模型的可解释性可以捕获不同field 之间的静态关系，但由于模型训练完成后交叉矩阵保持不变，因此存在局限性。然而，GCN 还通过information gate 学到的gate weights 提供动态可解释性，为每个input instance 提供bit-wise 的和field-wise 的解释。

   我们从Criteo 数据集中随机选择两个实例来可视化学到的gate weights ，并检查从第一个到第三个gated cross layer 的gate values 。

   • Figure 6(a) 展示了bit-wise gate weight vectors ，每层的维度为 ${\mathbb{R}}^{1\times (39\ast 16)}$$\mathbb R^{1\times (39*16)}$，显示了每个bit-wise cross 的重要性。使用bit-wise gate vector ，我们通过对每个field 对应的16-bit values 取平均值来导出field-wise gate vectors 。

   • Figure 6(b) 显示了field-wise gate weight vectors （${\mathbb{R}}^{1\times 39}$$\mathbb R^{1\times 39}$），表示每个specific feature 的重要性。由于gated cross layer 中的gate weights 是使用sigmoid 函数计算的，因此red blocks （大于0.5 ）表示重要特征，而blue blocks （小于0.5 ）表示不重要特征。

   Figure 6(a) 和Figure 6(b) 揭示了bit-level 和field-level 的交叉特征的重要性，以及它们在每个实例的不同cross layers 中是如何变化的。

   • 通常，低阶特征交叉包含更重要的特征，而高阶特征交叉包含不太重要的特征。在第一层中，许多特征交叉被标识为重要的（红色块），而在第二和第三交叉层中，大多数交叉是中性的（白色块）或不重要的（蓝色块），尤其是在第三层。这符合我们的直觉：随着交叉层的增加，重要的交叉特征的数量显著减少，因此我们设计了information gate 来自适应地选择重要特征。相反，大多数模型在建模高阶交叉时无法选择有用的特征交叉，导致性能下降，如《Deeper 高阶特征交叉》 章节所证实的。

   • 此外，从Figure 6(b) 中，我们可以识别出重要的或不重要的特定特征，例如特征{#20, #23, #28} 很重要，而特征{#6, #11, #30} 不重要。我们还可以从input instance 中引用这些specific important features 的名称。一旦我们知道哪些特征有影响，我们就可以解释甚至干预有助于用户点击率的相关特征。

   

   最后，在Figure 7 中，我们记录并平均了M 个实例的field-level gate vectors ，表明每个field 的平均重要性，特别是在第一层。例如，field {#20, #23, #24} 非常重要，而field {#11, #27, #30} 相对较不重要。此外，Figure 7 从统计角度进一步验证了随着交叉层的增加，重要交叉特征的数量显著减少。

   

47.3.4 FDO 的综合分析

1. 效果分析：我们将FDO方法应用于GCN，并通过保持information ratio 从50% 到98%来评估其性能。Table 5 显示了结果，包括权重平均维度 $\overline{D}$$\bar D$ 、算术平均维度 $\overline{K}$$\bar K$ 和参数总数 (#Params)。

   • 当保持80% 的information ratio 时，我们只需要23%的参数，而模型的性能与完整模型相当。

   • 此外，当information ratio 在80% 到98%之间时，模型性能甚至比完整模型更好。这是因为FDO refine 了每个field 的特征维度，消除了非必要的维度信息并减少了交叉过程中的冗余。

   • 然而，当information ratio 较低（即低于80% ）时，较短的维度无法充分表示相应field 的特征，导致预测性能显著下降。

   • 最后，我们将整个模型的维度从16 减少到8，大约相当于95% 比率下的加权平均维度（7.56 ）。虽然它直接减少了模型的参数，但也导致了性能的下降。其他研究同样证实了减少embedding 大小的负面影响。相比之下，FDO 方法可以更直接地减少参数数量，同时实现相媲美的性能。

   

2. 内存和效率比较：在Criteo 数据集上，我们在删除低频特征后总共有1.086M 个特征。当使用固定维度（$K=16$$K=16$）时，embedding 参数约为17.4M 。如Figure 8 所示：

   • 大多数现有模型的参数范围从18M到20M，主要是由于embedding 参数。

   • 通过应用FDO ，我们可以直接减少embedding 参数。同时，GCN-FDO 和GDCN-PFDO 仅使用约5M 模型参数就实现了相媲美的准确率

   我们进一步比较了现有SOTA 模型的训练时间：

   • 未经维度优化的GCN 和GDCN的训练时间与DNN和DCN-V2相当。

   • 应用FDO 后，GCN-FDO和GDCN-P-FDO 以更少的参数和更快的训练速度超越了所有的SOTA 模型。

   

3. 兼容性分析：我们进一步将FDO应用于DNN、CNV2、DCN-V2 和FmFM，它们不需要相同的field 维度。此外，我们将FDO 与分配固定维度、以及FDO 章节中提到的分配不同维度的Formula method 进行了比较。Table 6 显示了结果。

   • 首先，Formula method 增加了模型参数并降低了其性能，因为它只考虑每个field 中的特征数量，而忽略了field 在训练过程中的重要性。相反，FDO 是一种后验方法，它通过在trained embedding table 中合并重要信息来学习field 维度。

   • 其次，将FDO应用于CN-V2和GCN 比base 模型获得了更好的性能。由于CN-V2 和GCN 主要关注显式的bit-level 特征交叉，FDO通过删除不必要的embedding 信息来refine field 维度。然而，将FDO 应用于包含DNN网络的DNN、DCN-V2和GDCN-P 会导致性能略有下降。

   • 最后，这些结果表明，我们可以使用FDO 基于SOTA 模型获取group field dimensions ，并将其复用为其他模型的默认维度。在Table 6 的最后一行，我们基于GCN学习了具有95% information ratio 的group field dimensions ，并将其应用于其他五个模型。与使用模型本身学到维度相比，这种方法实现了相媲美的性能，并且进一步减少了参数数量。

     可以只需要训练一次，就可以将 group field dimension 应用到多个模型，这降低了获取 group field dimension 的成本。

   

4. 对condensed field dimensions 的理解：通过FDO 学到的field 维度表明了相应field 的重要性。

   • 如Figure 7 所示，我们可以确定每个field 的平均重要性，例如field {#20, #23, #24} 很重要，而field {#11, #27, #30} 则不重要。

   • 参考Table 1 ，在应用95% information ratio 的FDO 后，field {#20, #23, #24} 确实具有更长的维度。相反，field {#11, #27, #30} 的维度较短。

   为了进一步验证这一观察结果，我们计算了第一层中averaged field importance 与 95% ratio 的optimization field dimensions 之间的皮尔逊相关系数。相关系数为0.82 ，p-value 小于 ${10}^{-9}$$10^{-9}$，这证实了field 维度与其各自重要性之间存在显著相关性。因此，我们可以直接从FDO 学到的field 维度粗略地识别哪些field 是重要的。

   请注意，field 维度并不总是与field 中的特征数量相关。例如，field {#16, #25} 具有最大的特征数量，但它们的field 维度很短，其重要性也不大。如果使用Formula method 分配field维度，则field {#16, #25} 将具有最长的维度。这种比较进一步凸显了所引入的FDO 方法的合理性和优越性。

四十八、DCN V3[2024]

《DCNv3: Towards Next Generation Deep Cross Network for Click-Through Rate Prediction》

1. Deep & Cross Network 及其衍生模型面临四个主要限制：

   • 现有的显式feature interaction 方法的性能通常弱于隐式的deep neural network: DNN ，从而削弱了它们的必要性。

   • 许多模型在增加feature interactions 的阶数时无法自适应地过滤噪声。

   • 大多数模型的fusion 方法无法为其不同子网络提供合适的监督信号。

   • 虽然大多数模型声称可以捕获高阶feature interactions ，但它们通常通过DNN 以隐式的和不可解释的方式进行，这限制了模型预测的可信度。

   为了解决已发现的局限性，本文提出了下一代深度交叉网络：Deep Cross Network v3: DCNv3 ，以及它的两个子网络：Linear Cross Network: LCN 和 Exponential Cross Network: ECN 用于CTR 预测。DCNv3 在feature interaction modeling 中可解释性的同时，线性地和指数地增加feature interaction 的阶数，实现真正的Deep Crossing ，而不仅仅是Deep & Cross 。此外，我们采用Self-Mask 操作来过滤噪声，并将Cross Network 中的参数数量减少一半。在fusion layer ，我们使用一种简单但有效的multi-loss trade-off and calculation 方法Tri-BCE ，来提供适当的监督信号。在六个数据集上的全面实验证明了DCNv3 的有效性、效率和可解释性。

2. 大多数interaction-based 的 CTR 预测模型都遵循DCN提出的范式，该范式旨在构建显式的和隐式的feature interactions ，并融合不同interaction information 的predictions 以增强可解释性和准确性。尽管当前的CTR范式非常有效，但仍存在一些需要克服的局限性：

   • explicit interactions 的必要性有限：如Figure 1 所示，大多数仅使用显式feature interactions 的模型（例如CIN）的AUC 性能低于81.3，而deep neural network: DNN 的AUC性能更好，为81.4。这表明大多数explicit modeling 方法的性能弱于implicit DNN ，这无疑削弱了集成显式feature interactions 的必要性。然而，一些工作也强调了DNN 在捕获multiplicative feature interactions 方面的局限性。因此，有必要探索一种更有效的方法用于显式feature interactions 。

   • 噪声过滤能力低下：许多研究指出CTR 模型包含大量冗余feature interactions 和噪声，尤其是在高阶feature interactions 中。因此，大多数CTR模型仅使用两到三个网络层来构建，放弃了对有效高阶feature interaction 信息的explicit capture 。同时，为模型过滤噪声通常会产生额外的计算成本，从而导致更长的训练时间和推理时间，可能会抵消提高模型准确率所带来的好处。

   • 监督信号不足且没有区分性：大多数同时使用显式和隐式feature interaction 方法的模型都需要一个fusion layer 来获得最终预测。然而，它们只使用final prediction 来计算损失，而不是为不同方法本身提供适当的监督信号。这削弱了监督信号的有效性。此外，一些研究，例如Figure 1 中的CL4CTR，试图引入辅助损失来提供额外的监督信号。然而，这通常会引入额外的计算成本和loss trade-off 超参数，增加了超参数调优的难度。因此，一种简单、高效、有效的计算监督信号的方法至关重要。

   • 缺乏可解释性：如Figure 1 所示，大多数模型集成DNN 来建模隐式高阶feature interactions ，并实现81.3 到81.5 之间的AUC性能。这证明了隐式feature interactions 的有效性。然而，隐式feature interactions 缺乏可解释性，这降低了CTR 模型预测的可信度。

   为了解决这些局限性，本文提出了下一代deep cross network ：Deep Cross Network v3: DCNv3 ，以及它的两个子网络：Linear Cross Network: LCN 和Exponential Cross Network: ECN。DCNv3 集成了低阶的和高阶的feature interactions ，同时通过避免使用DNN 进行隐式高阶feature interaction modeling 来确保模型的可解释性。具体而言，我们引入了一种新的指数增长的Deep Crossing 方法来显式地建模高阶feature interactions ，并将以前的交叉方法归类为Shallow Crossing 。同时，我们设计了一个Self-Mask 操作来过滤噪声并将Cross Network 中的参数数量减少一半。在fusion layer ，我们提出了一种简单而有效的multi-loss 计算方法，称为Tri-BCE ，为不同的子网络提供合适的监督信号。

   本文贡献：

   • 据我们所知，这是第一篇仅使用显式 feature interaction modeling 而不集成DNN 就实现令人惊讶的性能的作品，这可能与过去CTR prediction 文献中的流行范式形成鲜明对比。因此，这项工作可能会激发对feature interaction modeling 的进一步回顾和创新。

   • 我们引入了一种新颖的feature interaction modeling 方法，称为Deep Crossing ，它随着层数的增加而呈指数增长，从而实现真正的deep cross network 。该方法显式地捕获feature interaction 信息，同时使用Self-Mask 操作将参数数量减少一半并过滤噪声。

   • 我们提出了一种新颖的CTR 模型，称为DCNv3 ，它通过两个子网络LCN 和ECN 显式地捕获低阶和高阶feature interactions 。此外，我们引入了一种简单而有效的multi-loss trade-off and calculation 方法，称为Tri-BCE ，以确保不同的子网络接收适当的监督信号。

   • 在六个数据集上进行的全面实验证明了DCNv3 的有效性、效率和可解释性。根据我们的实验结果，我们的模型在多个CTR 预测benchmarks 上取得了第一名的排名。

   论文核心思想还可以，就是效果可能没有达到预期，导致作者搞了一些 tricky 的操作（比如所谓的 self-mask ）来提升性能，导致实验的对比结果不太可信。

   

3. Feature Interaction：

   • 隐式feature interaction 旨在使用DNN 自动学习复杂的non-manually defined 的数据模式和高阶feature interactions 。它效率高，表现良好，但缺乏可解释性。

   • 显式feature interaction 旨在通过预定义的函数直接建模输入特征之间的组合和关系，从而提高模型的可解释性。

   线性增加显式feature interaction 的一种流行方法是 ${\mathbf{X}}_n={\mathbf{X}}_1\odot {\mathbf{X}}_{n-1}$$\mathbf X_n = \mathbf X_1\odot \mathbf X_{n-1}$ 。该方法使用Hadamard Product 将特征 ${\mathbf{X}}_{n-1}$$\mathbf X_{n-1}$ 与 ${\mathbf{X}}_1$$\mathbf X_1$ 交互以生成第 $n$$n$ 阶特征 ${\mathbf{X}}_n$$\mathbf X_n$。同时，一种指数级增加显式feature interaction 的方法是 ${\mathbf{X}}_{2^n}={\mathbf{X}}_{2^{n-1}}\odot {\mathbf{X}}_{2^{n-1}}$$\mathbf X_{2^n} = \mathbf X_{2^{n-1}} \odot \mathbf X_{2^{n-1}}$，它可以更有效地生成高阶特征。

   所谓 “更有效地生成高阶特征” 指的是用更少的层数获得更高阶的特征。

48.1 模型

1. 模型架构如下图所示。

   ECN 和 LCN 的主要区别在与左侧的输入。

   

48.1.1 Embedding & Reshape Layer

1. CTR prediction 任务的输入 $\mathbf{X}$$\mathbf X$ 是multi-field categorical data ，使用one-hot encoding 来表示。大多数CTR 预测模型利用embedding layer 将它们转换为低维稠密向量：

其中：${\mathbf{E}}_i\in {\mathbb{R}}^{d\times s_i}$$\mathbf E_i\in \mathbb R^{d\times s_i}$ 为embedding matrix ，$d$$d$ 为embeddin 维度，$s_i$$s_i$ 为第 $i$$i$ 个field 的vocabulary size 。

2. 在我们的模型中，为了使网络能够从multi-views 中获得更丰富的信息，我们使用分块操作来reshape the embeddings ，将它们分成两个不同的视图：

   $${\overrightarrow{\mathbf{e}}}_{i,a},{\overrightarrow{\mathbf{e}}}_{i,b}=\text{chunk}\left({\overrightarrow{\mathbf{e}}}_i\right)$$

   其中：${\overrightarrow{\mathbf{e}}}_{i,a}$$\mathbf{\vec e}_{i,a}$ 被视为original view ，${\overrightarrow{\mathbf{e}}}_{i,b}$$\mathbf{\vec e}_{i,b}$ 被视为another view 。

   进一步，我们可以得到reshaping 后的resulting embedding：

   $${\overrightarrow{\mathbf{x}}}_1=[{\overrightarrow{\mathbf{e}}}_{1,a},\cdots ,{\overrightarrow{\mathbf{e}}}_{f,a},{\overrightarrow{\mathbf{e}}}_{1,b},\cdots ,{\overrightarrow{\mathbf{e}}}_{f,b}]\in {\mathbb{R}}^D$$

   其中：$f$$f$ 为fields 数量，$D=\sum _{i=1}^{f}d$$D=\sum_{i=1}^f d$ 为总的embedding 维度，${\overrightarrow{\mathbf{x}}}_1$$\mathbf{\vec x}_1$ 为一阶特征并且作为LCN 和ECN 的输入。

   chunk() 函数是什么？作者讲的不明不白。读者猜测是：将每个 field 的 embedding 向量一分为二；左半边拼接起来，构成 original view；右半边拼接起来，构成 anoher view 。

   这么做的目的是为了下游的 Self-Mask 操作而准备的。但是，为什么不用 FFM 来做投影呢？

48.1.2 Deep Cross Network v3

1. LCN：用于具有线性增长的低阶（浅）的explicit feature interaction 。其递归公式如下：

   $$\begin{array}{c}{\overrightarrow{\mathbf{c}}}_l={\mathbf{W}}_l{\overrightarrow{\mathbf{x}}}_l+{\overrightarrow{\mathbf{b}}}_l\\ {\overrightarrow{\mathbf{x}}}_{l+1}={\overrightarrow{\mathbf{x}}}_1\odot [{\overrightarrow{\mathbf{c}}}_l||\text{Mask}\left({\overrightarrow{\mathbf{c}}}_l\right)]+{\overrightarrow{\mathbf{x}}}_l\end{array}$$

   其中：

   • ${\overrightarrow{\mathbf{c}}}_l\in {\mathbb{R}}^{D/2}$$\mathbf{\vec c}_l\in \mathbb R^{D/2}$ 表示第 $l$$l$ 层（在original view ）的Cross Vector 。

   • ${\mathbf{W}}_l\in {\mathbb{R}}^{D/2\times D},{\overrightarrow{\mathbf{b}}}_i\in {\mathbb{R}}^{D/2}$$\mathbf W_l\in \mathbb R^{D/2\times D}, \mathbf{\vec b}_i\in\mathbb R^{D/2}$ 分别为可学习的权重矩阵和偏置向量。

   • ${\overrightarrow{\mathbf{x}}}_l\in {\mathbb{R}}^D$$\mathbf{\vec x}_l\in \mathbb R^D$ 表示第 $l$$l$ 阶的feature interaction 。

   • Mask 表示Self-Mask （在another view ），稍后将详细介绍。$\cdot ||\cdot$$\cdot||\cdot$ 表示向量拼接。

     为什么将 Mask 拼接上来而不是与 ${\overrightarrow{\mathbf{c}}}_{\mathbf{l}}$$\mathbf{\vec c_l}$ 相乘？读者猜测是因为相乘的效果不好，所以搞了个拼接操作，不伦不类。

   由于线性增长的feature interaction 方法难以在有限的层数内捕获高阶交互，因此我们引入ECN 来实现真正的、高效的deep cross network 。

2. ECN：作为DCNv3 的核心结构，用于指数级增长的高阶（深度）explicit feature interaction 。其递归公式为：

   $$\begin{array}{c}{\overrightarrow{\mathbf{c}}}_l={\mathbf{W}}_l{\overrightarrow{\mathbf{x}}}_{2^{l-1}}+{\overrightarrow{\mathbf{b}}}_l\\ {\overrightarrow{\mathbf{x}}}_{2^l}={\overrightarrow{\mathbf{x}}}_{2^{l-1}}\odot [{\overrightarrow{\mathbf{c}}}_l||\text{Mask}\left({\overrightarrow{\mathbf{c}}}_l\right)]+{\overrightarrow{\mathbf{x}}}_{2^{l-1}}\end{array}$$

   其中：${\overrightarrow{\mathbf{x}}}_{2^l}\in {\mathbb{R}}^D$$\mathbf{\vec x}_{2^l}\in \mathbb R^D$ 表示第 $2^l$$2^l$ 阶的feature interaction 。

   从Figure 3 可以看出，原始的Cross Network v2 本质上是一种shallow crossing 方法，通过层的堆叠实现feature interactions 阶次的线性增长。实验表明，DCNv2 中交叉层的最佳数量为2 或3，其大部分性能来自负责隐式交互的DNN 。相比之下，ECN 将 ${\overrightarrow{\mathbf{x}}}_1$$\mathbf{\vec x}_1$ 修改为 ${\overrightarrow{\mathbf{x}}}_{2^{l-1}}$$\mathbf{\vec x}_{2^{l-1}}$ ，实现feature interactions 阶次的指数级增长，从而在有限的层数内实现特征的Deep Crossing ，显式地捕获高阶feature interactions 。

   

3. Self-Mask：Figure 3 可视化了不同crossing 方法的计算过程。Cross Vector ${\overrightarrow{\mathbf{c}}}_l$$\mathbf{\vec c}_l$ 目标是在bit-level 建模特征之间的交互，而权重矩阵 ${\mathbf{W}}_l$$\mathbf W_l$ 旨在计算不同feature fields 的固有重要性。然而，正如一些论文指出的那样，并非所有feature interactions 都对CTR 任务中的最终预测有益。因此，我们在another view 中引入了Self-Mask 操作来过滤掉feature interactions 中的噪声信息（对应于 $\text{Mask}\left({\overrightarrow{\mathbf{c}}}_l\right)$$\text{Mask}\left(\mathbf{\vec c}_l\right)$），同时保持original view 的交互信息的完整性（对应于 ${\overrightarrow{\mathbf{c}}}_l$$\mathbf{\vec c}_l$ ）。Self-Mask 操作如下：

   $$\begin{array}{c}\text{Mask}\left({\overrightarrow{\mathbf{c}}}_l\right)={\overrightarrow{\mathbf{c}}}_l\odot max(0,\text{LN}\left({\overrightarrow{\mathbf{c}}}_l\right))\\ \text{LN}\left({\overrightarrow{\mathbf{c}}}_l\right)=\overrightarrow{\mathbf{g}}\odot \text{Norm}\left({\overrightarrow{\mathbf{c}}}_l\right)+\overrightarrow{\mathbf{b}},\text{Norm}\left({\overrightarrow{\mathbf{c}}}_l\right)=\frac{{\overrightarrow{\mathbf{c}}}_l-\mu }{\delta }\\ \mu =\frac{2}{D}\sum _{i=1}^{D/2}{c}_{l.i},\delta =\sqrt{\frac{2}{D}\sum _{i=1}^{D/2}(c_{l,i}-\mu {)}^2}\end{array}$$

   其中LN 表示LayerNorm ：

   • $\mu \in \mathbb{R}$$\mu \in \mathbb R$ 和 $\sigma \in \mathbb{R}$$\sigma \in \mathbb R$ 分别为 ${\overrightarrow{\mathbf{c}}}_l$$\mathbf{\vec c}_l$ 的均值和标准差，$c_{l,i}\in \mathbb{R}$$c_{l,i}\in \mathbb R$ 表示 ${\overrightarrow{\mathbf{c}}}_l$$\mathbf{\vec c}_l$中的第 $i$$i$ 元素。

   • 增益向量 $\overrightarrow{\mathbf{g}}\in {\mathbb{R}}^{D/2}$$\mathbf{\vec g}\in \mathbb R^{D/2}$ 和偏置向量 $\overrightarrow{\mathbf{b}}\in {\mathbb{R}}^{D/2}$$\mathbf{\vec b}\in \mathbb R^{D/2}$ 都是待学习的参数。

   这里也可以使用其他mask 机制，例如基于伯努利分布的random Mask 、基于Top-K 选择的learnable Mask 等。为了确保我们提出的模型简单而有效，我们使用LayerNorm 对 ${\overrightarrow{\mathbf{c}}}_l$$\mathbf{\vec c}_l$ 进行正态分布变换，确保 $\text{Mask}\left({\overrightarrow{\mathbf{c}}}_l\right)$$\text{Mask}\left(\mathbf{\vec c}_l\right)$ 包含大约50% 的零值，以滤掉噪声并提高计算效率。

4. Fusion：大多数先前的CTR 模型试图建模显式和隐式feature interactions ，这本质上意味着同时捕获低阶和高阶feature interactions 。我们的DCNv3 通过整合LCN和ECN来实现这一点，避免使用可解释性较差的DNN：

   $$\begin{array}{c}{\hat{y}}_D=\sigma ({\mathbf{W}}_D{\overrightarrow{\mathbf{x}}}_{2^L}+b_D),{\hat{y}}_S=\sigma ({\mathbf{W}}_S{\overrightarrow{\mathbf{x}}}_{L+1}+b_S)\\ \hat{y}=\text{Mean}({\hat{y}}_D,{\hat{y}}_S)\end{array}$$

   其中：

   • ${\mathbf{W}}_D,{\mathbf{W}}_S\in {\mathbb{R}}^{1\times D}$$\mathbf W_D,\mathbf W_S\in \mathbb R^{1\times D}$ 表示可学习的权重，$b_D,b_S\in \mathbb{R}$$b_D, b_S\in \mathbb R$ 为偏置。

   • Mean 表示均值运算，$L$$L$ 表示层的last number 。

   • ${\hat{y}}_D,{\hat{y}}_S,\hat{y}$$\hat y_D, \hat y_S, \hat y$ 分别表示ECN、LCN和DCNv3 的预测结果。