词的表达

1. 给定包含 $N$$N$ 篇文档的语料库 $\mathbb{D}=\{{\mathcal{D}}_1,{\mathcal{D}}_2,\cdots ,{\mathcal{D}}_N\}$$\mathbb D =\{\mathcal D_1,\mathcal D_2,\cdots,\mathcal D_N \}$ ，所有的单词来自于包含 $V$$V$ 个词汇的词汇表 $\mathbb{V}=\{{\text{word}}_1,{\text{word}}_2,\cdots ,{\text{word}}_V\}$$\mathbb V = \{\text{word}_1,\text{word}_2,\cdots,\text{word}_V\}$，其中 $V$$V$ 表示词汇表的大小 。

   每篇文档 ${\mathcal{D}}_i$$\mathcal D_i$ 包含单词序列 $({\text{word}}_{w_1^i},{\text{word}}_{w_2^i},\cdots ,{\text{word}}_{w_{n_i}^i})$$(\text{word}_{w_1^i},\text{word}_{w_2^i},\cdots,\text{word}_{w_{n_i}^i} )$ ，其中 $w_j^i\in \{1,2,\cdots ,V\}$$w_j^i \in \{1,2,\cdots,V\}$ 表示第 $i$$i$ 篇文档的第 $j$$j$ 个单词在词汇表中的编号，$n_i$$n_i$ 表示第 $i$$i$ 篇文档包含 $n_i$$n_i$ 个单词。

   词的表达任务要解决的问题是：如何表示每个词汇 ${\text{word}}_v$$\text{word}_v$。

2. 最简单的表示方式是one-hot 编码：对于词汇表中第 $v$$v$ 个单词 ${\text{word}}_v$$\text{word}_v$，将其表示为 ${\text{word}}_v\to (0,0,\cdots ,0,1,0,\cdots ,0{)}^T$$\text{word}_v \rightarrow (0,0,\cdots,0,1,0,\cdots,0)^T$ ，即第 $v$$v$ 位取值为1，剩余位取值为0 。

   这种表示方式有两个主要缺点：

   • 无法表达单词之间的关系：对于任意一对单词 $({\text{word}}_i,{\text{word}}_j)$$(\text{word}_i,\text{word}_j)$，其向量距离均为 $\sqrt{2}$$\sqrt 2$ 。

   • 向量维度过高：对于中文词汇表，其大小可能达到数十万，因此one-hot 向量的维度也在数十万维。这对于存储、计算都消耗过大。

3. BOW:Bag of Words：词在文档中不考虑先后顺序，这称作词袋模型。

一、向量空间模型 VSM

1. 向量空间模型主要用于文档的表达。

2. 向量空间模型假设单词和单词之间是相互独立的，每个单词代表一个独立的语义单元。实际上该假设很难满足：

   • 文档中的单词和单词之间存在一定关联性，单词和其前面几个单词、后面几个单词可能存在语义上的相关性，而向量空间模型忽略了这种上下文的作用。

   • 文档中存在很多的一词多义和多词同义的现象，每个单词并不代表一个独立的语义单元。

1.1 文档-单词 矩阵

1. 给定语料库 $\mathbb{D}$$\mathbb D$ 和词汇表 $\mathbb{V}$$\mathbb V$，定义文档-单词 矩阵为：

   $$\begin{array}{}\text{(1)}& \begin{array}{cccccc}& {\text{word}}_1& {\text{word}}_2& {\text{word}}_3& \cdots & {\text{word}}_V\\ \\ {\mathcal{D}}_1& 0& 0& 1& \cdots & 0\\ {\mathcal{D}}_2& 1& 0& 1& \cdots & 0\\ ⋮& ⋮& ⋮& ⋮& \ddots & ⋮\\ {\mathcal{D}}_N& 0& 1& 1& \cdots & 0\end{array}\end{array}$$

   令矩阵为 $\mathbf{D}$$\mathbf D$ ，则： $D(i,j)=1$$D(i,j)=1$ 表示文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中含有单词 ${\text{word}}_j$$\text{word}_j$ ；$D(i,j)=0$$D(i,j)=0$ 表示文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中不含单词 ${\text{word}}_j$$\text{word}_j$ 。

   于是文档 ${\mathcal{D}}_i$$\mathcal D_i$ 表示为：${\mathcal{D}}_i\to (0,1,0,1,\cdots ,0{)}^T$$\mathcal D_i \rightarrow (0,1,0,1,\cdots,0)^T$ ，其中文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中包含的单词对应的位置取值为1，其它位置取值为 0 。

2. 事实上，文档的上述表达并未考虑单词的顺序，也未考虑单词出现的次数。一种改进策略是考虑单词出现的次数，从而赋予文档-单词 矩阵以不同的权重：

   $$\begin{array}{}\text{(2)}& \begin{array}{c}\mathbf{D}=\left[\begin{array}{ccccc}{w}_{1,1}& w_{1,2}& w_{1,3}& \cdots & w_{1,V}\\ w_{2,1}& w_{2,2}& w_{2,3}& \cdots & w_{2,V}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ w_{N,1}& w_{N,2}& w_{N,3}& \cdots & w_{N,V}\end{array}\right]\end{array}\end{array}$$

   其中 $w_{i,j}$$w_{i,j}$ 表示单词 ${\text{word}}_j$$\text{word}_j$ 在文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中的权重。

   • 如果单词 ${\text{word}}_j$$\text{word}_j$ 在文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中未出现，则权重 $w_{i,j}=0$$w_{i,j}=0$

   • 如果单词 ${\text{word}}_j$$\text{word}_j$ 在文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中出现，则权重$w_{i,j}\ne 0$$w_{i,j}\ne 0$

3. 权重$w_{i,j}$$w_{i,j}$ 有两种常用的选取方法：

   • 单词权重等于单词出现的频率TF：$w_{i,j}=TF({\mathcal{D}}_i,{\text{word}}_j)$$w_{i,j} = TF(\mathcal D_i,\text{word}_j)$ 。

     • 函数 $TF({\mathcal{D}}_i,{\text{word}}_j)$$TF(\mathcal D_i,\text{word}_j)$ 返回单词 ${\text{word}}_j$$\text{word}_j$ 在文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中出现的频数。

     • 其缺点是：一些高频词（如：我们，是，大家）以较大的权重出现在每个文档中，这意味着对每篇文档这些高频词是比较重要的。事实上对于绝大多数 NLP 任务，将这些词过滤掉不会有任何影响。

   • 单词权重等于单词的TF-IDF：$w_{i,j}=TF({\mathcal{D}}_i,{\text{word}}_j)\times IDF({\text{word}}_j)$$w_{i,j} = TF(\mathcal D_i,\text{word}_j) \times IDF(\text{word}_j)$ 。

     • 函数 $IDF({\text{word}}_j)$$IDF(\text{word}_j)$ 是单词的逆文档频率：$IDF({\text{word}}_j)=\log \frac{N}{DF({\text{word}}_j)}$$IDF(\text{word}_j) = \log \frac{N}{DF(\text{word}_j)}$ 。其中：$N$$N$ 为语料库的文档数量，$DF({\text{word}}_j)$$DF(\text{word}_j)$ 为出现单词 ${\text{word}}_j$$\text{word}_j$ 的文档的数量，$\frac{DF({\text{word}}_j)}{N}$$\frac {DF(\text{word}_j)}{N}$ 为单词 ${\text{word}}_j$$\text{word}_j$ 出现在一篇文档中的概率。

     • TF-IDF 对于高频词进行降权。如果单词 ${\text{word}}_j$$\text{word}_j$ 出现在大多数文档中，则 $\frac{DF({\text{word}}_j)}{N}$$\frac {DF(\text{word}_j)}{N}$ 较大，因此 $IDF({\text{word}}_j)$$IDF(\text{word}_j)$ 会较小。

4. TF-IDF 不仅考虑了单词的局部特征，也考虑了单词的全局特征。

   • 词频 $TF({\mathcal{D}}_i,{\text{word}}_j)$$TF(\mathcal D_i,\text{word}_j)$ 描述了单词 ${\text{word}}_j$$\text{word}_j$ 在文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中的局部统计特征。

   • 逆文档频率 $IDF({\text{word}}_j)$$IDF(\text{word}_j)$ 描述了单词 ${\text{word}}_j$$\text{word}_j$ 在语料库 $\mathbb{D}$$\mathbb D$ 中的全局统计特征。

1.2 相似度

1. 给定 文档-单词 矩阵，则很容易得到文档的向量表达：${\mathcal{D}}_i\to (w_{i,1},w_{i,2},\cdots ,w_{i,V}{)}^T$$\mathcal D_i \rightarrow (w_{i,1},w_{i,2},\cdots,w_{i,V})^T$ 。

   给定文档 ${\mathcal{D}}_i,{\mathcal{D}}_j$$\mathcal D_i,\mathcal D_j$ ，则文档的相似度为：

   $$\begin{array}{}\text{(3)}& similar({\mathcal{D}}_i,{\mathcal{D}}_j)=\cos ({\overrightarrow{\mathbf{w}}}_i,{\overrightarrow{\mathbf{w}}}_j)=\frac{{\overrightarrow{\mathbf{w}}}_i\cdot {\overrightarrow{\mathbf{w}}}_j}{||{\overrightarrow{\mathbf{w}}}_i||\cdot ||{\overrightarrow{\mathbf{w}}}_j||}\end{array}$$

   其中 ${\overrightarrow{\mathbf{w}}}_i=(w_{i,1},w_{i,2},\cdots ,w_{i,V}{)}^T,{\overrightarrow{\mathbf{w}}}_j=(w_{j,1},w_{j,2},\cdots ,w_{j,V}{)}^T$$\mathbf{\vec w}_i= (w_{i,1},w_{i,2},\cdots,w_{i,V})^T,\quad \mathbf{\vec w}_j= (w_{j,1},w_{j,2},\cdots,w_{j,V})^T$。

   也可以使用其它方式的相似度，如 $L_2$$L_2$ 距离相似度。

二、LSA

1. 潜在语义分析latent semantic analysis:LSA 的基本假设是：如果两个词多次出现在同一篇文档中，则这两个词具有语义上的相似性。

2.1 原理

1. 给定文档-单词 矩阵 $\mathbf{D}$$\mathbf D$

   $$\begin{array}{}\text{(4)}& \begin{array}{c}\mathbf{D}=\left[\begin{array}{ccccc}{w}_{1,1}& w_{1,2}& w_{1,3}& \cdots & w_{1,V}\\ w_{2,1}& w_{2,2}& w_{2,3}& \cdots & w_{2,V}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ w_{N,1}& w_{N,2}& w_{N,3}& \cdots & w_{N,V}\end{array}\right]\end{array}\end{array}$$

   其中 $w_{i,j}$$w_{i,j}$ 表示单词 ${\text{word}}_j$$\text{word}_j$ 在文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中的权重，可以为：单词 ${\text{word}}_j$$\text{word}_j$ 在文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中是否出现的0/1 值、单词 ${\text{word}}_j$$\text{word}_j$ 在文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中出现的频次、或者单词 ${\text{word}}_j$$\text{word}_j$ 在文档 ${\mathcal{D}}_i$$\mathcal D_i$ 中的TF-IDF 值。

2. 定义 ${\overrightarrow{\mathbf{v}}}_j=(w_{1,j},w_{2,j},\cdots ,w_{N,j}{)}^T$$\mathbf{\vec v}_j=(w_{1,j},w_{2,j},\cdots,w_{N,j})^T$， 它为矩阵 $\mathbf{D}$$\mathbf D$ 的第 $j$$j$ 列，代表单词 ${\text{word}}_j$$\text{word}_j$ 的单词-文档向量，描述了该单词和所有文档的关系。

   • 向量内积 ${\overrightarrow{\mathbf{v}}}_p\cdot {\overrightarrow{\mathbf{v}}}_q$$\mathbf{\vec v}_p\cdot \mathbf{\vec v}_q$ 描述了单词 ${\text{word}}_p$$\text{word}_p$ 和单词 ${\text{word}}_q$$\text{word}_q$ 在文档集合中的相似性。

   • 矩阵乘积 ${\mathbf{D}}^T\mathbf{D}\in {\mathbb{R}}^{V\times V}$$\mathbf D^T\mathbf D \in \mathbb R^{V\times V}$ 包含了所有词向量内积的结果。

3. 定义 ${\overrightarrow{\mathbf{d}}}_i=(d_{i,1},d_{i,2},\cdots ,d_{i,V}{)}^T$$\mathbf{\vec d}_i= (d_{i,1},d_{i,2},\cdots,d_{i,V})^T$ ，它为矩阵 $\mathbf{D}$$\mathbf D$ 的第 $i$$i$ 行，代表文档 ${\mathcal{D}}_i$$\mathcal D_i$ 的文档-单词向量，描述了该文档和所有单词的关系。

   • 向量内积 ${\overrightarrow{\mathbf{d}}}_s\cdot {\overrightarrow{\mathbf{d}}}_t$$\mathbf{\vec d}_s\cdot \mathbf{\vec d}_t$ 描述了文档 ${\mathcal{D}}_s$$\mathcal D_s$ 和文档 ${\mathcal{D}}_t$$\mathcal D_t$ 在文档集合中的相似性。

   • 矩阵乘积 $\mathbf{D}{\mathbf{D}}^T\in {\mathbb{R}}^{N\times N}$$\mathbf D\mathbf D^T \in \mathbb R^{N\times N}$ 包含了所有文档向量内积的结果。

4. 对矩阵 $\mathbf{D}$$\mathbf D$ 进行SVD 分解。假设矩阵 $\mathbf{D}$$\mathbf D$ 可以分解为：$\mathbf{D}=\mathbf{P}\mathbf{\Sigma }{\mathbf{Q}}^T$$\mathbf D = \mathbf P \mathbf \Sigma \mathbf Q^T$ 。其中：

   • $\mathbf{P}\in {\mathbb{R}}^{N\times N},\mathbf{Q}\in {\mathbb{R}}^{V\times V}$$\mathbf P \in \mathbb R^{N\times N},\mathbf Q \in \mathbb R^{V\times V}$ 为单位正交矩阵。

   • $\mathbf{\Sigma }\in {\mathbb{R}}^{N\times V}$$\mathbf \Sigma \in \mathbb R^{N\times V}$ 为广义对角矩阵。

     $$\begin{array}{}\text{(5)}& \begin{array}{c}\mathbf{\Sigma }=\left[\begin{array}{ccccccc}{\sigma }_1& 0& \cdots & 0& 0& \cdots & 0\\ 0& {\sigma }_2& \cdots & 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_r& 0& \cdots & 0\\ 0& 0& \cdots & 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & 0& \cdots & 0\end{array}\right]\end{array}\end{array}$$

     其中 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$$\sigma_1\ge \sigma_2\ge\cdots\ge\sigma_r\gt 0$ 称作奇异值。

5. SVD 分解的物理意义为：将文档按照主题分解。所有的文档一共有 $r$$r$ 个主题，每个主题的强度 （主题强度就是主题在数据集中出现的次数）分别为：${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r$$\sigma_1,\sigma_2,\cdots,\sigma_r$ 。

   • 第 $i$$i$ 篇文档 ${\mathcal{D}}_i$$\mathcal D_i$ 由这 $r$$r$ 个主题组成，文档的主题概率分布（称作文档-主题向量）为：

     $$\begin{array}{}\text{(6)}& {\overrightarrow{\mathbf{p}}}^{(i)}=(P(i,1),P(i,2),\cdots ,P(i,r){)}^T\end{array}$$

   • 第 $t$$t$ 个主题由 $V$$V$ 个单词组成，主题的单词概率分布（称作主题-单词向量 ）为：

     $$\begin{array}{}\text{(7)}& {\overrightarrow{\mathbf{q}}}^{(t)}=(Q(t,1),Q(t,2),\cdots ,Q(t,V){)}^T\end{array}$$

   • 第 $j$$j$ 个单词由 $r$$r$ 个主题组成，单词的主题概率分布（称作 单词-主题 向量）为：

     $$\begin{array}{}\text{(8)}& {\overrightarrow{\mathbf{v}}}^{(j)}=(Q(1,j),Q(2,j),\cdots ,Q(r,j){)}^T\end{array}$$

   • 根据 $\mathbf{D}=\mathbf{P}\mathbf{\Sigma }{\mathbf{Q}}^T$$\mathbf D = \mathbf P \mathbf \Sigma \mathbf Q^T$ 有：

     $$\begin{array}{}\text{(9)}& \begin{array}{c}\mathbf{D}=\mathbf{P}{\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\\ 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 0\end{array}\right]}_{N\times r}\left[\begin{array}{cccc}{\sigma }_1& 0& \cdots & 0\\ 0& {\sigma }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_r\end{array}\right]{\left[\begin{array}{ccccccc}1& 0& \cdots & 0& 0& \cdots & 0\\ 0& 1& \cdots & 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1& 0& \cdots & 0\end{array}\right]}_{r\times V}{\mathbf{Q}}^T\end{array}\end{array}$$

     则该分解的物理意义为：文档-单词 矩阵 = 文档-主题 矩阵 x 主题强度 x 主题-单词 矩阵。

2.2 应用

1. 得到了文档的主题分布、单词的主题分布之后，可以获取文档的相似度和单词的相似度。

   • 文档 ${\mathcal{D}}_i$$\mathcal D_i$ 和文档 ${\mathcal{D}}_j$$\mathcal D_j$ 的相似度：

     $$\begin{array}{}\text{(10)}& sim({\mathcal{D}}_i,{\mathcal{D}}_j)=\frac{{\overrightarrow{\mathbf{p}}}^{(i)}\cdot {\overrightarrow{\mathbf{p}}}^{(j)}}{||{\overrightarrow{\mathbf{p}}}^{(i)}||\times ||{\overrightarrow{\mathbf{p}}}^{(j)}||}\end{array}$$

   • 单词 ${\text{word}}_i$$\text{word}_i$ 和单词 ${\text{word}}_j$$\text{word}_j$ 的相似度：

     $$\begin{array}{}\text{(11)}& sim({\text{word}}_i,{\text{word}}_j)=\frac{{\overrightarrow{\mathbf{v}}}^{(i)}\cdot {\overrightarrow{\mathbf{v}}}^{(j)}}{||{\overrightarrow{\mathbf{v}}}^{(i)}||\times ||{\overrightarrow{\mathbf{v}}}^{(j)}||}\end{array}$$

2. 虽然获得了文档的单词分布，但是并不能获得主题的相似度。因为 $\mathbf{Q}$$\mathbf Q$ 是正交矩阵，因此有：

   $$\begin{array}{}\text{(12)}& (Q(i,1),Q(i,2),\cdots ,Q(i,V){)}^T\cdot (Q(j,1),Q(j,2),\cdots ,Q(j,V){)}^T=0,i\ne j\end{array}$$

   则有：

   $$\begin{array}{}\text{(13)}& \begin{array}{c}sim({\text{topic}}_i,{\text{topic}}_j)=\frac{{\overrightarrow{\mathbf{q}}}^{(i)}\cdot {\overrightarrow{\mathbf{q}}}^{(j)}}{||{\overrightarrow{\mathbf{q}}}^{(i)}||\times ||{\overrightarrow{\mathbf{q}}}^{(j)}||}\\ =\frac{(Q(i,1),Q(i,2),\cdots ,Q(i,V){)}^T\cdot (Q(j,1),Q(j,2),\cdots ,Q(j,V){)}^T}{||{\overrightarrow{\mathbf{q}}}^{(i)}||\times ||{\overrightarrow{\mathbf{q}}}^{(j)}||}=0,i\ne j\end{array}\end{array}$$

   因此，任意两个主题之间的相似度为 0 。

3. 文档-主题向量由 $\mathbf{P}$$\mathbf P$ 决定。根据： $\mathbf{D}=\mathbf{P}\mathbf{\Sigma }{\mathbf{Q}}^T\to \mathbf{P}=\mathbf{D}\mathbf{Q}{\mathbf{\Sigma }}^{-1}\to {\mathbf{P}}^T={\mathbf{\Sigma }}^{-1}{\mathbf{Q}}^T{\mathbf{D}}^T$$\mathbf D = \mathbf P \mathbf\Sigma \mathbf Q^T \rightarrow \mathbf P = \mathbf D\mathbf Q\mathbf \Sigma ^{-1} \rightarrow \mathbf P^T = \mathbf \Sigma ^{-1} \mathbf Q^T \mathbf D^T$ ，而文档-主题向量为 $\mathbf{P}$$\mathbf P$ 的行向量，也就是 ${\mathbf{P}}^T$$\mathbf P^T$ 的列向量。文档-单词向量为 $\mathbf{D}$$\mathbf D$ 的行向量，也就是 ${\mathbf{D}}^T$$\mathbf D^T$ 的列向量。

   因此对于一篇新的文档 ${\mathcal{D}}_s$$\mathcal D_s$，假设其文档-单词向量为 ${\overrightarrow{\mathbf{w}}}_s$$\mathbf{\vec w}_s$ ，则其文档-主题向量为：

   $$\begin{array}{}\text{(14)}& {\overrightarrow{\mathbf{p}}}^{(s)}={\mathbf{\Sigma }}^{-1}{\mathbf{Q}}^T{\overrightarrow{\mathbf{w}}}_s\end{array}$$

4. LSA 可以应用在以下几个方面：

   • 通过对文档的文档-主题向量 进行比较，从而进行基于主题的文档聚类或者分类。

   • 通过对单词的单词-主题向量进行比较，从而用于同义词、多义词进行检测。

   • 通过将query 映射到主题空间，进而进行信息检索。

2.3 性质

1. LSA 的本质是将矩阵 $\mathbf{D}$$\mathbf D$ 通过 SVD 进行降维，降维主要是由于以下原因：

   • 原始的文档-单词 矩阵 $\mathbf{D}$$\mathbf D$ 太大计算机无法处理，通过降维得到原始矩阵的一个近似。

   • 原始的文档-单词 矩阵 $\mathbf{D}$$\mathbf D$ 含有噪音，通过降维去掉原始矩阵的噪音。

   • 原始的文档-单词 矩阵 $\mathbf{D}$$\mathbf D$ 过于稀疏，通过降维得到一个稠密的矩阵。

2. LSA 的降维可以解决一部分同义词的问题，也可以解决一部分二义性的问题。

   • 经过降维，意义相同的同义词的维度会因降维被合并。

   • 经过降维，拥有多个意义的词，其不同的含义会叠加到对应的同义词所在的维度上。

3. LSA 的缺点：

   • 产生的主题维度可能存在某些主题可解释性差。即：它们并不代表一个人类理解上的主题。

   • 由于Bag of words:BOW 模型的局限性，它无法捕捉单词的前后顺序关系。

     一个解决方案是：采用二元词组或者多元词组。

   • LSA 假设单词和文档形成联合高斯分布。实际观察发现，它们是一个联合泊松分布。这种情况下，用pLSA 模型效果会更好。

三、Word2Vec

3.1 CBOW 模型

1. CBOW 模型（continuous bag-of-word）：根据上下文来预测下一个单词。

3.1.1 一个单词上下文

1. 在一个单词上下文的CBOW 模型中：输入是前一个单词，输出是后一个单词，输入为输出的上下文。

   由于只有一个单词作为输入，因此称作一个单词的上下文。

2. 一个单词上下文的CBOW 模型如下：

   

   其中：

   • $N$$N$ 为隐层的大小，即隐向量 $\overrightarrow{\mathbf{h}}=(h_1,h_2,\cdots ,h_N{)}^T\in {\mathbb{R}}^N$$\mathbf{\vec h} = (h_1,h_2,\cdots,h_N)^T\in \mathbb R^N$ 。

   • 网络输入 $\overrightarrow{\mathbf{x}}=(x_1,x_2,\cdots ,x_V{)}^T\in {\mathbb{R}}^V$$\mathbf{\vec x}=(x_1,x_2,\cdots,x_V)^T \in \mathbb R^V$ ，它是输入单词（即上下文单词）的 one-hote 编码，其中只有一位为 1，其他位都为 0 。

   • 网络输出 $\overrightarrow{\mathbf{y}}=(y_1,y_2,\cdots ,y_V{)}^T\in {\mathbb{R}}^V$$\mathbf{\vec y}=(y_1,y_2,\cdots,y_V)^T \in \mathbb R^V$，它是输出单词为词汇表各单词的概率。

   • 相邻层之间为全连接：

     • 输入层和隐层之间的权重矩阵为 $\mathbf{W}\in {\mathbb{R}}^{V\times N}$$\mathbf W \in \mathbb R^{V\times N}$

     • 隐层和输出层之间的权重矩阵为 ${\mathbf{W}}^{\prime }\in {\mathbb{R}}^{N\times V}$$\mathbf W^\prime\in \mathbb R^{N\times V}$

3. 假设没有激活函数，没有偏置项。给定输入 $\overrightarrow{\mathbf{x}}\in {\mathbb{R}}^V$$\mathbf{\vec x} \in \mathbb R^V$，则其对应的隐向量 $\overrightarrow{\mathbf{h}}\in {\mathbb{R}}^N$$\mathbf{\vec h}\in \mathbb R^N$ 为： $\overrightarrow{\mathbf{h}}={\mathbf{W}}^T\overrightarrow{\mathbf{x}}$$\mathbf{\vec h}=\mathbf W^T\mathbf{\vec x}$ 。

   令：

   $$\begin{array}{}\text{(15)}& \begin{array}{c}\mathbf{W}=\left[\begin{array}{c}{\overrightarrow{\mathbf{w}}}_1^T\\ {\overrightarrow{\mathbf{w}}}_2^T\\ ⋮\\ {\overrightarrow{\mathbf{w}}}_V^T\end{array}\right]\end{array}\end{array}$$

   由于 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 是个one-hot编码，假设它为词表 $\mathbb{V}$$\mathbb V$ 中第 $j$$j$ 个单词 ${\text{word}}_j$$\text{word}_j$，即：

   $$\begin{array}{}\text{(16)}& x_1=0,x_2=0,\cdots ,x_{j-1}=0,x_j=1,x_{j+1}=0,\cdots ,x_V=0\end{array}$$

   则有：$\overrightarrow{\mathbf{h}}={\overrightarrow{\mathbf{w}}}_j$$\mathbf{\vec h}=\mathbf{\vec w}_j$。

   即：$\mathbf{W}$$\mathbf W$ 的第 $j$$j$ 行 ${\overrightarrow{\mathbf{w}}}_j^T$$\mathbf{\vec w}_j ^T$ 就是词表 $\mathbb{V}$$\mathbb V$ 中第 $j$$j$ 个单词 ${\text{word}}_j$$\text{word}_j$ 的表达，称作单词 ${\text{word}}_j$$\text{word}_j$ 的输入向量。

4. 给定隐向量 $\overrightarrow{\mathbf{h}}$$\mathbf {\vec h}$，其对应的输出向量 $\overrightarrow{\mathbf{u}}\in {\mathbb{R}}^V$$\mathbf{\vec u} \in \mathbb R^V$为： $\overrightarrow{\mathbf{u}}={\mathbf{W}}^{\prime T}\overrightarrow{\mathbf{h}}$$\mathbf{\vec u}=\mathbf W^{\prime T}\mathbf{\vec h}$ 。令：

   $$\begin{array}{}\text{(17)}& {\mathbf{W}}^{\prime }=[{\overrightarrow{\mathbf{w}}}_1^{\prime },{\overrightarrow{\mathbf{w}}}_2^{\prime },\cdots ,{\overrightarrow{\mathbf{w}}}_V^{\prime }]\end{array}$$

   则有：$u_j={\overrightarrow{\mathbf{w}}}_j^{\prime }\cdot \overrightarrow{\mathbf{h}}$$u_j=\mathbf{\vec w}^{\prime}_j\cdot \mathbf{\vec h}$ 。

   • $u_j$$u_j$ 表示词表 $\mathbb{V}$$\mathbb V$ 中，第 $j$$j$ 个单词 ${\text{word}}_j$$\text{word}_j$ 的得分。

   • ${\overrightarrow{\mathbf{w}}}_j^{\prime }$$\mathbf{\vec w}_j^{\prime }$ 为矩阵 ${\mathbf{W}}^{\prime }$$\mathbf W^\prime$ 的第 $j$$j$ 列，称作单词 ${\text{word}}_j$$\text{word}_j$ 的输出向量。

5. $\overrightarrow{\mathbf{u}}$$\mathbf{\vec u}$ 之后接入一层 softmax 层，则有：

   $$\begin{array}{}\text{(18)}& y_j=p({\text{word}}_j\mid \overrightarrow{\mathbf{x}})=\frac{\exp (u_j)}{\sum _{j^{\prime }=1}^V\exp (u_{j^{\prime }})},j=1,2,\cdots ,V\end{array}$$

   即 $y_j$$y_j$ 表示词汇表 $\mathbb{V}$$\mathbb V$ 中第 $j$$j$ 个单词 ${\text{word}}_j$$\text{word}_j$ 为真实输出单词的概率。

   假设输入单词为 ${\text{word}}_I$$\text{word}_I$ （它称作上下文） ，观测到它的下一个单词为 ${\text{word}}_O$$\text{word}_O$ 。令输入单词的对应的网络输入为 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ ，其隐向量为 ${\overrightarrow{\mathbf{w}}}_I$$\mathbf{\vec w}_I$，输入输出单词对应的输出单元为 $j^{\ast }$$j^*$，则采用交叉熵的损失函数为：

   $$\begin{array}{}\text{(19)}& \begin{array}{c}E({\text{word}}_I,{\text{word}}_O)=-\log \frac{\exp (u_{j^{\ast }})}{\sum _{j^{\prime }=1}^V\exp (u_{j^{\prime }})}=-{\overrightarrow{\mathbf{w}}}_{j^{\ast }}^{\prime }\cdot \overrightarrow{\mathbf{h}}+\log \sum _{j=1}^V\exp ({\overrightarrow{\mathbf{w}}}_j^{\prime }\cdot \overrightarrow{\mathbf{h}})\\ =-{\overrightarrow{\mathbf{w}}}_{j^{\ast }}^{\prime }\cdot {\overrightarrow{\mathbf{w}}}_I+\log \sum _{j=1}^V\exp ({\overrightarrow{\mathbf{w}}}_j^{\prime }\cdot {\overrightarrow{\mathbf{w}}}_I)\end{array}\end{array}$$

   考虑语料库 $\mathbb{D}$$\mathbb D$ 中所有的样本，则整体经验损失函数为：

   $$\begin{array}{}\text{(20)}& \mathcal{L}=\sum _{({\text{word}}_I,{\text{word}}_O)\in \mathbb{D}}E({\text{word}}_I,{\text{word}}_O)\end{array}$$

   则网络的优化目标为：

   $$\begin{array}{}\text{(21)}& min\mathcal{L}=\underset{\mathbf{W},{\mathbf{W}}^{\prime }}{min}\sum _{({\text{word}}_I,{\text{word}}_O)\in \mathbb{D}}(-{\overrightarrow{\mathbf{w}}}_{j^{\ast }}^{\prime }\cdot {\overrightarrow{\mathbf{w}}}_I+\log \sum _{j=1}^V\exp ({\overrightarrow{\mathbf{w}}}_j^{\prime }\cdot {\overrightarrow{\mathbf{w}}}_I))\end{array}$$

   设张量 $\mathbf{A}$$\mathbf A$ 为某个网络参数，则有：

   $$\begin{array}{}\text{(22)}& {\mathrm{\nabla }}_{\mathbf{A}}\mathcal{L}=\sum _{({\text{word}}_I,{\text{word}}_O)}{\mathrm{\nabla }}_{\mathbf{A}}E\end{array}$$

   则该参数的单次更新 $\mathbf{A}\leftarrow \mathbf{A}-\eta {\mathrm{\nabla }}_{\mathbf{A}}\mathcal{L}$$\mathbf A \leftarrow \mathbf A -\eta\nabla_{\mathbf A} \mathcal L$ ，可以表示为单个样本的多次更新：

   $$\begin{array}{}\text{(23)}& \begin{array}{c}\text{for }({\text{word}}_I,{\text{word}}_O)\in \mathbb{D}:\\ \mathbf{A}\leftarrow \mathbf{A}-\eta {\mathrm{\nabla }}_{\mathbf{A}}E\end{array}\end{array}$$

   因此本节的参数更新推导是关于单个样本的更新：$\mathbf{A}\leftarrow \mathbf{A}-\eta {\mathrm{\nabla }}_{\mathbf{A}}E$$\mathbf A \leftarrow \mathbf A -\eta\nabla_{\mathbf A} E$ 。

3.1.2 参数更新

1. 定义 $t_j=\mathbb{I}(j=j^{\ast })$$t_j=\mathbb I(j=j^*)$ ，即第 $j$$j$ 个输出单元对应于真实的输出单词 ${\text{word}}_O$$\text{word}_O$ 时，它为1；否则为0。定义：

   $$\begin{array}{}\text{(24)}& e_j=\frac{\partial E}{\partial u_j}=y_j-t_j\end{array}$$

   它刻画了每个输出单元的预测误差：

   • 当 $j=j^{\ast }$$j=j^*$ 时： $e_j=y_j-1<0$$e_j=y_j-1\lt 0$，它刻画了输出概率 ($y_j$$y_j$) 与真实概率 $1$$1$ 之间的差距。小于 0 表示预测不足。

   • 当 $j\ne j^{\ast }$$j\ne j^*$ 时：$e_j=y_j>0$$e_j=y_j \gt 0$，它刻画了输出概率 ($y_j$$y_j$) 与真实概率 $0$$0$ 之间的差距。大于 0 表示预测过量。

2. 根据：$u_j={\overrightarrow{\mathbf{w}}}_j^{\prime }\cdot \overrightarrow{\mathbf{h}}\to \frac{\partial u_j}{\partial {\overrightarrow{\mathbf{w}}}_j^{\prime }}=\overrightarrow{\mathbf{h}}$$u_j=\mathbf{\vec w}^{\prime}_j\cdot \mathbf{\vec h}\quad \rightarrow \quad \frac{\partial u_j}{\partial \mathbf{\vec w}_j^\prime}= \mathbf{\vec h}$ ，则有：

   $$\begin{array}{}\text{(25)}& \frac{\partial E}{\partial {\overrightarrow{\mathbf{w}}}_j^{\prime }}=\frac{\partial E}{\partial u_j}\times \frac{\partial u_j}{\partial {\overrightarrow{\mathbf{w}}}_j^{\prime }}=e_j\overrightarrow{\mathbf{h}}\end{array}$$

   则 ${\overrightarrow{\mathbf{w}}}_j^{\prime }$$\mathbf{\vec w}_j^\prime$ 更新规则为：

   $$\begin{array}{}\text{(26)}& {\overrightarrow{\mathbf{w}}}_j^{\prime (new)}={\overrightarrow{\mathbf{w}}}_j^{\prime (old)}-\eta e_j\overrightarrow{\mathbf{h}}\end{array}$$

   其物理意义为：

   • 当估计过量 ($e_j>0\to y_j>t_j$$e_j\gt 0 \rightarrow y_j\gt t_j$) 时， ${\overrightarrow{\mathbf{w}}}_j^{\prime }$$\mathbf{\vec w}^{\prime}_{j }$ 会减去一定比例的 $\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$ 。 这发生在第 $j$$j$ 个输出单元不对应于真实的输出单词时。

   • 当估计不足 ($e_j<0\to y_j<t_j$$e_j\lt 0 \rightarrow y_j\lt t_j$) 时， ${\overrightarrow{\mathbf{w}}}_j^{\prime }$$\mathbf{\vec w}^{\prime}_{j }$ 会加上一定比例的 $\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$ 。这发生在第 $j$$j$ 个输出单元刚好对应于真实的输出单词时。

   • 当 $y_j\simeq t_j$$y_j\simeq t_{j}$ 时，更新的幅度将非常微小。

3. 定义：

   $$\begin{array}{}\text{(27)}& \overrightarrow{\mathbf{EH}}=\frac{\partial E}{\partial \overrightarrow{\mathbf{h}}}={\left(\frac{\partial \overrightarrow{\mathbf{u}}}{\partial \overrightarrow{\mathbf{h}}}\right)}^T\frac{\partial E}{\partial \overrightarrow{\mathbf{u}}}\end{array}$$

   根据：$\overrightarrow{\mathbf{u}}={\mathbf{W}}^{\prime T}\overrightarrow{\mathbf{h}}\to {\left(\frac{\partial \overrightarrow{\mathbf{u}}}{\partial \overrightarrow{\mathbf{h}}}\right)}^T={\mathbf{W}}^{\prime }$$\mathbf{\vec u}=\mathbf W^{\prime T}\mathbf{\vec h} \quad \rightarrow \quad \left(\frac{\partial \mathbf{\vec u}}{\partial \mathbf{\vec h}} \right)^T= \mathbf W^\prime$ ，则有：$\overrightarrow{\mathbf{EH}}={\mathbf{W}}^{\prime }\overrightarrow{\mathbf{e}}=\sum _{j=1}^V{e}_j{\overrightarrow{\mathbf{w}}}_j^{\prime }$$\mathbf{\overrightarrow {EH}} = \mathbf W^\prime \mathbf{\vec e} =\sum_{j=1}^Ve_j \mathbf{\vec w}^{\prime }_j$ 。

   $\overrightarrow{\mathbf{EH}}$$\mathbf{\overrightarrow {EH}}$ 的物理意义为：词汇表 $\mathbb{V}$$\mathbb V$ 中所有单词的输出向量的加权和，其权重为 $e_j$$e_j$ 。

4. 考虑到 $\overrightarrow{\mathbf{h}}={\mathbf{W}}^T\overrightarrow{\mathbf{x}}$$\mathbf{\vec h}=\mathbf W^T\mathbf{\vec x}$ ，则有：

   $$\begin{array}{}\text{(28)}& \frac{\partial E}{\partial w_{k,i}}=\frac{\partial E}{\partial h_i}\times \frac{\partial h_i}{\partial w_{k,i}}=E{H}_i\times x_k\end{array}$$

   写成矩阵的形式为：$\frac{\partial E}{\partial \mathbf{W}}=\overrightarrow{\mathbf{x}}\otimes \overrightarrow{\mathbf{EH}}$$\frac{\partial E}{\partial \mathbf W}=\mathbf{\vec x}\otimes \mathbf{\overrightarrow {EH}}$ ，其中 $\otimes$$\otimes$ 为克罗内克积。

   由于 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 是one-hote 编码，所以它只有一个分量非零，因此 $\frac{\partial E}{\partial \mathbf{W}}$$\frac{\partial E}{\partial \mathbf W}$ 只有一行非零，且该非零行就等于 $\overrightarrow{\mathbf{EH}}$$\mathbf{\overrightarrow {EH}}$ 。因此得到更新方程：

   $$\begin{array}{}\text{(29)}& {\overrightarrow{\mathbf{w}}}_I^{(new)}={\overrightarrow{\mathbf{w}}}_I^{(old)}-\eta \overrightarrow{\mathbf{EH}}\end{array}$$

   其中 ${\overrightarrow{\mathbf{w}}}_I$$\mathbf{\vec w}_I$ 为 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 非零分量对应的 $\mathbf{W}$$\mathbf W$ 中的行，而 $\mathbf{W}$$\mathbf W$ 的其它行在本次更新中都保持不变。

5. 考虑更新 $\mathbf{W}$$\mathbf W$ 第 $I$$I$ 行的第 $k$$k$ 列，则：

   $$\begin{array}{}\text{(30)}& w_{I,k}^{(new)}=w_{I,k}^{(old)}-\eta \sum _{j=1}^V{e}_j{w}_{j,k}^{\prime }\end{array}$$

   • 当 $y_j\simeq t_j$$y_j\simeq t_{j}$ 时，$e_j$$e_j$ 趋近于 0 ，则更新的幅度将非常微小。

   • 当 $y_j$$y_j$ 与 $t_j$$t_{j}$ 差距越大，$e_j$$e_j$ 绝对值越大， 则更新的幅度越大。

6. 当给定许多训练样本（每个样本由两个单词组成），上述更新不断进行，更新的效果在不断积累。

   • 根据单词的共现结果，输出向量与输入向量相互作用并达到平衡。

     • 输出向量 ${\overrightarrow{\mathbf{w}}}^{\prime }$$\mathbf{\vec w}^{\prime}$ 的更新依赖于输入向量 ${\overrightarrow{\mathbf{w}}}_I$$\mathbf{\vec w}_I$ ： ${\overrightarrow{\mathbf{w}}}_j^{\prime (new)}={\overrightarrow{\mathbf{w}}}_j^{\prime (old)}-\eta e_j\overrightarrow{\mathbf{h}}$$\mathbf{\vec w}^{\prime(new)}_{j } =\mathbf{\vec w}^{\prime(old)}_{j }-\eta e_j\mathbf{\vec h}$ 。

       这里隐向量 $\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$ 等于输入向量 ${\overrightarrow{\mathbf{w}}}_I$$\mathbf{\vec w}_I$ 。

     • 输入向量 ${\overrightarrow{\mathbf{w}}}_I$$\mathbf{\vec w}_I$ 的更新依赖于输出向量 ${\overrightarrow{\mathbf{w}}}^{\prime }$$\mathbf{\vec w}^{\prime}$ ： ${\overrightarrow{\mathbf{w}}}_I^{(new)}={\overrightarrow{\mathbf{w}}}_I^{(old)}-\eta \overrightarrow{\mathbf{EH}}$$\mathbf{\vec w}_I^{(new)}=\mathbf{\vec w}_I^{(old)}-\eta\mathbf{\overrightarrow{EH}}$ 。

       这里 $\overrightarrow{\mathbf{EH}}=\sum _{j=1}^V{e}_j{\overrightarrow{\mathbf{w}}}_j^{\prime }$$\mathbf{\overrightarrow{EH}} = \sum_{j=1}^Ve_j \mathbf{\vec w}^{\prime }_j$ 为词汇表 $\mathbb{V}$$\mathbb V$ 中所有单词的输出向量的加权和，其权重为 $e_j$$e_j$ 。

   • 平衡的速度与效果取决于单词的共现分布，以及学习率。

3.1.3 多个单词上下文

1. 考虑输入为目标单词前后的多个单词（这些单词作为输出的上下文），输入为 $C$$C$ 个单词：${\overrightarrow{\mathbf{x}}}_1,{\overrightarrow{\mathbf{x}}}_2,\cdots ,{\overrightarrow{\mathbf{x}}}_C$$\mathbf{\vec x}_1,\mathbf{\vec x}_2,\cdots,\mathbf{\vec x}_C$ 。对于每个输入单词，其权重矩阵都为 $\mathbf{W}$$\mathbf W$，这称作权重共享。这里的权重共享隐含着：每个单词的表达是固定的、唯一的，与它的上下文无关。

   隐向量为所有输入单词映射结果的均值：

   $$\begin{array}{}\text{(31)}& \overrightarrow{\mathbf{h}}=\frac{1}{C}{\mathbf{W}}^T({\overrightarrow{\mathbf{x}}}_1+{\overrightarrow{\mathbf{x}}}_2+\cdots +{\overrightarrow{\mathbf{x}}}_C)=\frac{1}{C}({\overrightarrow{\mathbf{w}}}_{I_1}+{\overrightarrow{\mathbf{w}}}_{I_2}+\cdots +{\overrightarrow{\mathbf{w}}}_{I_C})\end{array}$$

   其中：$I_i$$I_i$ 表示第 $i$$i$ 个输入单词在词汇表 $\mathbb{V}$$\mathbb V$ 中的编号，${\overrightarrow{\mathbf{w}}}_j$$\mathbf{\vec w}_j$ 为矩阵 $\mathbf{W}$$\mathbf W$ 的第 $j$$j$ 行，它是对应输入单词的输入向量。

   

2. 假设给定一个单词序列 ${\text{word}}_{I_1},{\text{word}}_{I_2},\cdots ,{\text{word}}_{I_C}$$\text{word}_{I_1},\text{word}_{I_2},\cdots,\text{word}_{I_C}$ （它称作上下文），观测到它的下一个单词为 ${\text{word}}_O$$\text{word}_O$ 。 ${\text{word}}_O$$\text{word}_O$ 对应的网络输出编号为 $j^{\ast }$$j^*$ 。

   定义损失函数为交叉熵：

   $$\begin{array}{}\text{(32)}& E=-u_{j^{\ast }}+\log \sum _{j=1}^V\exp (u_j)=-{\overrightarrow{\mathbf{w}}}_{j^{\ast }}^{\prime }\cdot \overrightarrow{\mathbf{h}}+\log \sum _{j=1}^V\exp ({\overrightarrow{\mathbf{w}}}_j^{\prime }\cdot \overrightarrow{\mathbf{h}})\end{array}$$

   它的形式与一个单词上下文中推导的完全相同，除了这里的 $\overrightarrow{\mathbf{h}}$$\mathbf{\vec h}$ 不同。

   考虑语料库 $\mathbb{D}$$\mathbb D$ 中所有的样本，则整体经验损失函数为：

   $$\begin{array}{}\text{(33)}& \mathcal{L}=\sum _{({\text{word}}_{I_1},{\text{word}}_{I_2},\cdots ,{\text{word}}_{I_C},{\text{word}}_O)\in \mathbb{D}}E\end{array}$$

   则网络的优化目标为：

   $$\begin{array}{}\text{(34)}& min\mathcal{L}=\underset{\mathbf{W},{\mathbf{W}}^{\prime }}{min}\sum _{({\text{word}}_{I_1},{\text{word}}_{I_2},\cdots ,{\text{word}}_{I_C},{\text{word}}_O)\in \mathbb{D}}(-{\overrightarrow{\mathbf{w}}}_{j^{\ast }}^{\prime }\cdot {\overrightarrow{\mathbf{w}}}_I+\log \sum _{j=1}^V\exp ({\overrightarrow{\mathbf{w}}}_j^{\prime }\cdot {\overrightarrow{\mathbf{w}}}_I))\end{array}$$

   .

3. 与一个单词上下文中推导的结果相同，这里给出参数更新规则：

   • 更新 ${\mathbf{W}}^{\prime }$$\mathbf W^\prime$ ：

     $$\begin{array}{}\text{(35)}& {\overrightarrow{\mathbf{w}}}_j^{\prime (new)}={\overrightarrow{\mathbf{w}}}_j^{\prime (old)}-\eta e_j\overrightarrow{\mathbf{h}},j=1,2,\cdots ,V\end{array}$$

     其中 $\overrightarrow{\mathbf{h}}=\frac{1}{C}({\overrightarrow{\mathbf{w}}}_{I_1}+{\overrightarrow{\mathbf{w}}}_{I_2}+\cdots +{\overrightarrow{\mathbf{w}}}_{I_C})$$\mathbf{\vec h}=\frac 1C (\mathbf{\vec w}_{I_1}+\mathbf{\vec w}_{I_2}+\cdots+\mathbf{\vec w}_{I_C})$ 。

   • 更新 $\mathbf{W}$$\mathbf W$：

     $$\begin{array}{}\text{(36)}& {\overrightarrow{\mathbf{w}}}_{I_i}^{(new)}={\overrightarrow{\mathbf{w}}}_{I_i}^{(old)}-\frac{1}{C}\eta \overrightarrow{\mathbf{EH}},i=1,2,\cdots ,C\end{array}$$

     其中 ：

     • $\overrightarrow{\mathbf{EH}}={\mathbf{W}}^{\prime }\overrightarrow{\mathbf{e}}=\sum _{j=1}^V{e}_j{\overrightarrow{\mathbf{w}}}_j^{\prime }$$\mathbf{\overrightarrow {EH}} = \mathbf W^\prime \mathbf{\vec e} =\sum_{j=1}^Ve_j \mathbf{\vec w}^{\prime }_j$ ，它是词汇表 $\mathbb{V}$$\mathbb V$ 中所有单词的输出向量的加权和，其权重为 $e_j$$e_j$ 。

     • $I_i$$I_i$ 为第 $i$$i$ 个输入单词在词表 $\mathbb{V}$$\mathbb V$ 中的编号。

4. 在更新 $\mathbf{W}$$\mathbf W$ 时，如果有相同的输入单词（如： ${\overrightarrow{\mathbf{x}}}_1={\overrightarrow{\mathbf{x}}}_2\to {\text{word}}_{100}$$\mathbf{\vec x}_1=\mathbf{\vec x}_2 \rightarrow \text{word}_{100}$ )，则在参数更新时认为它们是不同的。最终的效果就是在 ${\overrightarrow{\mathbf{w}}}_{I_i}$$\mathbf{\vec w}_{I_i}$ 中多次减去同一个增量 $\frac{1}{C}\eta \overrightarrow{\mathbf{EH}}$$\frac 1C\eta\mathbf{\overrightarrow{EH}}$ 。

   你也可以直接减去 $\frac{n_v}{C}\eta \overrightarrow{\mathbf{EH}}$$\frac {n_v}{C}\eta\mathbf{\overrightarrow{EH}}$， 其中 $n_v$$n_v$ 为词汇表中单词 ${\text{word}}_v$$\text{word}_v$ 在输入中出现的次数。

3.2 Skip-Gram

1. Skip-Gram 模型是根据一个单词来预测其前后附近的几个单词（即：上下文）。

3.2.1 网络结构

1. Skip-Gram 网络模型如下。其中：

   • 网络输入 $\overrightarrow{\mathbf{x}}=(x_1,x_2,\cdots ,x_V{)}^T\in {\mathbb{R}}^V$$\mathbf{\vec x}=(x_1,x_2,\cdots,x_V)^T \in \mathbb R^V$ ，它是输入单词的 one-hot 编码，其中只有一位为 1，其他位都为 0 。

   • 网络输出 ${\overrightarrow{\mathbf{y}}}_1,{\overrightarrow{\mathbf{y}}}_2,\cdots ,{\overrightarrow{\mathbf{y}}}_C$$\mathbf{\vec y}_1,\mathbf{\vec y}_2,\cdots,\mathbf{\vec y}_C$ ，其中 ${\overrightarrow{\mathbf{y}}}_c=(y_1^c,y_2^c,\cdots ,y_V^c{)}^T\in {\mathbb{R}}^V$$\mathbf{\vec y}_c =(y_1^c,y_2^c,\cdots,y_V^c)^T \in \mathbb R^V$是第 $c$$c$ 个输出单词为词汇表各单词的概率。

   • 对于网络的每个输出 ${\overrightarrow{\mathbf{y}}}_c$$\mathbf{\vec y}_c$ ，其权重矩阵都相同，为 ${\mathbf{W}}^{\prime }$$\mathbf W^\prime$。这称作权重共享。

     这里的权重共享隐含着：每个单词的输出向量是固定的、唯一的，与其他单词的输出无关。

     

2. Skip-Gram 网络模型中，设网络第 $c$$c$ 个输出的第 $j$$j$ 个分量为 $u_j^c={\overrightarrow{\mathbf{w}}}_j^{\prime }\cdot \overrightarrow{\mathbf{h}}$$u_{j}^c=\mathbf{\vec w}^{\prime}_j\cdot \mathbf{\vec h}$ ，则有：

   $$\begin{array}{}\text{(37)}& y_j^c=p({\text{word}}_j^c\mid \overrightarrow{\mathbf{x}})=\frac{\exp (u_j^c)}{\sum _{k=1}^V\exp (u_k^c)};c=1,2,\cdots ,C;j=1,2,\cdots ,V\end{array}$$

   $y_j^c$$y_{j}^c$ 表示第 $c$$c$ 个输出中，词汇表 $\mathbb{V}$$\mathbb V$ 中第 $j$$j$ 个单词 ${\text{word}}_j$$\text{word}_j$ 为真实输出单词的概率。

3. 因为 ${\mathbf{W}}^{\prime }$$\mathbf W^\prime$ 在多个单元之间共享，所以对于网络每个输出，其得分的分布 ${\overrightarrow{\mathbf{u}}}_c=(u_1^c,u_2^c,\cdots ,u_V^c{)}^T$$\mathbf{\vec u}_c=(u_{1}^c,u_{2}^c,\cdots,u_{V}^c)^T$ 是相同的。但是这并不意味着网络的每个输出都是同一个单词。

   并不是网络每个输出中，得分最高的单词为预测单词。因为每个输出中，概率分布都相同，即： ${\overrightarrow{\mathbf{y}}}_1={\overrightarrow{\mathbf{y}}}_2=\cdots ={\overrightarrow{\mathbf{y}}}_C$$\mathbf{\vec y}_1=\mathbf{\vec y}_2=\cdots=\mathbf{\vec y}_C$ 。Skip-Gram 网络的目标是：网络的多个输出之间的联合概率最大。

4. 假设输入为单词 ${\text{word}}_I$$\text{word}_I$ ，输出单词序列为 ${\text{word}}_{O_1},{\text{word}}_{O_2},\cdots ,{\text{word}}_{O_C}$$\text{word}_{O_1},\text{word}_{O_2},\cdots,\text{word}_{O_C}$ 。定义损失函数为：

   $$\begin{array}{}\text{(38)}& E=-\log p({\text{word}}_{O_1},{\text{word}}_{O_2},\cdots ,{\text{word}}_{O_C}\mid {\text{word}}_I)=-\log \prod _{c=1}^C\frac{\exp (u_{j_c^{\ast }}^c)}{\sum _{j=1}^V\exp (u_j^c)}\end{array}$$

   其中 $j_1^{\ast },j_2^{\ast },\cdots ,j_C^{\ast }$$j_1^*,j_2^*,\cdots,j_C^*$ 为输出单词序列对应于词典 $\mathbb{V}$$\mathbb V$ 中的下标序列。

   由于网络每个输出的得分的分布都相同，令 $u_j=u_j^c={\overrightarrow{\mathbf{w}}}_j^{\prime }\cdot \overrightarrow{\mathbf{h}}$$u_j=u_{j}^c=\mathbf{\vec w}^{\prime}_j\cdot \mathbf{\vec h}$，则上式化简为：

   $$\begin{array}{}\text{(39)}& E=-\sum _{c=1}^C{u}_{j_c^{\ast }}^c+C\log \sum _{j=1}^V\exp (u_j)\end{array}$$

   .

3.2.2 参数更新

1. 定义 $t_j^c=\mathbb{I}(j_c=j_c^{\ast })$$t_{j}^c=\mathbb I(j_c=j_c^*)$ ，即网络第 $c$$c$ 个输出的第 $j$$j$ 个分量对应于第 $c$$c$ 个真实的输出单词 ${\text{word}}_{j_c^{\ast }}$$\text{word}_{j_c^*}$ 时，它为 1；否则为0。

   定义：

   $$\begin{array}{}\text{(40)}& e_j^c=\frac{\partial E}{\partial u_j^c}=y_j^c-t_j^c\end{array}$$

   它刻画了网络第 $c$$c$ 个输出的第 $j$$j$ 个分量的误差：

   • 当 $j_c=j_c^{\ast }$$j_c=j_c^*$ 时： $e_j^c=y_j^c-1$$e_{j}^c=y_{j}^c-1$，它刻画了输出概率 $y_j^c$$y_{j}^c$ 与真实概率 $1$$1$ 之间的差距。小于 0 表示预测不足。

   • 当 $j_c\ne j_c^{\ast }$$j_c\ne j_c^*$ 时：$e_j^c=y_j^c$$e_{j}^c=y_{j}^c$，它刻画了输出概率 $y_j^c$$y_{j}^c$ 与真实概率 $0$$0$ 之间的差距。大于 0 表示预测过量。

2. 根据：$u_j={\overrightarrow{\mathbf{w}}}_j^{\prime }\cdot \overrightarrow{\mathbf{h}}\to \frac{\partial u_j}{\partial {\overrightarrow{\mathbf{w}}}_j^{\prime }}=\overrightarrow{\mathbf{h}}$$u_j=\mathbf{\vec w}^{\prime}_j\cdot \mathbf{\vec h}\quad \rightarrow \quad \frac{\partial u_j}{\partial \mathbf{\vec w}_j^\prime}= \mathbf{\vec h}$ ，则有：

   $$\begin{array}{}\text{(41)}& \frac{\partial E}{\partial {\overrightarrow{\mathbf{w}}}_j^{\prime }}=\sum _{c=1}^C\frac{\partial E}{\partial u_j^c}\times \frac{\partial u_j^c}{\partial {\overrightarrow{\mathbf{w}}}_j^{\prime }}=\sum _{c=1}^C{e}_j^c\overrightarrow{\mathbf{h}}\end{array}$$

   定义 $E{I}_j=\sum _{c=1}^C{e}_j^c$$EI_j=\sum_{c=1}^{C}e_{j}^c$ ，它为网络每个输出的第 $j$$j$ 个分量的误差之和。于是有：

   $$\begin{array}{}\text{(42)}& \frac{\partial E}{\partial {\overrightarrow{\mathbf{w}}}_j^{\prime }}=E{I}_j\times \overrightarrow{\mathbf{h}}\end{array}$$

   则有更新方程：

   $$\begin{array}{}\text{(43)}& {\overrightarrow{\mathbf{w}}}_j^{\prime (new)}={\overrightarrow{\mathbf{w}}}_j^{\prime (old)}-\eta \times E{I}_j\times \overrightarrow{\mathbf{h}},j=1,2,\cdots ,V\end{array}$$

3. 定义：

   $$\begin{array}{}\text{(44)}& \overrightarrow{\mathbf{EH}}=\frac{\partial E}{\partial \overrightarrow{\mathbf{h}}}=\sum _{c=1}^C{\left(\frac{\partial {\overrightarrow{\mathbf{u}}}^c}{\partial \overrightarrow{\mathbf{h}}}\right)}^T\frac{\partial E}{\partial {\overrightarrow{\mathbf{u}}}^c}\end{array}$$

   根据：

   $$\begin{array}{}\text{(45)}& {\overrightarrow{\mathbf{u}}}^c={\mathbf{W}}^{\prime T}\overrightarrow{\mathbf{h}}\to {\left(\frac{\partial {\overrightarrow{\mathbf{u}}}^c}{\partial \overrightarrow{\mathbf{h}}}\right)}^T={\mathbf{W}}^{\prime }\end{array}$$

   则有：

   $$\begin{array}{}\text{(46)}& \overrightarrow{\mathbf{EH}}=\sum _{c=1}^C{\mathbf{W}}^{\prime }{\overrightarrow{\mathbf{e}}}^c=\sum _{j=1}^{V}E{I}_j{\overrightarrow{\mathbf{w}}}_j^{\prime }\end{array}$$

   $\overrightarrow{\mathbf{EH}}$$\mathbf{\overrightarrow {EH}}$ 的物理意义为：词汇表 $\mathbb{V}$$\mathbb V$ 中所有单词的输出向量的加权和，其权重为 $E{I}_j$$EI_j$ 。

4. 考虑到 $\overrightarrow{\mathbf{h}}={\mathbf{W}}^T\overrightarrow{\mathbf{x}}$$\mathbf{\vec h}=\mathbf W^T\mathbf{\vec x}$ ，则有：

   $$\begin{array}{}\text{(47)}& \frac{\partial E}{\partial w_{k,i}}=\frac{\partial E}{\partial h_i}\times \frac{\partial h_i}{\partial w_{k,i}}=E{H}_i\times x_k\end{array}$$

   写成矩阵的形式为：$\frac{\partial E}{\partial \mathbf{W}}=\overrightarrow{\mathbf{x}}\otimes \overrightarrow{\mathbf{EH}}$$\frac{\partial E}{\partial \mathbf W}=\mathbf{\vec x}\otimes \mathbf{\overrightarrow {EH}}$ ，其中 $\otimes$$\otimes$ 为克罗内克积。

   由于 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 是one-hote 编码，所以它只有一个分量非零，因此 $\frac{\partial E}{\partial \mathbf{W}}$$\frac{\partial E}{\partial \mathbf W}$ 只有一行非零，且该非零行就等于 $\overrightarrow{\mathbf{EH}}$$\mathbf{\overrightarrow {EH}}$ 。因此得到更新方程：

   $$\begin{array}{}\text{(48)}& {\overrightarrow{\mathbf{w}}}_I^{(new)}={\overrightarrow{\mathbf{w}}}_I^{(old)}-\eta \overrightarrow{\mathbf{EH}}\end{array}$$

   其中 ${\overrightarrow{\mathbf{w}}}_I$$\mathbf{\vec w}_I$ 为 $\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 非零分量对应的 $\mathbf{W}$$\mathbf W$ 中的行，而 $\mathbf{W}$$\mathbf W$ 的其它行在本次更新中都保持不变。

3.3 优化

1. 原始的CBOW 模型和Skip-Gram 模型的计算量太大，非常难以计算。

   • 模型在计算网络输出的时候，需要计算误差 。对于CBOW 模型，需要计算 $V$$V$ 个误差（词汇表的大小），对于 Skip-Gram 模型，需要计算 $C\times V$$C \times V$ 个误差。

     另外，每个误差的计算需要用到 softmax 函数，该 softmax 函数涉及到 $O(V)$$O(V)$ 复杂度的运算： $\sum _{j=1}^V\exp (u_j)$$\sum_{j=1}^V \exp (u_j)$ 。

   • 每次梯度更新都需要计算网络输出。

   如果词汇表有 100万 单词，模型迭代 100 次，则计算量超过 1 亿次。

2. 虽然输入向量的维度也很高，但是由于输入向量只有一位为 1，其它位均为 0，因此输入的总体计算复杂度较小。

3. word2vec 优化的主要思想是：限制输出单元的数量。

   事实上在上百万的输出单元中，仅有少量的输出单元对于参数更新比较重要，大部分的输出单元对于参数更新没有贡献。

4. 有两种优化策略：

   • 通过分层 softmax 来高效计算 softmax 函数。

   • 通过负采样来缩减输出单元的数量。