十、Calibrate Before Use[2021]

论文：《Calibrate Before Use: Improving Few-Shot Performance of Language Models》

1. few-shot learning （用有限的样本来学习任务的能力）是智力的一个重要方面。最近的工作表明，大型神经语言模型可以在不进行微调的情况下进行 few-shot learning 。具体来说，当被提供以自然语言 prompt 描述的几个样本时，GPT-3 可以执行许多任务。例如，为了进行情感分析，人们可以将 GPT-3 以一个 prompt 为条件，如：

   Input: Subpar acting. Sentiment: Negative
   Input: Beautiful film. Sentiment: Positive
   Input: Amazing. Sentiment:
   

   其中前两行对应两个prompted examples，最后一行是一个测试样本。为了进行预测，该模型预测的后续 token 更有可能是单词 "Positive" 或 "Negative"。

   这种 few-shot "in-context" learning 的方式很有趣，因为它表明模型可以在没有参数更新的情况下学习。而且，更重要的是，与现在标准的微调方法相比，它有许多实际的优势：

   • 首先，它允许从业者 "快速制作" NLP 模型的原型：改变 prompt 会立即导致一个新的模型。

   • 其次，它为机器学习模型提供了一个百分之百自然语言的接口，这使得用户（甚至那些不是技术专家的人）可以创建 NLP系统。

   • 最后，由于 in-context learning 在每个任务中都重复使用相同的模型，它在为许多不同的任务在 serving 时减少了内存需求和系统复杂性。

   然而，尽管有这些承诺，我们表明，GPT-3 的准确率在不同的 prompts 中可能非常不稳定的。一个 prompt 包含三个部分：prompt 格式、一组prompted examples、以及这些样本的排列组合（ordering ）。我们表明，对这些因素的不同选择会导致高度不同的准确率。例如，在情感分析 prompt 中改变prompted examples的排列方式会使准确率从接近随机（54% ）变为接近 SOTA（93%）。这种不稳定性意味着 GPT-3 的用户（这些用户通常是手动设计 prompts），不能期望持续获得良好的准确率。

   我们接下来分析一下造成这种不稳定性的原因。我们确定了语言模型的三个缺陷，这些缺陷导致它们在 few-shot learning 期间偏向于某些答案。具体而言，它们受到 majority label bias 、recency bias 、以及 common token bias 的影响。

   • majority label bias 和 recency bias 导致模型会预测在 prompt 中经常出现、或接近 prompt 末尾的 training answer 。例如，一个以 negative training example 结束的 prompt 可能会偏向于 negative class 。

   • 另一方面，common token bias 导致模型更倾向于在模型的预训练数据中经常出现的答案，例如，它更倾向于 "United States" 而不是 "Saint Lucia" 。这对于目标任务来说可能是次优的。

   我们发现，这些 bias 通常会导致模型的输出分布发生偏移。因此，我们可以通过 "校准" 输出分布来抵消这些 bias 。具体来说，我们通过输入一个content-free 的 dummy test input 来估计模型对某些答案的 bias 。例如，在上面的 prompt 中，如果我们用 "N/A" 字符串替换 "Amazing." ，模型就会预测出 62% Positive 。然后我们拟合 calibration parameters ，使 content-free input 对每个答案都有统一的分数。这个 contextual calibration 程序提供了一个良好的 calibration parameters setting ，而不需要额外的训练数据。

   将噪音输入的 prediction 分布作为校正参数，对 test input 的 prediction 分布进行校正。

   我们在一系列的任务上测试了 contextual calibration 的有效性。在不同的 prompt format 和样本的选择中，contextual calibration 一致地提高了 GPT-3 和 GPT-2 的准确率（绝对提升高达 30.0% ）（如下图所示）。它还使准确率在不同的 prompt 中更加稳定，从而减轻了对 prompt engineering 的需求。总的来说，contextual calibration 是一种简单的方法，它使语言模型成为更好的 few-shot learners ：它使终端用户能够以相当少的努力获得更高的准确率。

   

2. 相关工作：

   • Few-shot Learning with Language Model：最近的工作使用语言模型来解决 NLP 任务，例如，story cloze prediction 、knowledge base completion 、和 Winograd schema 。

     GPT-2 和 GPT-3 表明，大型语言模型可以通过 in-context learning 从而以 few-shot 的方式解决无数的任务。我们的论文对他们的 setting 提供了一个简单的修改从而提高性能。要求语言模型补全 natural language prompt 也作为一种方法从而 "probe" language model ，例如，分析事实性的知识或常识性知识。我们的结果表明，这些 probing 方法可能低估了模型的准确率，我们建议未来的工作利用 contextual calibration 的优势。

   • NLP 中 Few-shot Learning 的波动性：最近的工作表明，当使用 masked language model （如 BERT ）进行 zero-shot learning 时，prompt 的格式会影响准确率。独立且同时进行的工作也表明，当在 few examples 上微调 masked language model 时，prompted examples的选择会影响结果。我们表明，类似的不稳定性发生在 left-to-right language model 的 in-context learning （即，没有微调）中。我们还显示了一个与 example ordering 有关的令人惊讶的不稳定性。此外，与过去的工作不同，我们分析了这些不稳定性发生的原因，并利用这一分析的见解来缓解这些问题。

   • 语言模型的失败：当语言模型被用于 in-context learning 时，我们发现了失败的情况（例如，recency bias）。过去的工作发现，当语言模型被用于文本生成时也有类似的失败。例如，神经语言模型经常重复自己（《The curious case of neural text degeneration》）、遭受过度自信、遭受 recency bias 、喜欢通用的 response 而不是稀有文本。过去的工作通过修改模型的输出概率或生成方案来缓解这些退化，例如，显式地地防止重复（《A deep reinforced model for abstractive summarization》）、或使用采样而不是贪婪解码（《The curious case of neural text degeneration》）。

10.1 背景和实验设置

1. 神经自回归语言模型将 tokens 的一个序列作为输入，并输出 next token的概率分布。大型神经语言模型可以使用 in-context learning 以 zero-shot/few-shot 的方式执行任务（GPT-2, GPT-3 ）。为此，一个自然语言的 prompt 被馈入模型。这个 prompt 包含三个部分：format 格式、一组prompted examples、prompted examples的排列顺序（ordering ）。

   • Prompt Format：prompt format 是一个模板，由占位符（针对prompted examples和测试样本）和任务的自然语言描述（这个描述也可能不存在）组成。例如，前面章节中的 prompt format 是一个具有以下风格的模板： "Input:" input "Sentiment:" label。还有许多其他的格式，例如，我们可以把任务设定为问答任务。

   • Prompt Training Examples：prompted examples是用来教导语言模型如何解决手头的任务。前面章节中的 prompt 由两个prompted examples组成；我们把这称为 "two-shot" learning。我们也考虑 "zero-shot" learning，即不存在任何prompted examples。

   • Training Example Permutation：当prompted examples被使用时，prompted examples之间有一个特定的排列方式，例如，在前面章节的 prompt 中，"Subpar acting" 的样本排在第一位。这种排列方式很重要，因为神经语言模型是以从左到右的方式更新其 hidden states 。

   为了对一个输入进行预测，我们把它放入 test placeholder 中，并从语言模型中生成。例如，请看前面章节的 prompt 中的 "Amazing." 测试样本。

   • 对于 generation 任务，我们从语言模型中贪婪地生成，直到它产生一个换行符。

   • 对于分类任务，每个类别的概率是由分配给该类别的 label name 的概率给出的，例如，情感分类中的 "Negative" 和 "Positive" 。

2. 数据集和 prompt format ：我们将数据集用于三个任务：文本分类、事实检索、信息提取。除非另有说明，我们对每个数据集都使用固定的 prompt format ，这些格式如下表所示。

   • 文本分类数据集：用于情感分析的 SST-2、用于问题分类的 TREC 、用于 textual entailment 的 CB、来自 SuperGLUE 的 RTE、用于话题分类的 AGNews 和 DBPedia 。

   • 事实检索数据集：LAMA 数据集。该数据集由 knowledge base 三元组 (subject, relation, object) 组成，这些三元组被放置在带有缺失 object 的模板中，例如 "Obama was born in" 。我们使用这些模板作为我们的 prompt ，并删除 missing answer 不在模板末端的样本（ left-to-right 的语言模型只能解决 missing answer 在模版末尾的问题）。答案总是 single token ，我们报告了所有三元组的平均准确率。

   • 信息提取数据集：两个 slot filling 数据集，即 ATIS 、MIT Movies trivia10k13 。我们为每个数据集使用两个随机槽，ATIS 使用 airline 和出发日期、而 MIT Movies 使用导演姓名和电影类型。两个数据集的答案都是输入文本的 span ，例如，ATIS airline task 是在给出 "list a flight on american airlines from toronto to san diego" 的句子时预测 "american airlines" 。我们使用模型所生成的输出和 ground-truth span 之间的 Exact Match 作为我们的评估指标。

   

   

   

3. 模型细节：我们在三种规模的 GPT-3 （ 2.7B/13B/175B 参数）以及 GPT-2（ 1.5B 参数）上运行我们的实验。我们使用 OpenAI 的 API 访问 GPT-3 。我们发布代码来复制我们的实验。

10.2 准确率在不同的 Prompts 之间差异很大

1. 这里研究 GPT-3 的准确率如何随着我们对 prompt 的各个方面（prompted examples、排列组合、格式）的改变而改变。我们专注于数据集的一个子集，以简化我们的分析。在后续章节中，我们表明我们的发现在我们研究的所有数据集中都是成立的。

2. GPT-3 的准确率在很大程度上取决于prompted examples选择和prompted examples排列组合。具体来说，我们使用一个固定的 prompt format 并选择不同的随机的prompted examples集合。对于每一组prompted examples，我们评估所有可能的排列组合的准确率。

   下图显示了 SST-2 （4-shot, GPT-3 2.7B ）的结果。令人惊讶的是，改变排列组合可能与选择何种prompted examples一样重要，甚至更重要。例如，改变prompted examples的排列组合可以使准确率从接近机会（ 54.3% ）上升到接近 SOTA（93.4%）。关于对排列组合的敏感性的定性的示例，参考 Table 2。这种对样本顺序的高度重要性与标准机器学习形成了鲜明的对比，在标准机器学习中，训练期间的样本顺序通常是不太重要的。

   

   

3. 这种方差在更多的数据和更大的模型中持续存在：在 prompt 中添加更多的prompted examples并不一定能减少准确率的方差。我们在下图中对三个不同的数据集扫描了不同数量的prompted examples（红色曲线）。即使我们使用 16 个prompted examples，方差仍然很高。此外，增加更多的prompted examples有时会伤害准确率（例如，DBPedia 的 0-shot 到 1-shot 的平均准确率从 36.0% 下降到 25.9% ）。在使用较大的模型时，准确率的方差也会保持很高。

   

4. GPT-3 的准确率高度依赖于 prompt format ：接下来我们保持固定的prompted examples和固定的排列组合，但改变 prompt format 。我们专注于 SST-2 ，并手动设计了另外 14 种 prompt format 。这些格式包括 question-answer 模板、对话式模板、类似网页的 prompts 、以及 label names 的变化（所有格式如 Table 7 所示）。下图显示了其中 10 种格式的准确率。我们发现，有些格式平均来说比其他格式要好。然而，所有的格式在不同的训练集中仍然存在着高方差。

   

   

10.3 是什么导致了高方差？

1. 接下来，我们分析了为什么 GPT-3 的准确率在不同的prompted examples、排列组合、以及 prompt format 中会有所不同。具体而言，我们表明，方差的产生是因为语言模型偏向于输出以下答案：

   • (1)：在 prompt format 中频繁出现的答案（majority label bias ）。

   • (2)：在 prompt 尾部出现的答案（recency bias ）。

   • (3)：在预训练数据中常见的答案（common token bias）。

2. Majority Label Bias：我们发现 GPT-3 偏向于 prompt 中经常出现的答案。一个常见的情况是，当一个 text classification prompt 存在类别不平衡时，例如，在情感分类样本中更多的 Positive 样本。这表现在下图的 "unbalanced" 区域：当一个类别更高频时，GPT-3 2.7B 严重偏向于预测该类别。由于 SST-2 情感分类数据集是平衡的，这种 bias 会导致很大的准确率下降。 majority label bias 也解释了为什么我们经常观察到从 0-shot 到 1-shot 的准确率下降：我们发现下降的原因是模型经常重复这个 one training example 的类别。

   majority label bias 也发生在 generation 任务中。在使用 GPT-3 2.7B 的 4-shot LAMA 的验证集上，50.2% 的模型预测是四个训练答案之一的重复（ground truth 的重复率只有 24.7% ）。总的来说，majority label bias 有助于解释为什么对prompted examples的不同选择会严重影响 GPT-3 的准确率：它改变了 model prediction 的分布。

   下图的含义：4-shot SST-2 中，选择不同的 class组合导致不同的 positive prediction 概率（纵轴）。

   

3. Recency Bias：模型的 majority label bias 因其 recency bias 而加剧：倾向于重复那些出现在prompt 尾部的答案。Figure 4 的 "balanced" 区域表明了这一点。例如，当两个Negative 样本出现在最后时（即，"PPNN" ），该模型将严重倾向于 Negative 类别。此外，recency bias 可以超过 majority label bias ，例如，"PPPN" 训练集导致近 90% 的预测是 Negative 的，尽管 $\frac{3}{4}$$\frac{3}{4}$ 的prompted examples是 Positive 的。

   recency bias 也会影响 generation 任务。对于 4-shot LAMA ，更接近 prompt 尾部的答案更有可能被模型重复。具体来说，模型对第一个、第二个、第三个和第四个prompted examples的答案分别 "过度预测"了 8.5%、8.3%、14.3% 和 16.1% 。总的来说，recency bias 有助于解释为什么prompted examples的排列顺序很重要：样本的排序严重影响了 model prediction 的分布。

4. Common Token Bias：最后，我们发现 GPT-3 偏向于输出其预训练分布中常见的 tokens ，这对于下游任务的答案分布来说可能是次优的。这种情况的一个简单案例发生在 LAMA 事实检索数据集上，其中模型经常预测常见的实体（如 "America" ），而 ground-truth answer 却是一个罕见的实体。

   在文本分类中，出现了一个更细微的 common token bias 的案例。回顾一下，该模型是通过生成与每个类别相关的 label name 来进行预测的。因为某些 label name 称在预训练数据中出现的频率较高，所以模型会对预测某些类别有固有的 bias 。例如，在DBPedia （一个平衡的14-way 主题分类数据集）上，GPT-3 预测 "book" 类别的频率比 "artist" 类别高 11 倍。事实上，DBPedia label name 的频率与 GPT-3 预测其类别的概率之间存在适度的相关性（$r=0.67$$r=0.67$）。总的来说，common token bias 有助于解释为什么 label names 的选择是重要的，以及为什么模型在罕见的答案上陷入困境。

5. bias 对模型预测的影响：我们发现，上述三种 bias 的最终结果通常是模型输出分布的 simple shift 。例如，下图直观地显示了SST-2 sentiment prompt 的这种偏移。下图中使用的 prompt 和模型的固有 bias 导致模型对于 Positive 类别经常预测出高的信心。由于默认的 50% 阈值被用来进行预测，这导致了频繁的假阳性（false positive ）。重要的是，请注意，如果我们能够最佳地设置分类阈值（在这个案例中，$p(\text{Positive})=0.68$$p(\text{Positive})=0.68$），那么分类器将是高度准确的（在验证集上是 94% ）。

   

10.4 Contextual Calibration

1. 到目前为止，我们已经表明，由于 prompt bias 和模型的固有 bias ，GPT-3 偏向于某些答案。这里，我们希望通过 "校准" 模型的输出概率来纠正这一点。调整输出概率的常见技术是应用仿射变换：

   $$\begin{array}{}\text{(1)}& \widehat{\overrightarrow{\mathbf{q}}}=\text{softmax}(\mathbf{W}\widehat{\overrightarrow{\mathbf{p}}}+\overrightarrow{\mathbf{b}})\end{array}$$

   其中：$\mathbf{W}$$\mathbf W$ 为待学习的权重矩阵，$\overrightarrow{\mathbf{b}}$$\mathbf{\vec b}$ 为待学习的偏置向量，$\widehat{\overrightarrow{\mathbf{p}}}$$\hat{\mathbf {\vec p}}$ 为原始的概率，$\widehat{\overrightarrow{\mathbf{q}}}$$\hat{\mathbf {\vec q}}$ 为新的概率。

   • 对于分类任务，$\widehat{\overrightarrow{\mathbf{p}}}$$\hat{\mathbf {\vec p}}$ 是与每个 label name 相关联的概率的集合，重新归一化为 1.0。

   • 对于生成任务，$\widehat{\overrightarrow{\mathbf{p}}}$$\hat{\mathbf {\vec p}}$ 是针对 first token 的在整个候选集合上的概率集合。

     注意，这里是 generation 的 first token 上进行调整。

   在本文中，我们限制矩阵 $\mathbf{W}$$\mathbf W$ 为对角矩阵，即所谓的 vector scaling，从而防止参数在 $\widehat{\overrightarrow{\mathbf{p}}}$$\hat{\mathbf{\vec p}}$ 的 size 上（对于生成任务，这个 size 大约是 50k ）呈二次方的增长。

2. 在 zero-shot/few-shot setting 下，主要挑战是我们没有数据来学习 $\mathbf{W},\overrightarrow{\mathbf{b}}$$\mathbf W ,\mathbf{\vec b}$ 。因此，我们提出一个创新的data-free 程序来推断这些参数的一个 good setting 。关键的想法是，模型对某些答案的 bias 可以通过输入一个 content-free input来估计，比如 字符串 "N/A"。例如，考虑 two-shot prompt：

   xxxxxxxxxx
   Input: Subpar acting. Sentiment: Negative
   Input: Beautiful film. Sentiment: Positive
   Input: N/A Sentiment:
   

   其中 "N/A" 作为 test input 。理想情况下，GPT-3 会对这个测试输入进行评分，即 50% 为 Positive 、50% 为 Negative 。然而，模型的 bias 导致模型把这个输入打分为 61.8% 的 Positive 。请注意，这个错误是 contextual 的：对prompted examples、排列组合、prompt 格式的不同选择将导致对 content-free input 的不同预测。

   我们可以通过设置 $\mathbf{W}$$\mathbf W$ 和 $\overrightarrow{\mathbf{b}}$$\mathbf{\vec b}$ 来纠正这个错误，使 content-free input 的 class scores 统一。我们首先得到 content-free input 的 $\widehat{\overrightarrow{\mathbf{p}}}$$\hat{\mathbf{\vec p}}$，记做 ${\widehat{\overrightarrow{\mathbf{p}}}}_{\text{cf}}$$\hat{\mathbf{\vec p}}_\text{cf}$。然后我们设置 $\mathbf{W}=\text{diag}{\left({\widehat{\overrightarrow{\mathbf{p}}}}_{\text{cf}}\right)}^{-1}$$\mathbf W = \text{diag}\left(\hat{\mathbf{\vec p}}_\text{cf}\right)^{-1}$，$\overrightarrow{\mathbf{b}}$$\mathbf{\vec b}$为全零向量。为了进行 test prediction ，我们计算 $\mathbf{W}{\widehat{\overrightarrow{\mathbf{p}}}}_{\text{test}}+\overrightarrow{\mathbf{0}}$$\mathbf W \hat{\mathbf{\vec p}}_\text{test} + \mathbf{\vec 0}$，并取其 argmax 。

   为什么选择这种 $\mathbf{W}$$\mathbf W$ ？现在假设 test input 就是 content-free input，那么 $\mathbf{W}{\widehat{\overrightarrow{\mathbf{p}}}}_{\text{test}}+\overrightarrow{\mathbf{0}}=\mathbf{I}$$\mathbf W \hat{\mathbf{\vec p}}_\text{test} + \mathbf{\vec 0} = \mathbf I$ ，为单位矩阵。这意味着将 content-free input 调整为均匀分布的输出。

3. 实现细节：这个 contextual calibration 程序增加了微不足道的计算开销，只需几行代码就能实现（计算和保存 ${\widehat{\overrightarrow{\mathbf{p}}}}_{\text{cf}}$$\hat{\mathbf{\vec p}}_\text{cf}$、调整输出概率）。对于 content-free input ，存在许多好的选择，包括 "N/A" 字符串、空字符串、以及一些杂乱的 tokens 。在我们所有的实验中，我们对三种 content-free 的概率进行平均："N/A"、"[MASK]"、以及空字符串。我们还可以以一种 task-specific 的方式制作 content-free input 。我们对 LAMA 进行了探索，我们用 content-free input 来代替 subject，例如，我们用 "N/A was born in" 作为输入。

   实现代码：https://www.github.com/tonyzhaozh/few-shot-learning。

4. Contextual Calibration 的结果：在这里，我们评估了 contextual calibration 在我们所有的数据集和语言模型中的有效性。我们首先使用一个固定的 prompt format ，并选择prompted examples的五个不同的随机的集合，将它们以任意的顺序放在 prompt 中。我们没有人为地平衡分类任务中prompted examples的类别比例。我们在基线（无calibration 的标准解码）和 contextual calibration 中使用相同的prompted examples集合。我们使用 0-8 个样本的 labeling budget ，因为使用超过 8- shot 会导致查询 OpenAI API 的成本变得过于昂贵。

   结果如下表所示。Figure 1 对于一部分任务绘制了下表中的数据。

   

   • 提高了平均准确率、以及 worst-case 准确率：contextual calibration 极大地提高了 GPT-3 的平均准确率、以及 worst-case 准确率，提升幅度（绝对值）高达 30.0% 。这些提高对分类任务和生成任务都适用。contextual calibration 有时还允许 GPT-3 2.7B 的性能优于 GPT-3 175B baseline 高达 19.3% ，尽管前者的体积比后者小了 50 多倍。

   • 可以减少整个训练集的方差：Figure 6 显示了 Table 1 中所有任务的 baseline 和 contextual calibration 之间的标准差的差异。在大多数情况下，contextual calibration 大大减少了方差；在其余情况下，contextual calibration 并没有大大增加方差。

     

   • 减少了从 0-shot 到 1-shot 的 drop：对于 baseline，有四个案例在从 0-shot 到 1-shot 的过程中出现了准确率的下降（TREC, AGNews, DBpedia, SST-2 ）。我们把这种下降归因于majority label bias 。contextual calibration 在四种情况中的三种情况下消除了这种下降。

   • 改善 GPT-2 ：我们还测试了GPT-2 1.5B（参考 Table 4 ）。我们发现，与 GPT-3 一样，GPT-2 的准确率在不同的 prompt 中也有很大的差异。这表明，我们观察到的 few-shot in-context learning 的方差是语言模型的一个普遍问题。其次，contextual calibration 对 GPT-2 来说是开箱即用的，它提高了大多数任务的平均准确率并减少了方差。

     

   • 提高不同格式的准确率：在我们的下一组实验中，我们使用固定的prompted examples集并改变 prompt format 。我们使用前面讨论的SST-2 的 15 种 prompt format。我们还通过使用 AutoPrompt 生成的 original LAMA templates 的转述，为 LAMA 中的三个随机关系（P20, P159, P19 ）各创建了 15 种 prompt format 。Figure 7 是 SST-2 校准前后的结果， Figure 9 是 LAMA 的结果。contextual calibration 提高了两个数据集的平均准确率和 worst-case 准确率，并降低了 SST-2 的方差。

     

     

5. Contextual Calibration 消融研究：最后，我们对 contextual calibration 进行了两项分析。

   • 我们首先分析了 contextual calibration 在推断 $\mathbf{W}$$\mathbf W$ 的良好 setting 方面的有效性。为此，我们将其准确率与 "oracle calibration"方法进行比较，后者使用验证集来寻找最佳的对角矩阵 $\mathbf{W}$$\mathbf W$ 。我们在 AGNews 上评估了这个 oracle calibration ，发现 contextual calibration 与它惊人地接近（Figure 8）。

     

   • 我们还研究了 content-free input 的选择如何影响准确率。在 Table 3 中，我们显示了 SST-2 和 AGNews 对 content-free input 的不同选择的准确率。 content-free input 的选择很重要，然而，存在许多好的选择。

     

10.5 讨论

1. 校准是否消除了对 Engineer Prompt 的需要？"prompt engineering" 背后的动机是，并非所有的 prompts 都能导致同样的准确率。因此，我们应该调整 prompt 的格式和样例，以达到最佳的性能。contextual calibration 并不能消除对 engineer prompts 的需要，然而，它确实减轻了这种需要：contextual calibration 使最佳 prompts 的准确率、平均prompts 的准确率、以及worst case prompts 的准确率更加相似（以及更高）。

2. 你应该在 Few-shot Setting 中进行微调吗？我们使用一个固定的语言模型，没有微调。如前文所述，有许多理由不进行微调：它可以实现快速的原型设计；提供一个百分之百自然语言的接口；并且在为许多不同的任务 serving 时，在内存需求和系统复杂性方面更有效率。

   此外，就像没有 contextual calibration 的 in-context learning 一样，微调在 few-shot setting 中可能是不稳定的（PET）。然而，如果这些缺点是可以接受或可以避免的，那么在某些情况下，微调可以比 in-context learning 提高准确率。未来工作的一个有趣的方向是研究 contextual calibration 和微调之间的相互作用，例如，contextual calibration 是否缓解了微调的需要，或者反之亦然？

3. 从大的方面来看，我们的结果启发了 NLP 的 few-shot learning 的两个未来研究方向。

   • 首先，在方法方面，我们表明，good few-shot learning 需要关注细节：诸如 calibration 等微小但重要的决定会极大地影响结果。这使得我们很难正确地开发和比较新的方法（如预训练方案或模型架构）。因此，我们希望使其他的 few-shot learning 方法更加稳健，也希望扩大我们的技术以涵盖更广泛的任务（例如，开放式 generation 的校准）。

   • 第二，在分析方面，我们的结果强调了了解 GPT-3 从 prompt 中学到什么的必要性。该模型具有令人印象深刻的能力，可以通过更多的训练实例来提高。然而，我们表明该模型学习了一些表面的模式，如重复常见的答案。我们希望在未来的工作中能更好地理解和分析 in-context learning 的 dynamics 。

十一、KATE [2021]

论文：《What Makes Good In-Context Examples for GPT-3?》

1. 尽管 GPT-3 具有强大而通用的 in-context learning 能力，但它也有一些实际的挑战/模糊之处。GPT-3 利用从训练集中随机采样的 task-relevant 样本来构建上下文。在实践中，我们观察到，GPT-3 的性能往往会随着 in-context examples 的不同选择而波动。如下表所示，在不同的 in-context examples ，经验结果的差异可能是很大的。这些结果对样本高度敏感。我们的工作旨在仔细研究这个问题，以便更深入地了解如何更好地选择 in-context examples ，以释放 GPT-3 的 few-shot 能力并进一步提高其性能。

   

   一个粗暴的方法是在整个数据集上进行 combinatorial search 。不幸的是，这种策略在计算上是昂贵的，因此在许多情况下是不切实际的。为此，我们研究了采用不同的 in-context examples 对经验结果的影响。有趣的是，我们发现，在 embedding 空间中更接近测试样本的 in-context examples 始终能产生更强的性能（相对于更远的 in-context examples ）。受这一观察和最近 retrieval-augmented model 的成功启发，我们建议利用给定测试样本的最近邻（在所有可用的 training instances 中）作为相应的 in-context examples 。被检索到的样本与测试样本一起被提供给 GPT-3 进行最终预测。

   核心思想：few-shot examples 不是随机选择的，而是选择和 test input 最相似的。

   根据 《Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?》 的结论，即使用随机的out of distribution 输入和随机的标签的组合（这种组合甚至不是一个有效的样本）作为 context，效果也比 no demostrations 要好。这个结论和本文不冲突，因为本文重点在说明：选择与 test input 最相似的训练样本，要比选择随机的训练样本，在 few-shot learning 中效果更好。

   为了验证所提出的方法的有效性，我们在几个自然语言理解任务和自然语言生成任务上对其进行了评估，包括情感分析、table-to-text 的生成、以及开放域的问答。我们观察到，retrieval-based in-context examples 比随机采样的 baseline 更有效地释放了 GPT-3 的 few-shot 。即使 in-context examples 的数量较少，所提出的策略也能使 GPT-3 获得更强的性能。此外，我们发现，在检索过程中所采用的特定的 sentence encoders 起着关键作用。因此，我们对不同的 pre-trained encoders 进行了广泛的探索，结果表明，在 natural language matching 任务中微调的编码器在 QA 任务中作为更有效的 in-context examples selector 。详细的分析和案例研究进一步验证了所提方法的有效性。综上所述，我们在本文中的贡献如下：

   • 据我们所知，我们迈出了第一步，了解了 GPT-3 针对不同的 in-context examples 选择的few-shot 能力。

   • 为了缓解敏感性问题，引入了一个额外的检索模块来寻找与测试实例的语义相似的 in-context examples ，以构建其相应的输入，这大大超过了基于 random sampled examples 的 baseline 的表现。

   • 在与任务相关的数据集上对 retrieval model 进行微调，使 GPT-3 的经验结果更加强大。

   • GPT-3 的性能随着可供检索的样本数量的增加而提高。

2. 相关工作：

   • Pre-trained Language Models：对于文本分类任务，引人注目的模型包括 BERT, RoBERTa, XLNet ；对于文本生成任务，值得注意的模型包括 BART, T5, mT5, XLM, GPT, GPT-2。这些模型可以通过微调来适应许多不同的任务。

     然而，GPT-3 可以适应许多下游任务，而不需要进行微调。只需给定几个 in-context examples ，GPT-3 就能迅速掌握模式，并在答案风格和内容上产生类似的答案。因此，GPT-3 可以被认为是一个模式识别器来进行 in-context learning 。人们刚刚开始尝试从不同的角度来理解 GPT-3 。正如引言部分提到的，《Measuring massive multitask language understanding》 研究 GPT-3 更能够回答哪些类别的问题。我们的工作重点是如何选择好的 in-context examples 。

   • 基于检索的文本生成：其中心思想是将检索到的样本作为典范/原型，并对其进行一些编辑。GPT-3 在一个角度上可以被自然地视为一个通用的编辑器，适应于广泛的任务。我们的工作独特地研究了如何在不进行微调的情况下最大限度地发挥 GPT-3 的优势。例如，我们为 GPT-3 提供的 context 的语义相似度越高，该模型能产生的结果就越好。其他编辑器或生成器则没有这种能力。

   • 用 kNN 改进 NLP 系统：

     • 最近的一个工作方向是试图结合 nonparametric 方法来提高一个给定模型的性能。这些方法首先访问测试样本的 hidden representation ，并在数据库中寻找该测试样本的最近邻。一旦找到最近邻，最近邻的标签就被用来增强模型的预测。例如，新引入的 kNN-LM, kNN-MT, BERT-kNN 通过从 data-store 中检索最近的 $k$$k$ 个邻居来生成 next token 。

     • 另一项相关工作是 kNN 分类模型，他们在 fine-tuned classification model 的信心较低时使用 kNN 作为 backoff。

     我们的工作与其他方法有两个关键区别：

     • 首先，其他方法使用最近的 $k$$k$ 个邻居来修改模型的 next token distribution 。然而，我们只使用最近的 $k$$k$ 个邻居来改变上下文。

     • 第二，其他方法可以访问模型的参数和 embedding ，而我们无法访问。相反，我们使用其他一些独立预训练好的模型来获得sentence embedding ，以检索最近的 $k$$k$ 个邻居。

11.1 方法

11.1.1 GPT-3 用于 In-Context Learning

1. GPT-3 的 in-context learning 场景可以被看作是一个条件文本生成问题。具体来说，生成目标 $y$$y$ 的概率是以上下文 $C$$C$ 为条件，其中 $C$$C$ 包括 $k$$k$ 个样本、以及源 $x$$x$ 。因此，对应于源 $x$$x$ 的预测 $y$$y$ 可以表示为：

   $$\begin{array}{}\text{(2)}& p_{\text{LM}}(y\mid C,x)=\prod _{t=1}^{T}p(y_t\mid C,x,y_{<t})\end{array}$$

   其中：LM 表示语言模型的参数；$C=\{x_1,y_1,x_2,y_2,\cdots ,x_k,y_k\}$$C=\{x_1,y_1,x_2,y_2,\cdots,x_k,y_k\}$ 为上下文字符串。在 GPT-3 中，$C$$C$ 是通过将 $k$$k$ 个 training instances 和它们相应的标签拼接起来而创建的。如下图所示，GPT-3 被要求根据输入的三个样本从而将 "mountain" 翻译成德语版本。

   

   对于 GPT-3 ，这个生成过程是通过一个巨大的 transformer-based 的模型架构实现的。鉴于 GPT-3 模型的巨大规模，在 task-specific samples 上对其进行微调将是计算量巨大。因此，GPT-3 通常是以上述的 in-context learning 方式来利用的。事实证明，GPT-3 具有强大的 few-shot 能力，只需提供少量的 demonstrations 就可以表现得相当好。不幸的是，如 Table 1 所示，GPT 的结果往往会随着选择不同的 in-context examples 而出现明显的波动。在这里，我们旨在通过明智地选择 in-context examples 来缓解这个问题。

11.1.2 In-Context Examples 的影响

1. 鉴于观察到GPT-3 的实证结果对所选择的 in-context examples 很敏感，我们从实证的角度来看看 in-context examples 的作用。以前的 retrieve-and-edit 文献通常会检索出在某些 embedding 空间中与 test source $x$$x$ 接近的邻居样本。这些邻居样本和 test source $x$$x$ 经常有语义上的或词汇上的相似性。这暗示了我们如何为 GPT-3 选择 in-context examples。

   为此，我们研究了 in-context example 和测试样本之间的距离对 GPT-3 的性能的影响。具体来说，我们在 Natural Questions: NQ 数据集上对两种 in-context example 选择策略进行了比较。对于每个测试样本，第一种方法利用最远的 10 个训练实例来构建上下文从而馈入 GPT-3 ，而第二种方法则采用最近的 10 个邻居来构建上下文。我们使用 pre-trained RoBERTa-large 模型的CLS embedding 作为 sentence representation 来衡量两个句子的临近程度（使用欧氏距离）。

   我们随机抽取了 100 道测试题来进行评估，下表中报告了两种不同策略的平均 Exact Match: EM 得分。可以看出，最近邻作为 in-context examples ，相对于最远的训练样本，产生了更好的结果。此外，pre-trained RoBERTa 模型作为有效的 sentence embedding ，用于检索程序。

   

11.1.3 kNN-augmented In-Context Example Selection

1. 基于上述发现，我们提出了 Knn-Augmented in-conText Example selection: KATE ，一种为 in-context learning 选择 good in-context examples 的策略。这个过程在下图中得到了可视化。

   具体来说，我们首先使用某个 sentence encoder 将训练集和测试集中的 sources 转换为 vector representations 。然后，对于每个test source $x$$x$ ，我们从训练集检索其最近的 $k$$k$ 个邻居 $\{x_1,x_2,\cdots ,x_k\}$$\{x_1,x_2,\cdots,x_k\}$（根据 sentence encoder 的 embedding 空间中的距离）。给定一些预定义的相似性度量 $d$$d$ （如余弦相似性），邻居的排序方式是：当 $i<j$$i \lt j$ 时满足 $d(x_i,x)\le d(x_j,x)$$d(x_i,x)\le d(x_j,x)$ 。

   即，距离从近到远的排序。

   

   之后，将 $k$$k$ 个 sources 与它们相应的 label 拼接起来，形成上下文 $C=\{x_1,y_1,x_2,y_2,\cdots ,x_k,y_k\}$$C = \{x_1,y_1,x_2,y_2,\cdots,x_k,y_k\}$，并进一步将其与 test source $x$$x$ 一起发送给 GPT-3 。算法图见 Alogorithm 1 。请注意，这里可以采用不同数量的 in-context examples ，我们在后面的章节中对其影响进行消融研究。

   

2. Retrieval Module 的选择：我们的 context selection 方法的一个核心步骤是将句子映射到潜在语义空间中，这就留下了一个问题，即我们应该选择什么样的 sentence encoder 。我们在现有的 pre-trained text encoder 中进行了比较，发现它们足以检索出语义相似的句子。这些 sentence encoder 可以分为两类。

   • 第一类包括最通用的 pretrained sentence encoder ，如 pre-trained BERT, RoBERTa, or XLNet 模型。这些模型已经在大量的无监督任务中进行了训练，并在许多自然语言任务中取得了良好的表现。相应的 embedding 包含来自原始句子的丰富语义信息。

   • 第二类包括在特定任务或数据集上微调后的 sentence encoder 。例如，在 STS 基准数据集上训练好的 sentence encoder 应该能够比通用的 pre-trained sentence encoder 更好地评估不同问题之间的相似性。SentenceBert 已经表明，这些经过微调的编码器在句子聚类、paraphrase mining、以及信息检索等任务上取得了很好的性能。

11.2 实验

1. 任务：情感分类、table-to-text generation、问答。数据集和 data split 如下表所示。就 GPT-3 API 中的超参数而言，我们将温度设置为 0 。我们让 GPT-3 继续生成 tokens ，直到出现一个特殊的换行符 "\n"。

   温度为零使得 generation 结果的随机性更小。

   

2. 用于检索的 Sentence Embedding：为了检索语义相似的 training instances，我们考虑如下两类的 sentence embedding：

   • 原始的 pre-trained RoBERTa-large 模型，记做 ${\text{KATE}}_{\text{roberta}}$$\text{KATE}_\text{roberta}$。

   • 在任务相关的数据上微调的 RoBERTa-large 模型：

     • 在 SNLI 和 MultiNLI 上微调的模型，记做 ${\text{KATE}}_{\text{nli}}$$\text{KATE}_\text{nli}$。

     • 先在 SNLI 和 MultiNLI 上微调、然后再在 STS-B 上微调的模型，记做 ${\text{KATE}}_{\text{nli+sts-b}}$$\text{KATE}_\text{nli+sts-b}$。

   值得注意的是，所有的 sentence encoder 都有相同的结构（RoBERTa-large ），唯一不同的是用于微调的具体数据集。${\text{KATE}}_{\text{roberta}}$$\text{KATE}_\text{roberta}$ 使用的是欧氏距离，而 ${\text{KATE}}_{\text{nli}}$$\text{KATE}_\text{nli}$ 和 ${\text{KATE}}_{\text{nli+sts-b}}$$\text{KATE}_\text{nli+sts-b}$ 使用的是余弦相似度。

   • Sentiment Analysis：对于情感分类，我们在 transfer setting 下选择 in-context examples ，其中一个数据集被视为训练集，评估是在另一个数据集上进行的。这种 transfer setting 是为了模拟现实世界中的情景，即我们想利用现有的 labeled dataset 来用于一个 unlabeled dataset （一个类似的任务）。

     具体来说，我们从 SST-2 训练集中选择 in-context examples，要求 GPT-3 对 IMDB 测试集进行预测。为了探索在类似任务上微调好的 sentence encoder 是否会有利于 KATE 的性能，我们还采用了在 SST-2 训练集上微调好的 pre-trained RoBERTa-large 模型（被称为 ${\text{KATE}}_{\text{sst-2}}$$\text{KATE}_\text{sst-2}$）。性能是由整个 IMDB 测试集的准确率来衡量的。由于增加更多的样本并不能进一步提高性能，所以 in-context examples 的数量被选为 3 。

   • Table-to-Text Generation：给定一个 Wikipedia table 和一组 highlighted cells ，这项任务的重点是产生人类可读的文本描述。由于 ToTTo 的流行，我们利用它进行评估。我们使用 BLEU 和 PARENT 指标进行评价。ToTTo 代码库包含评估和预处理脚本。由于 GPT-3 的输入长度限制（目前 token 数量限制为 2048 个），我们增加了一个额外的预处理步骤，即删除 </cell> 和 </table> 等 closing 角括号以节省一些空间。in-context examples 的数量被设定为 2 。

   • Question Answering：给定一个事实性的问题，问答任务要求模型生成正确的答案。根据先前的研究，我们使用 Exact Match: EM 得分来衡量 GPT-3 在开放领域的问答任务中的表现。EM 得分被定义为 predicted answers 与 ground-truth answer（如果有多个 ground-truth answer，则只需要匹配其中之一即可）完全相同的比例。匹配是在字符串规范化之后进行的，其中包括去除上下文（仅保留答案部分）和标点符号。我们在三个开放领域的 QA 基准上进行了实验： Natural Questions: NQ、Web Questions: WQ、Trivia Question Answering: TriviaQA 。

     对于这项任务，我们为 NQ 和 WQ 挑选了最近的 64 个邻居作为 in-context examples ，为 TriviaQA 挑选了最近的 10 个邻居。对于 TriviaQA ，如果采用 64 个 in-context examples ，则超过了 2048 个 tokens 的限制。为了公平比较，我们将TriviaQA 的基线和 KATE 方法的 in-context examples 数量设定为 10 个。评估是在 NQ 和 WQ 的测试集、以及 TriviaQA 的验证集上进行的。

3. baseline 方法：

   • 随机采样：对于每个测试句子，我们从训练集中随机选择 in-context examples 。我们在实验结果中称这种方法为 Random 。为了与 KATE 进行公平的比较，这个random baseline 中的 in-context examples的数量与 KATE 相同，以确保公平的比较。在测试集上，random baseline 被重复五次，以获得平均分和相应的标准差。

   • k-Nearest Neighbor: kNN：此外，为了研究 retrieval module 是否与GPT-3 的 few-shot learning 互补，我们进一步考虑 k-nearest neighbor baseline。具体来说：

     • 对于文本生成任务，与第一个 retrieved example 相关联的 target $y_1$$y_1$ 被认为是测试样本的 predicted target 。

     • 对于情感分析和问答任务，利用 top k retrieved examples 的 target $\{y_1,\cdots ,y_k\}$$\{y_1,\cdots,y_k\}$，其中 final prediction 是由 $k$$k$ target 的多数投票决定的。如果出现平局的情况，我们取与测试句子最相似的例子的 target 作为预测。

     为了确保公平的比较，我们在 pre-trained RoBERTa-large 模型的相同 embedding 空间下比较 baseline kNN 和 KATE 。这个基线被缩写为 ${\text{kNN}}_{\text{roberta}}$$\text{kNN}_\text{roberta}$ 。

11.2.1 实验结果

1. 情感分析：我们首先在情感分析任务上评估 KATE 。结果显示在下表中。可以看出：

   • 相对于 random selection baseline ，KATE 始终产生更好的性能。

   • 值得注意的是，由于采用的是同一组 retrieved in-context examples ，所以获得的结果没有方差。

   • 对于 KATE 方法，当在 NLI 或 NLI+STSB 数据集上对 pre-trained sentence encoder 进行微调时，性能略有下降。由于IMDB 数据集和 NLI+STS-B 数据集的目标不同，这表明在不同的任务上进行微调会损害 KATE 的性能。

     此外，${\text{KATE}}_{\text{nli+sts-b}}$$\text{KATE}_\text{nli+sts-b}$ 的表现比 ${\text{KATE}}_{\text{nli}}$$\text{KATE}_\text{nli}$ 差，因为 sentence encoder 在 STS-B 数据集上被进一步微调了。 相比之下，${\text{KATE}}_{\text{sst-2}}$$\text{KATE}_\text{sst-2}$ 获得了最好的准确率，表明在相似的任务上进行微调可以使 KATE 的性能受益。

   • 为了验证收益不仅仅来自于检索步骤，我们进一步比较了 ${\text{KATE}}_{\text{roberta}}$$\text{KATE}_\text{roberta}$ 和 ${\text{kNN}}_{\text{roberta}}$$\text{kNN}_\text{roberta}$ 。结果发现，${\text{kNN}}_{\text{roberta}}$$\text{kNN}_\text{roberta}$ 方法的性能类似于随机猜测。当检索一个邻居或三个邻居时，这一观察结果是一致的。

     值得注意的是，在 SST-2 数据集上对 RoBERTa-large 模型的 embedding 进行微调后，${\text{kNN}}_{\text{sst-2}}$$\text{kNN}_\text{sst-2}$ 的准确率为 92.46 ，低于 ${\text{KATE}}_{\text{sst-2}}$$\text{KATE}_\text{sst-2}$ 获得的准确率。

     既然 $kN{N}_{\text{sst-2}}$$kNN_\text{sst-2}$ 的准确率高达 92.46，是否意味着用一个优秀的 pretrained sentence encoder 执行 kNN 就足够了？

   这些结果表明，GPT-3 模型对最终结果至关重要，而检索模块是对 GPT-3 的 few-shot 能力的补充。

   

2. Table-to-Text Generation：我们利用 ToTTo 数据集来评估 KATE 的 table-to-text generation 任务。结果如下表所示。根据BLEU 和 PARENT 分数，KATE 方法比 random baseline 有了相当大的提高。

   在更细的 scale 内，可以对 overlap子集和 non-overlap 子集进行评估。overlap 验证子集与训练集共享大量的标题名称，而 non-overlap 验证子集则不共享任何标题名称。可以看出，KATE 方法改善了 overlap 子集和 non-overlap 子集的结果，这意味着检索模块对于如下的两种情形都有帮助：测试集遵循训练集的分布、测试集不遵循训练集的分布。

   与情感分析类似，从 ${\text{KATE}}_{\text{roberta}}$$\text{KATE}_\text{roberta}$ 到 ${\text{KATE}}_{\text{nli}}$$\text{KATE}_\text{nli}$ 和 ${\text{KATE}}_{\text{nli+sts-b}}$$\text{KATE}_\text{nli+sts-b}$ ，性能略有下降。这是由于 ToTTo 数据集和 NLI+STS-B 数据集的目标不同。从 ${\text{KATE}}_{\text{nli}}$$\text{KATE}_\text{nli}$ 到 ${\text{KATE}}_{\text{nli+sts-b}}$$\text{KATE}_\text{nli+sts-b}$ 的下降进一步验证了这样一个观点：在一个不相似的任务上进行微调会损害 KATE 的性能。对于 kNN baseline ，它的表现比 random selection 方法和 KATE 方法差得多，这再次表明检索过程和 GPT-3 协同工作从而取得更好的结果。

   

   为了了解检索机制如何帮助 GPT-3 的预测，我们对 retrieved examples 进行了一个案例研究（见 Table 6 ）。通过从训练集中检索相关的样本，KATE 提供了有用的关于 table 的详细信息（例如，得分、篮板、以及助攻的数量），从而给 GPT-3 以更准确的描述。另一方面，random selection 方法有幻觉的问题，所生成的序列包含了表格中不存在的信息（例如，"senior year" 和 "University of Texas" ）。

   

3. Questing Answering：我们还在开放领域的问答任务上评估了 KATE ，如下表所示。对于问答任务，我们与一些 SOTA 的方法进行了比较，如 RAG 和 T5 。这两种方法都需要在特定的数据集上进行微调。KATE 方法再次提高了 GPT-3 在各种基准中的 few-shot prediction 的准确率。值得注意的是， fine-tuned transformer 模型作为更好的 sentence encoder 用于检索目的（与没有经过微调的 RoBERTa_large 模型相比）。

   ${\text{KATE}}_{\text{nli}}$$\text{KATE}_\text{nli}$ 和 ${\text{KATE}}_{\text{nli+sts-b}}$$\text{KATE}_\text{nli+sts-b}$ 在 ${\text{KATE}}_{\text{roberta}}$$\text{KATE}_\text{roberta}$ 的基础上进行了改进，因为对 NLI 或 STS-B 数据集的微调有助于从问答数据集中检索出语义相似的问题。此外，在 NQ 和 TriviaQA 数据集上，对 STS-B 数据集的进一步微调提高了 KATE 的结果。我们还尝试减少 random 方法和 KATE 方法的 in-context examples 的数量，使其减少到 5 个，其中 KATE 的表现也优于 baseline 。因此，KATE 相对于 random baseline 的优势在少量和大量的 in-context examples 都是成立的。更多的细节可以在消融研究部分找到。

   我们通过使用 top-1 最近邻来评估其他基线 ${\text{kNN}}_{\text{roberta}}$$\text{kNN}_\text{roberta}$ 。我们还探索使用 64 个最近邻（ TriviaQA 为 10 个最近邻）来确定答案（通过多数投票）。EM 的得分趋向于与检索 top-1 最近邻相似。这些 kNN baseline 结果再次表明，检索模块和 GPT-3 一起工作可以获得更好的性能。

   

   为了研究为什么 retrieval examples 有帮助，我们进一步提出一个案例研究。具体来说，从 NQ 数据集中检索到的 in-context examples 如 Table 8 所示。对于第一个和第二个案例，random baseline 提供了错误的答案，因为 GPT-3 无法 recall 确切的细节。然而，KATE 选择的 in-context examples 包含正确的细节，这有利于 GPT-3 回答问题。对于第三个测试问题，random baseline 导致GPT-3 错误地将问题解释为要求一个 specific location 。与此相反，KATE 选择了相似的问题，问的是对象的起源。利用这些 specific location ，GPT-3 能够正确地解释和回答问题。

   

11.2.2 分析和消融研究

1. In-context Examples 数量：我们首先研究了 in-context examples 的数量对 KATE 性能的影响。具体来说，在 NQ 数据集上，我们选择了 5/10/20/35/64 个 in-context examples ，在不同的设置下，将 ${\text{KATE}}_{\text{nli+sts-b}}$$\text{KATE}_\text{nli+sts-b}$ 与 random baseline 和 ${\text{KATE}}_{\text{roberta}}$$\text{KATE}_\text{roberta}$ 进行比较。

   如 Figure 3 左图所示，KATE 和 random baseline 都从利用更多的 in-context examples 中受益。然而，KATE 始终优于 random selection 方法，即使 in-context examples 数量少到 5 个。这个结果很有意思，因为在实践中，采用较少的 in-context examples 会使 GPT-3 的推理效率更高。

   

2. 用于检索的训练集的大小：我们进一步研究训练集的大小如何影响 KATE 方法。在 NQ 数据集上，我们从原始训练集中创建了新的子集，其大小分别为 1k/2k/5k/10k/30k/70k 。从这些子集（而不是原始的训练集）中检索 in-context examples 。近邻的数量被设置为 64 。我们将 ${\text{KATE}}_{\text{nli+sts-b}}$$\text{KATE}_\text{nli+sts-b}$ 与 random selection 方法和 ${\text{KATE}}_{\text{roberta}}$$\text{KATE}_\text{roberta}$ 进行比较，结果见 Figure 3 的右图。对于${\text{KATE}}_{\text{roberta}}$$\text{KATE}_\text{roberta}$ 和 ${\text{KATE}}_{\text{nli+sts-b}}$$\text{KATE}_\text{nli+sts-b}$ 来说，随着用于检索的训练集大小的增加，EM 分数也在增加。相比之下，random sampling baseline 的结果变化不大。

   直观地说，随着训练集规模变大，KATE更有可能检索到相关的 in-context examples 来帮助 GPT-3 正确地回答问题。正如我们之前在 Table 8 中显示的，retrieved in-context examples 可以为 GPT-3 提供关键的详细信息，从而帮助 GPT-3 更好地回答问题。

3. In-context Examples 的顺序：此外，我们还探讨了in-context examples 的顺序如何影响 KATE 的结果。如前所述，在标准设置下，retrieved in-context examples 都是有序的，其中当 $i<j$$i\lt j$ 时满足 $d(x_i,x)\le d(x_j,x)$$d(x_i,x) \le d(x_j,x)$。这里，我们随机地改变了 NQ 数据集中 ${\text{KATE}}_{\text{nli+sts-b}}$$\text{KATE}_\text{nli+sts-b}$ 方法的 in-context examples 的顺序，并实验了三个不同的顺序。此外，我们还探索了逆序，即当 $i>j$$i \gt j$ 时满足 $d(x_i,x)\le d(x_j,x)$$d(x_i,x) \le d(x_j,x)$，结果如下表所示。

   在这个特定的 NQ 数据集上，逆序表现得最好。一个可能的解释是，由于彼此相邻的 token 具有相似的 positional embedding ，将最相似的句子放在靠近测试样本的地方，可能有助于 GPT-3 利用相应信息。

   然而，我们也在 WQ 和 TriviaQA 上做了实验，发现默认顺序比逆序的表现略好。因此，顺序的选择是取决于数据的。另外，可以观察到，NQ 结果之间的变化趋于相当小（与 random baseline 和 KATE 之间的差异相比），这表明 in-context examples 的顺序对 KATE 的性能没有重大影响。

   

十二、LM-BFF[2021]

论文：《Making Pre-trained Language Models Better Few-shot Learners》

1. GPT-3 模型在 NLP 界掀起了狂澜，它在无数的语言理解任务上展示了令人震惊的 few-shot 能力。只需给出一个自然语言 prompt 和一些任务 demonstrations ，GPT-3 就能做出准确的预测，而无需更新其底层语言模型的任何权重。然而，虽然引人注目，GPT-3 由 175B 个参数组成，这使得它在大多数实际应用中具有挑战性。

   在这项工作中，我们研究了一个更实际的场景，即我们只假设能够获得一个中等规模的语言模型，如 BERT 或 RoBERTa ，以及少量的样本（即 few-shot setting ），我们可以用它来微调语言模型的权重。这种 setting 很有吸引力，因为：

   • (1)：这种模型可以在典型的 research hardware 上进行训练。

   • (2)：few-shot settings 是现实的，因为通常既容易获得一些标注（如 32 个样本），又能有效地进行训练。

   • (3)：参数更新通常会导致更好的性能。

   受 GPT-3 研究结果的启发，我们提出了几个新的策略，将其 few-shot learning 能力扩展到我们的 setting 中，同时考虑分类问题、以及回归问题。

   • 首先，我们遵循 prompt-based prediction 的路线。其中，prompt-based prediction 首先由 GPT 系列研发从而用于 zero-shot prediction ，最近由 PET（PET、PET-2）研究从而用于微调。

     prompt-based prediction 将下游任务视为一个 language modeling / masked language modeling 问题，其中模型针对给定的 prompt （通过一个 task-specific 模板来定义）直接生成文本式的响应（见 Figure 1 (c) ）。然而，寻找正确的 prompts 是一门艺术：需要领域的专业知识、以及对语言模型内部工作原理的理解。即使投入了大量的精力，手动的 prompts 也可能是次优的。

     

     我们通过引入 automatic prompt generation 来解决这个问题，包括一个 pruned brute-force search 来识别最佳的 working label words 、以及一个新的解码目标从而使用生成式 T5 模型自动生成模板。所有这些都只需要 few-shot 训练数据。这使我们能够低成本地获得有效的 prompts ，这些 prompts 媲美甚至超越于我们手动选择的 prompts 。

     即，用语言模型来生成 prompt 的模板、verbalizer 。

   • 第二，我们采用了将 demonstrations 作为 additional context 的想法。GPT-3 的朴素的 "in-context learning" 范式最多挑选了 32 个随机采样的样本，并将它们与 input 拼接起来。这种方法不能保证优先考虑 most informative demonstrations ，而且将不同类别的随机样本混合在一起会产生很长的上下文，很难从这个很长的上下文中学习。此外，可用demonstrations 的数量被模型的最大输入长度所限制。

     我们开发了一个更精细的策略，对于每一个输入，我们每次从每个类别中随机采样一个样本，以创建多个 minimal 的 demonstration 集合。我们还设计了一种新的采样策略，将 inputs 与相似的样本来配对，从而为模型提供更加 discriminative 的 comparisons 。

     即，更好地挑选 few-shot examples 。

   我们提出了一个系统性的评估，用于在 8 single-sentence 和 7 sentence-pair 的 NLP 任务上分析 few-shot 性能。我们观察到，在给定少量训练样本的情况下：

   • (1)： prompt-based fine-tuning 在很大程度上优于标准微调。

   • (2)：我们的 automatic prompt search 方法媲美甚至超越了人工 prompts 。

   • (3)：引入 demonstrations 对微调是有效的，并能提高 few-shot 性能。

   这些简单而有效的方法加在一起，使我们在所评估的任务中获得了巨大的改善，与标准微调相比，我们获得了高达 30% 的绝对改善（平均改善为 11% ）。例如，我们发现 RoBERTa-large 模型在大多数二元句子分类任务中取得了约 90% 的准确率，而只依赖于 32 个训练样本。我们把我们的方法称为 better few-shot fine-tuning of language models: LM-BFF ：一种强大的、与任务无关的 few-shot learning 方法。

   LM-BFF 是一种基于微调的方法，它需要微调模型从而适配给定的模版，模板是由另一个 pretrained LM 来自动生成的。

2. 相关工作：

   • language model prompting：

     • GPT 系列推动了 prompt-based learning 的发展，我们遵循其许多核心概念。

     • 最近的 PET 工作（PET、PET-2）也给了我们很大的启发，尽管他们主要关注的是 semi-supervised setting ，其中提供了大量的未标记样本。我们只使用少量的标记样本作为监督，并且还探索了 automatically generated prompts 和 fine-tuning with demonstrations 。此外，我们通过提供一个更加严格的框架从而偏离了他们的evaluation ，我们将在正文部分讨论。

     • 最后，有大量关于 prompting 的工作用于从 pre-trained models 中挖掘知识。与这些工作不同，我们专注于利用 prompting 从而用于对下游任务进行微调。

   • automatic prompt search：

     • PET以及 《Automatically identifying words that can serve as labels for few-shot text classification》 探索了自动识别 label words 的方法。然而，与手工挑选的 label words 相比，这些结果都没有导致更好的性能。相比之下，我们的方法对模板和 label words 都进行了搜索，并且能够媲美甚至超越我们的人工 prompts 。

     • 此外，还有其他一些尝试。然而这些方法要么是在有限的领域内操作，如寻找表达特定关系的模式（LPAQA），要么需要大量的样本来进行 gradient-guided 搜索（AutoPrompt、《Factual probing is [MASK]: Learning vs. learning to recall》）。我们的方法旨在开发只依赖少量 annotations 的通用搜索方法。

   • 语言模型的微调：最近的一些研究关注于更好的语言模型微调方法（《Universal language model fine-tuning for text classification》、《Fine-tuning pretrained language models: Weight initializations, data orders, and early stopping》、《Mixout: Effective regularization to finetune large-scale pretrained language models》、《Revisiting few sample BERT fine-tuning》）。这些工作主要集中在优化和正则化技术上，以稳定微调工作。在这里，我们使用了标准的优化技术，而主要是将我们的努力聚焦在更极端的 few-shot setting 中更好的 prompt-based fine-tuning 方面。我们预计，这些研究的结果在很大程度上是对我们的补充。

   • few-shot learning：广义上讲，我们的 setting 也与 NLP 中的其他 few-shot learning 范式有关，包括：半监督学习（给出一组未标记样本）、元学习（给出了一组辅助任务）、few-shot learning （给出了一个相关的中间任务）。我们偏离了这些 setting ，对可用的资源做了最小的假设：我们只假设有几个标注样本、以及一个 pre-trained language model 。我们的重点是了解在没有任何其他优势的情况下，我们能推动多远。

12.1 Problem Setup

1. 任务描述：在这项工作中，我们假设可以获得一个 pre-trained language model $\mathcal{L}$$\mathcal L$ ，我们希望在一个任务 $\mathcal{D}$$\mathcal D$ 上对 $\mathcal{L}$$\mathcal L$ 进行微调，其中任务 $\mathcal{D}$$\mathcal D$ 的 label space 为 $\mathcal{Y}$$\mathcal Y$ 。对于这个任务，我们只假设任务的训练集 ${\mathcal{D}}_{\text{train}}$$\mathcal D_\text{train}$ 中每个类别有 $K$$K$ 个训练样本。这样，训练样本总数为 $K_{\text{tot}}=K\times |\mathcal{Y}|$$K_\text{tot} = K\times |\mathcal Y|$ ，训练集为${\mathcal{D}}_{\text{trarin}}={\left\{(x_{\text{in}}^i,y^i)\right\}}_{i=1}^{K_{\text{tot}}}$$\mathcal D_\text{trarin} = \left\{\left(x_\text{in}^i,y^i\right)\right\}_{i=1}^{K_\text{tot}}$。然后，我们的目标是开发与任务无关的学习策略，这些策略可以很好地泛化到 unseen 的测试集 $(x_{\text{in}}^{\text{test}},y^{\text{test}})\sim {\mathcal{D}}_{\text{test}}$$\left(x_\text{in}^\text{test},y^\text{test}\right)\sim\mathcal D_\text{test}$。

   对于模型选择和超参数调优，我们假设验证集 ${\mathcal{D}}_{\text{dev}}$$\mathcal D_\text{dev}$ 的大小与 few-shot 训练集相同，即 $|{\mathcal{D}}_{\text{dev}}|=|{\mathcal{D}}_{\text{train}}|$$|\mathcal D_\text{dev}| = |\mathcal D_\text{train}|$。这个区别是很重要的：使用较大的验证集会带来显著的优势（如下表所示），并颠覆了我们的最初目标：从有限数据中学习。

   在以下所有的实验中（除非另有说明），我们采取 $\mathcal{L}=\text{RoBERTa-large}$$\mathcal L = \text{RoBERTa-large}$和 $K=16$$K = 16$ 。

   

2. Evaluation 数据集：来自 GLUE benchmark, SNLI, SST-5, MR, CR, MPQA, Subj, TREC 等数据集中的8 个 single-sentence 英语任务、7 个 sentence-pair 英语任务。具体细节如下表所示。

   • 对于single-sentence 任务，目标是根据输入句子 $x_{\text{in}}=x_1$$x_\text{in} = x_1$ 进行预测，例如电影评论是否是 positive 的。

   • 对于 sentence-pair 任务，目标是给定一对输入句子 $x_{\text{in}}=(x_1,x_2)$$x_\text{in} = (x_1,x_2)$ 并预测它们之间的关系。

   我们也可以交替使用 <S1> 或 (<S1>, <S2>) 来指称输入。请注意，我们主要使用 SST-2 和 SNLI 进行实验和模型开发，使其接近于真正的 few-shot setting ，至少对于我们评估的所有其他数据集而言。

   

3. 评估方式：系统地评估 few-shot 的性能可能是很棘手的。众所周知，在小数据集上的微调可能存在不稳定性：在数据的新的 split 下，结果可能发生巨大变化。为了说明这一点，我们测量了 5 个不同的随机采样的 ${\mathcal{D}}_{\text{train}}$$\mathcal D_\text{train}$ 和 ${\mathcal{D}}_{\text{dev}}$$\mathcal D_\text{dev}$ split 的平均性能。这个问题在 PET-2 中也有讨论：他们建议使用固定的训练集。我们认为，采样多个 splits 可以提供一个更鲁棒的性能度量，以及对方差的更好估计。

   我们还观察到，超参数可以产生很大的差异，因此我们为每个 data sample 扫过多个超参数，并采取在该 data sample 在 ${\mathcal{D}}_{\text{dev}}$$\mathcal D_\text{dev}$ 上获得最佳性能的 setting 设置。超参数扫描空间为：学习率 $\{{10}^{-5},2\times {10}^{-5},5\times {10}^{-5}\}$$\{10^{-5}, 2\times 10^{-5}, 5\times 10^{-5}\}$；batch size $\{2,4,8\}$$\{2,4,8\}$；采用早停机制；训练 1000 步，每隔 100 步在验证集上评估并选择最佳的 checkpoint 。

12.2 Prompt-based 微调

1. 给定一个 masked language model $\mathcal{L}$$\mathcal L$ ，我们首先将输入 $x_{\text{in}}$$x_\text{in}$ 转换为一个 token sequence $\tilde{x}$$\tilde x$，然后语言模型 $\mathcal{L}$$\mathcal L$ 将 $\tilde{x}$$\tilde x$ 映射为 hidden vectors 的序列 $\{{\overrightarrow{\mathbf{h}}}_k\in {\mathbb{R}}^d\}$$\left\{\mathbf{\vec h}_k\in \mathbb R^d\right\}$。在标准的微调过程中，我们通常取 ${\tilde{x}}_{\text{single}}=\text{[CLS]}{x}_1\text{[SEP]}$$\tilde x_\text{single} = \text{[CLS]}x_1\text{[SEP]}$ 或 ${\tilde{x}}_{\text{pair}}=\text{[CLS]}{x}_1\text{[SEP]}{x}_2\text{[SEP]}$$\tilde x_\text{pair} = \text{[CLS]}x_1\text{[SEP]}x_2\text{[SEP]}$ 。对于具有 label space $\mathcal{Y}$$\mathcal Y$ 的下游分类任务，我们通过最大化 correct label 的对数概率来训练 task-specific head ：

   $$\begin{array}{}\text{(3)}& \text{softmax}\left({\mathbf{W}}_o{\overrightarrow{\mathbf{h}}}_{\text{[CLS]}}\right)\end{array}$$

   其中：

   • ${\overrightarrow{\mathbf{h}}}_{\text{[CLS]}}\in {\mathbb{R}}^d$$\mathbf{\vec h}_\text{[CLS]} \in \mathbb R^d$ 是 [CLS] 的隐向量 。

   • ${\mathbf{W}}_o\in {\mathbb{R}}^{|\mathcal{Y}|\times d}$$\mathbf W_o\in \mathbb R^{|\mathcal Y|\times d}$ 为待学习的权重矩阵。

   同样地，对于回归任务，我们可以引入 ${\overrightarrow{\mathbf{w}}}_o\in {\mathbb{R}}^d$$\mathbf{\vec w}_o\in \mathbb R^d$ ，并优 ${\overrightarrow{\mathbf{w}}}_o\cdot {\overrightarrow{\mathbf{h}}}_{\text{[CLS]}}$$\mathbf{\vec w}_o\cdot \mathbf{\vec h}_\text{[CLS]}$ 和 gold label 之间的 mean squared error: MSE 。在任何一种情况下，新参数的数量都是巨大的，例如，一个简单的二分类任务将为 RoBERTa-large 模型引入 2048 个新参数，这使得从少量的标注数据（例如，32 个样本）中学习具有挑战性。

   解决这个问题的另一种方法是 prompt-based 的微调，其中 $\mathcal{L}$$\mathcal L$ 直接被设置为 "auto-completing" 自然语言 prompts 的任务。例如，我们可以用包含输入 $x_1$$x_1$ 的 prompt （例如，"No reason to watch it ." ）来制定一个二元情感分类任务：

   $$\begin{array}{}\text{(4)}& x_{\text{prompt}}=\text{[CLS] }{x}_1\text{ It was [MASK]. [SEP]}\end{array}$$

   并让 $\mathcal{L}$$\mathcal L$ 决定在 [MASK] 中填写"great" （positive ）还是 "terrible" （negative ）更合适。现在我们将这种方法正式用于分类任务和回归任务，并讨论 prompt selection 的重要性。

2. 分类任务：令 $\mathcal{M}:\mathcal{Y}\to \mathcal{V}$$\mathcal M: \mathcal Y\rightarrow \mathcal V$ 为 task label space 到 $\mathcal{L}$$\mathcal L$ 的词表的映射。对于每个 $x_{\text{in}}$$x_\text{in}$ ，令 $x_{\text{prompt}}=\mathcal{T}(x_{\text{in}})$$x_\text{prompt} = \mathcal T(x_\text{in})$ 为一个 masked language modeling: MLP 输入，其中 $x_{\text{prompt}}$$x_\text{prompt}$ 包含一个 [MASK] token ，$\mathcal{T}$$\mathcal T$ 为模板函数。通过这种方法，我们将我们的分类任务视为一个 MLM，并且预测类别 $y\in \mathcal{Y}$$y\in \mathcal Y$ 的概率为：

   $$\begin{array}{}\text{(5)}& p(y\mid x_{\text{in}})=p(\text{[MASK]}=\mathcal{M}(y)\mid x_{\text{prompt}})=\frac{\exp ({\overrightarrow{\mathbf{w}}}_{\mathcal{M}(y)}\cdot {\overrightarrow{\mathbf{h}}}_{\text{[MASK]}})}{\sum _{y^{\prime }\in \mathcal{Y}}\exp ({\overrightarrow{\mathbf{w}}}_{\mathcal{M}(y^{\prime })}\cdot {\overrightarrow{\mathbf{h}}}_{\text{[MASK]}})}\end{array}$$

   其中：${\overrightarrow{\mathbf{h}}}_{\text{[MASK]}}\in {\mathbb{R}}^d$$\mathbf{\vec h}_{\text{[MASK]}}\in \mathbb R^d$ 为 [MASK] 的 hidden vector ，${\overrightarrow{\mathbf{w}}}_v\in {\mathbb{R}}^d$$\mathbf{\vec w}_v\in \mathbb R^d$ 为 $v\in \mathcal{V}$$v\in \mathcal V$ 的 pre-softmax vector ，$\mathcal{M}$$\mathcal M$ 将 label $y$$y$ 映射到单个 token 。

   当有标记样本集合 $\{(x_{\text{in}},y)\}$$\{ (x_\text{in}, y ) \}$ 时，可以对 $\mathcal{L}$$\mathcal L$ 进行微调从而使交叉熵损失最小。值得注意的是，这种方法重用了 pre-trained weights ${\overrightarrow{\mathbf{w}}}_v$$\mathbf{\vec w}_v$ 而没有引入任何新的参数。它还减少了 pre-training 和 fine-tuning 之间的 gap ，使其在 few-shot 场景下更加有效。

   虽然没有引入新的参数，但是这里需要对 ${\overrightarrow{\mathbf{w}}}_v$$\mathbf{\vec w}_v$ 进行微调，一共需要微调 $|\mathcal{Y}|\times d$$|\mathcal Y|\times d$ 个参数。但是，微调要优于从头开始训练，因为微调采用了一个更好的 initialization （而不是随机初始化为零）。

3. 回归任务：回归任务的配置和分类任务相同，但是回归任务将 label space $\mathcal{Y}$$\mathcal Y$ 视为一个有界的区间 $[v_l,v_u]$$[v_l, v_u]$ 。受到 《Hyperspherical prototype networks》 的启发，我们将回归问题建模为两个点 $y_l$$y_l$ 和 $y_u$$y_u$ 之间的插值，其中这两个点的取值分别为 $v_l,v_u$$v_l,v_u$ 。例如，我们可以把之前的情感分析任务表述为区间 $[0,1]$$[0,1]$ 的回归问题。这样一来，我们可以把 $y$$y$ 表达为一个混合模型：

   $$\begin{array}{}\text{(6)}& y=v_l\times p(y_l\mid x_{\text{in}})+v_u\times p(y_u\mid x_{\text{in}})\end{array}$$

   其中：$p(y_u\mid x_{\text{in}})$$p(y_u\mid x_\text{in})$ 为取值为 $y_u$$y_u$ 的条件概率；$p(y_l\mid x_{\text{in}})=1-p(y_u\mid x_{\text{in}})$$p(y_l\mid x_\text{in}) = 1- p(y_u\mid x_\text{in})$ 。

   然后我们定义 $\mathcal{M}:\{y_l,y_u\}\to \mathcal{V}$$\mathcal M: \{y_l,y_u\}\rightarrow \mathcal V$ ，并且模型 $p(y_u\mid x_{\text{in}})$$p(y_u\mid x_\text{in})$ 为：

   $$\begin{array}{}\text{(7)}& p(y_u\mid x_{\text{in}})=p(\text{[MASK]}=\mathcal{M}(y_u)\mid x_{\text{prompt}})=\frac{\exp ({\overrightarrow{\mathbf{w}}}_{\mathcal{M}(y_u)}\cdot {\overrightarrow{\mathbf{h}}}_{\text{[MASK]}})}{\sum _{y^{\prime }\in \{y_l,y_u\}}\exp ({\overrightarrow{\mathbf{w}}}_{\mathcal{M}(y^{\prime })}\cdot {\overrightarrow{\mathbf{h}}}_{\text{[MASK]}})}\end{array}$$

   我们微调 $\mathcal{L}$$\mathcal L$ 从而最小化 $p(y_u\mid x_{\text{in}})$$p(y_u\mid x_\text{in})$ 和 $\frac{y-v_l}{v_u-v_l}$$\frac{y-v_l}{v_u-v_l}$ 之间的 KL 散度。

   这里对回归任务做了太强的假设：

   • 首先，回归任务是有界的。对于 “房价预测” 这种取值空间理论上无界的问题，无法解决。

   • 其次，要求 $p(y_l\mid x_{\text{in}})+p(y_u\mid x_{\text{in}})=1$$p(y_l\mid x_\text{in}) + p(y_u\mid x_\text{in}) = 1$ 。即，要么选择端点 $y_l$$y_l$ 、要么选择端点 $y_u$$y_u$ 。但是实际上有可能两个端点的概率都很低。

4. 好的和坏的Manual prompts ：关键的挑战是构建模板 $\mathcal{T}$$\mathcal T$ 和 label words $\mathcal{M}(\mathcal{Y})$$\mathcal M( \mathcal Y)$ ，我们把这两者合称为 prompt $\mathcal{P}$$\mathcal P$ 。以前的工作（PET、PET-2）都是手工制作模板和 label words ，这通常需要领域专业知识和反复试错。Table 1 总结了我们实验中为每个数据集选择的手工模板和 label words 。这些模板和 label words 是通过直觉和考虑以前文献中使用的格式来设计的。

   

   为了更好地了解什么是好的模板或好的 label word ，我们对 SST-2 和 SNLI 进行了试点研究。Table 2 显示，不同的 prompts 会导致最终准确率的巨大差异。具体而言：

   • 当模板固定时，label words 与 "语义类别" 的匹配度越高，最终准确率就越高（great/terrible > good/bad > cat/dog ）。在极端的情况下，如果我们交换似是而非的 label words （例如，great/terrible ），我们会取得最差的整体表现。

   • 此外，对于同一组 label words ，即使模板的一个小变化也会产生差异。例如，对于 SNLI ，如果我们把 [MASK] 放在最后，或者交换句子的顺序，我们观察到准确率的下降幅度超过 10% 。

   上述证据清楚地强调了选择好的模板和好的 label words 的重要性。然而，搜索 prompts 是很难的，因为搜索空间可能非常大，特别是对模板而言。更糟糕的是，我们只有少量样本可以用来指导我们的搜索，这很容易造成过拟合。我们接下来将解决这些问题。

   

12.3 Automatic Prompt Generation

1. 我们的目标是减少设计 prompts, 所需的人类参与，并找到比我们手动选择的更理想的设置。在这里，我们假设是一个分类任务，但回归的过程是类似的。

2. label words 的自动选择：我们首先研究如何在给定一个固定的模板 $\mathcal{T}$$\mathcal T$ 的情况下，构建一个 label word mapping $\mathcal{M}$$\mathcal M$ ，使其在微调后对 ${\mathcal{D}}_{\text{dev}}$$\mathcal D_\text{dev}$ 的准确率最大化。然而，直接搜索所有可能的分配存在两个问题：

   • 首先，一般来说是难以实现的，因为搜索空间是类别数量的指数级。

   • 其次，容易过拟合，因为在给定少量标注样本的情况下，我们将倾向于发现虚假的相关性。

   作为一个简单的解决方案，对于每一个类别 $c\in \mathcal{Y}$$c \in \mathcal Y$ ，我们使用初始化的 $\mathcal{L}$$\mathcal L$ 从而基于单词的条件概率来获得 top k 的单词集合，这些单词构建了裁剪后的词表 ${\mathcal{V}}^c\subset \mathcal{V}$$\mathcal V^c\sub \mathcal V$。换句话说，令 ${\mathcal{D}}_{\text{train}}^c\subset {\mathcal{D}}_{\text{train}}$$\mathcal D_\text{train}^c\sub \mathcal D_\text{train}$ 为所有的类别为 $c$$c$ 的样本的子集，我们选择 ${\mathcal{V}}^c$$\mathcal V^c$ 为：

   $$\begin{array}{}\text{(8)}& {\text{Topk}}_{v\in \mathcal{V}}\{\sum _{x_{\text{in}}\in {\mathcal{D}}_{\text{train}}^c}\log P_{\mathcal{L}}(\text{[MASK] = }v\mid \mathcal{T}(x_{\text{in}}))\}\end{array}$$

   其中：$P_{\mathcal{L}}$$P_\mathcal L$ 为 $\mathcal{L}$$\mathcal L$ 的输出概率分布。

   物理含义：针对训练集中类别为 $c$$c$ 的所有样本，寻找它们最可能输出的 label words 。

   为了进一步缩小搜索空间，我们并没有在 $\mathcal{V}$$\mathcal V$ 中检索 top k ，而是在裁剪后的空间中去检索。裁剪方式为：选择使得使 ${\mathcal{D}}_{\text{train}}$$\mathcal D_\text{train}$ 的 zero-shot accuracy 最大化的 $n$$n$ 个 tokens ，即 top n assignments 。 $n$$n$ 和 $k$$k$ 都是超参数，见论文附录 C.2 。然后，我们微调所有的 top n assignments ，并使用 ${\mathcal{D}}_{\text{dev}}$$\mathcal D_\text{dev}$ 进行 rerank 以找到最佳的 assignment 。这种方法类似于PET、PET-2 中的 automatic verbalizer search 方法，只是我们使用了一个简单得多的搜索过程（暴力搜索），并且还应用了 re-ranking ：我们发现re-ranking 对我们很有帮助。

   rerank 即利用验证集来挑选最佳的 assignment 。

   实验部分表明：label words 的自动选择上，效果不佳。因此这个算法的意义何在？

3. 模板的自动生成：接下来，我们研究如何从一组固定的 label words $\mathcal{M}(\mathcal{Y})$$\mathcal M(\mathcal Y)$ 中自动生成一组多样化的模板 $\{\mathcal{T}\}$$\{\mathcal T\}$。为了解决这个具有挑战性的问题，我们建议使用 T5 模型，一个大型的 pre-trained text-to-text Transformer 。T5 经过预训练，可以在其输入中补全 missing spans （由 T5 mask tokens 取代，例如 <X> 或 <Y> ）。例如，给定输入 "Thank you <X> me to your party <Y> week" ，T5 被训练从而生成"<X> for inviting <Y> last <Z>" ，这意味着 "for inviting" 是 <X> 的替换，"last" 是 <Y> 的替换。这很适合于 prompt generation ：我们可以简单地从 ${\mathcal{D}}_{\text{train}}$$\mathcal D_\text{train}$ 中获取输入句子，让 T5 模型构建模板 $\mathcal{T}$$\mathcal T$ ，而不需要为其指定预定的 tokens 数量。

   这里利用语言模型来生成模板，因此这里依赖于预训练好的语言模型（如 T5 ）。

   给定一个输入样本 $(x_{\text{in}},y)\in {\mathcal{D}}_{\text{train}}$$(x_\text{in},y)\in \mathcal D_\text{train}$ ，我们考虑以下简单的转换，记做 ${\mathcal{T}}_g(x_{\text{in}},y)$$\mathcal T_g(x_\text{in},y)$ ，用于制定 T5模型的输入：

   $$\begin{array}{}\text{(9)}& \begin{array}{c}<S_1>⟶<X>\mathcal{M}(y)<Y><S_1>\\ <S_1>⟶<S_1><X>\mathcal{M}(y)<Y>\\ <S_1><S_2>⟶<S_1><X>\mathcal{M}(y)<Y><S_2>\end{array}\end{array}$$

   $<X>$$<X>$ 和 $<Y>$$<Y>$ 代表语言模型需要生成的内容。第一行以模板内容作为 prompt 的开始、第二行以训练样本作为 prompt 的开始。

   如下图所示，我们依靠 T5 模型来填充占位符。在解码时，我们的目标是找到一个能对 ${\mathcal{D}}_{\text{train}}$$\mathcal D_\text{train}$ 中的所有样本都能很好工作的输出，即使 $\sum _{(x_{\text{in}},y)\in {\mathcal{D}}_{\text{train}}}\log P_{\text{T5}}(\mathcal{T}\mid {\mathcal{T}}_g(x_{\text{in}},y))$$\sum_{(x_\text{in},y)\in \mathcal D_\text{train}}\log P_\text{T5}(\mathcal T\mid \mathcal T_g(x_\text{in},y))$ 最大化的输出模板 $\mathcal{T}$$\mathcal T$，其中 $P_{\text{T5}}$$P_\text{T5}$ 表示 T5 的输出概率分布。它可以分解为：

   $$\begin{array}{}\text{(10)}& \sum _{j=1}^{|\mathcal{T}|}\sum _{(x_{\text{in}},y)\in {\mathcal{D}}_{\text{train}}}\log P_{\text{T5}}(t_j\mid t_1,\cdots ,t_{j-1},{\mathcal{T}}_g(x_{\text{in}},y))\end{array}$$

   其中：$(t_1,\cdots ,t_{|\mathcal{T}|})$$(t_1,\cdots,t_{|\mathcal T|})$ 为 template tokens 。

   

   我们使用 beam search 来解码多个模板候选。具体而言，我们使用一个 wide beam width （例如，beam width = 100 ）来低成本地获得一大批多样化的模板。然后，我们在 ${\mathcal{D}}_{\text{train}}$$\mathcal D_\text{train}$ 上对每个所生成的模板进行微调，并使用 ${\mathcal{D}}_{\text{dev}}$$\mathcal D_\text{dev}$ 来挑选出性能最好的单个模板（如 Table 3 所示），或者挑选出 top-k 模板作为 ensemble 使用（ table 4 ）。尽管在每个模板上微调模型可能显得很昂贵，但由于 ${\mathcal{D}}_{\text{train}}$$\mathcal D_\text{train}$ 的规模较小，这在实践中是很快的，而且也是完全自动化的：与手动调优每个数据集的 prompts 相比，它很容易使用。

   

   

12.4 用 Demonstrations 进行微调

注意：这一节仅说明如何挑选 demonstrations，并没有说如何利用 demonstrations 来微调。

1. 这里我们研究：当我们微调中等规模的语言模型时，我们是否能够利用 demonstrations ，并找到更好的方法来利用 demonstrations 。

2. 训练样本作为 demonstrations：GPT-3 对 in-context learning 的朴素做法只是将输入与从训练集中随机采样的多达 32 个样本连接起来。这种方法是次优的，因为：

   • (1)：可用的 demonstrations 数量受模型的最大输入长度限制。

   • (2)：将来自不同类别的众多随机样本混合在一起，会产生极长的、难以利用的上下文，特别是对于较小的模型。

   为了解决这些问题，我们提出了一个更简单的解决方案：在每个 training step 中，我们从每个类别中随机采样一个样本 $(x_{\text{in}}^{(c)},y^{(c)})\in {\mathcal{D}}_{\text{train}}$$\left(x^{(c)}_\text{in}, y^{(c)}\right)\in \mathcal D_\text{train}$，将其转换为 $\mathcal{T}\left(x_{\text{in}}^{(c)}\right)$$\mathcal T\left(x_\text{in}^{(c)}\right)$，其中用 $\mathcal{M}\left(y^{(c)}\right)$$\mathcal M\left(y^{(c)}\right)$ 代替[MASK] ，记做 $\tilde{\mathcal{T}}(x_{\text{in}}^{(c)},y^{(c)})$$\tilde {\mathcal T}\left(x^{(c)}_\text{in}, y^{(c)}\right)$。 然后将 $\tilde{\mathcal{T}}$$\tilde{\mathcal T}$ 与 $x_{\text{in}}$$x_\text{in}$ 拼接起来（如图 Figure 1(c)）：

   $$\begin{array}{}\text{(11)}& \mathcal{T}(x_{\text{in}})\oplus \tilde{\mathcal{T}}(x_{\text{in}}^{(1)},y^{(1)})\oplus \cdots \oplus \tilde{\mathcal{T}}(x_{\text{in}}^{(|\mathcal{Y}|)},y^{(|\mathcal{Y}|)})\end{array}$$

   这里 $\oplus$$\oplus$ 表示输入序列的拼接操作。

   在训练和推理过程中，我们为每个 $x_{\text{in}}$$x_\text{in}$ 采样多个 demonstration 集合。请注意，在训练期间，$x_{\text{in}}$$x_\text{in}$ 和demonstratio 样本都是从同一个集合 ${\mathcal{D}}_{\text{train}}$$\mathcal D_\text{train}$ 中采样的。在测试时，我们仍然从 ${\mathcal{D}}_{\text{train}}$$\mathcal D_\text{train}$ 中采样 demonstration 集合，并在所有的 demonstration 集合中 ensemble 预测结果。

3. 采样相似的 demonstrations：我们观察到，控制 demonstration 样本 $\left\{(x_{\text{in}}^{(c)},y^{(c)})\right\}$$\left\{\left(x^{(c)}_\text{in}, y^{(c)}\right)\right\}$ 的构建对于良好的最终性能至关重要。例如，如果一组 contrastive demonstrations $x_{\text{in}}^{(c)}$$x^{(c)}_\text{in}$ 都有很大的不同（彼此之间的不同，或者与 query $x_{\text{in}}$$x_\text{in}$ 的不同），那么语言模型要破译有意义的模式就会变得很困难。因此，该模型可能会简单地忽略上下文，甚至被额外的样本所迷惑。为了解决这个问题，我们设计了一个简单的策略，即我们仅仅采样语义上接近 $x_{\text{in}}$$x_\text{in}$ 的样本。

   具体而言，我们使用 pre-trained SBERT 模型来获得所有输入句子的 embedding （对于 sentence-pair 任务，我们使用两个句子的拼接）。在这里，我们只是将不带模板的原始句子馈入 SBERT 。对于每个 query $x_{\text{in}}$$x_\text{in}$ 和每个标签 $c\in \mathcal{Y}$$c \in \mathcal Y$ ，我们按照与 query 的相似度得分 $\cos (\overrightarrow{\mathbf{e}}(x_{\text{in}}),\overrightarrow{\mathbf{e}}(x))$$\cos\left(\mathbf{\vec e}(x_\text{in}), \mathbf{\vec e}(x)\right)$ 对所有的带标签的训练实例 $x\in {\mathcal{D}}_{\text{train}}^{(c)}$$x\in \mathcal D_\text{train}^{(c)}$ 进行排序，并且只从每个类别的top r = 50% 的实例中采样从而作为 demonstrations 使用。

   类似于 KATE 思路：对于测试样本，选择最相似的训练样本作为 few-shot examples 。

   这里依赖于外部的、预训练好的 sentence encoder 。

12.5 实验

1. 超参数调优：

   • 对于网格搜索，我们选择学习率为 {1e-5, 2e-5, 5e-5}、batch size 为 {2, 4, 8} 。

   • 我们使用早停来避免过拟合。

   • 每次实验，我们训练模型 1000 steps，每隔 100 steps 验证一次验证集，然后选择最佳的 checkpoint 。

2. Prompt-based fine-tuning 的实现细节：Table 1 显示了我们在实验中使用的所有人工模板和 label words 。

   • 对于自动的模板生成，我们采用了 T5-3B 模型，这是在单个 GPU 上能适应的最大的公开可用模型。

   • 对于自动搜索 label words ，除了SST-5 和 TREC ，我们将所有任务的 $k$$k$ 设置为 100。

     • 对于 SST-5 ，我们设置了一个较小的 $k=30$$k=30$ ，因为它是一个五分类任务。

     • 对于 TREC ，我们观察到仅仅使用条件似然来过滤 ${\mathcal{V}}^c$$\mathcal V^c$ 仍然是有噪声的，因此我们设置 $k=1000$$k=1000$ ，然后通过原始 manual label words 的最近邻来重排 ${\mathcal{V}}^c$$\mathcal V^c$ ，并在每个类别中取 top 30 。

   • 在所有的实验中，我们将 $n$$n$ 设置为 100 。

   • 由于自动搜索中的大量试验，我们在这部分采取了一组固定的超参数：batch size = 8 ，学习率为 1e-5。

   • 由于 prompt-based 微调的想法是使输入和输出的分布接近于预训练，所以实施细节是至关重要的。

     • 对于模板，如果句子不是在输入的开头，我们会在句子前加上额外的空格。

     • 另外，如果句子与前缀（如Table 1 中的 <S2>）拼接，我们会小写句子的第一个字母。

     • 另外，如果一个句子附加了任何标点符号（如 Table 1 中的 <S1> ），那么原句的最后一个字符将被丢弃。

     • 最后，我们为 $\mathcal{M}(\mathcal{Y})$$\mathcal M(\mathcal Y)$ 中的 label words 前置了一个空格。例如，在 RoBERTa 词表中，我们用 " great " 代替"great" ，其中 " " 代表空格。

3. Fine-tuning with demonstrations 的实现细节：当使用 demonstrations 时，我们对每个输入采样demonstrations 的 16 个不同的集合，并在推理过程中对每个类别的预测对数概率进行平均。我们发现，进一步增加样本的数量并没有带来实质性的改善。此外，我们还尝试了不同的聚合方法，如取最大置信度的结果，但我们没有发现有意义的改进。

   为了选择 demonstrations ，我们将 SBERT 的 roberta-large-nli-stsb mean-tokens 作为我们的 sentence embedding 模型。

12.5.1 实验结果

1. 我们在实验中使用 RoBERTa-large 模型，并设置 $K=16$$K=16$ 。使用 RoBERTa 与 BERT 的比较可以在附录 D 中找到（见 Table D.1）。对于 automatic prompt search ，在我们的主要结果中，我们只报告了automatic template search （它一直表现得最好，见 Table 5 ）。为了正确看待我们的结果，我们与一些 baseline进行了比较，即：

   • 在我们的 few-shot setting 中的标准微调。

   • 使用完整训练集的标准微调。

   • 简单地采取最高频的类（在完整的训练集上测量）。

   • prompt-based zero-shot prediction ，我们采用我们的手动 prompts 并使用 $\mathcal{L}$$\mathcal L$ "开箱即用"，而不使用任何训练实例。

   • "GPT-3" in-context learning ，我们使用相同的 prompt-based zero-shot setting, ，但用随机采样的 32 demonstrations 来 augment 上下文（仍然使用 RoBERTa-large ，而不是 GPT-3 ）。

   

   Pretrained BERT 为输入的不同部分提供了两个segment embeddings (A/B) 。在对 BERT 进行微调时，通常的做法是，在单句任务中只使用 segment A ，而在 sentence-pair 任务中使用segment A/B 来处理两个句子。然而，在我们纳入 demonstrations 的案例中，我们有两个以上的句子。因此，我们探索了以下不同的segments 策略：

   • 对所有句子使用segment A （1-seg ）。

   • 对原始输入使用 segment A、对 demonstrations 使用 segment B （2-seg ）。

   • 对每个句子使用不同的 segment embedding （n-seg ），这就引入了新的 segment embedding （在微调期间随机初始化和学习），因为 pre-trained BERT 只有两个 segment embedding。

   

2. single-prompt 的结果： Table 3 显示了我们使用单一 prompt 的主要结果，无论是从我们手动设计的 prompt ，还是从最佳生成的prompt 。

   • 首先，prompt-based zero-shot prediction 取得了比 majority class 好得多的性能，显示了 RoBERTa 的 pre-encoded knowledge 。另外，"GPT-3" in-context learning 并不总是比 zero-shot prediction 好，可能是因为较小的语言模型没有足够的表达能力，不能像 GPT-3 那样开箱即用。

   • 第二，prompt-based 微调可以大大超过标准的微调，无论是在使用手动prompt 还是生成的prompt 时。CoLA 是一个有趣的例外，因为输入可能是一个不符合 $\mathcal{L}$$\mathcal L$ 分布的非语法句子。一般来说，我们自动搜索的模板可以达到与人工模板相当甚至更高的结果，特别是对于那些构建强大的人工模板不太直观的任务（如 TREC ，QNLI 和MRPC ）。

   • 最后，在大多数任务中，在上下文中使用 demonstrations 会带来一致的收益。

   总之，我们的综合解决方案（用自动搜索的模板和采样的 demonstration 集合进行微调）与标准微调相比，在 SNLI 上实现了 30% 的收益，平均收益为 11% 。

   

3. ensemble-prompt 的结果：automatic prompt search 的一个优点是，我们可以生成我们想要的 prompts ，训练单个模型，并创建大型 ensembles 。PET 也对用人工 prompts 训练的多个模型进行了 ensemble 。在Table 4 中，我们对我们 searched prompts 和 PET’s manual prompts ，在 MNLI 和 RTE （我们共同评估的两个数据集）上进行了直接比较。

   如结果所示，具有多个模板的 ensemble 总是能提高性能。由相同数量的自动模板组成的 ensemble 取得了与 PET’s manual prompts 的ensemble 相当或更好的性能。增加自动模板的数量会带来进一步的收益。

   如何 ensemble 多个模板？作者这里未说明。读者猜测：采用 PET 相同的方式，对每个模板微调得到一个 finetuned model，然后所有 finetuned model 的 ensemble 给测试集打上 soft label 。

   

12.5.2 generated prompts 的分析

1. Table 5 给出了使用manual prompts 与 automatic prompts 的结果。对于automatic prompts ，我们比较了模板搜索（Auto T ）、label word 搜索（Auto L ）、以及联合搜索（ Auto T + L ）。在 Auto T + L 中，我们从 manual label words 开始，应用 Auto T ，然后是Auto L 。

   • 在大多数情况下，Auto T 取得了与 manual prompts 相当或更高的性能，并且一直表现最佳。

   • Auto L 在 TREC 和 MRPC 上的表现优于 manual prompts ，但在 SNLI上 的表现却差很多。

   

2. Table 6 显示了 Auto T 和 Auto L 的例子（完整列表见 Table E.1 ）。

   • Auto T 模板一般都能很好地适应上下文和 label words ，但也可能包含有偏见的怪癖（例如，SNLI 中的"{Yes/No}, no"）。

   • 对于 Auto L 的单词来说，情况是复杂的：虽然大多数看起来直观合理，但也有一些神秘的异常情况（例如，SNLI 中 "entailment" 类的 "Hi" ）。

   

   

12.5.3 demonstration sampling 的分析

1. Table 7 比较了使用均匀采样、以及 SBERT 的选择性采样的demonstrations 的性能。我们承认 SBERT 是在 SNLI 和 MNLI 数据集上训练的，因此我们也尝试了一个简单的 sentence encoder ，使用 RoBERTa-large 的 hidden representations 的均值池化。我们发现，无论在哪种情况下，使用选择性采样都优于均匀抽样，这突出了采样相似的样本对于纳入上下文中的 demonstrations 的重要性。

   

12.5.4 样本效率

1. Figure 3 说明了随着 $K$$K$ 的增加，标准微调和我们的 LM-BFF 比较的结果如何。

   • 对于像 SST-2 这样的简单任务（也见 Table 3 中的 MR, CR, MPQA ），尽管总共只用了 32 个样本，LMBFF 的性能已经接近饱和，在整个数据集上与标准微调相媲美。

   • 在更难的 SNLI 任务上，LMBFF 随着 $K$$K$ 的增加而继续提高，同时仍然保持着对比标准微调的性能优势，直到两者在 $K=256$$K=256$ 左右趋于一致。

   

12.6 讨论

1. 将 NLP 任务重新表述为 MLM ，对 few-shot learning 有令人兴奋的意义，但也有局限性。

   • 首先，虽然 LM-BFF 大大超过了标准的微调，但 Table 3 显示，总体而言，其性能仍然大大落后于有数千个样本的微调，特别是对于较难的任务。

   • 此外，就像标准微调一样， LM-BFF 的结果也受到高方差的影响。正如相关工作中所述，最近有几项研究试图解决 few-shot fine-tuning 的不稳定性，我们希望这些方法在这里也能有所帮助。

   • 关于 automatic prompt generation ，尽管它很有效，但我们仍然发现：扩大搜索空间、或者在只有大约 32 个样本的基础上很好地泛化，这实际上是一个挑战。这部分地是由于我们对一些 manual design 的依赖，无论是 manual templates （用于 label word search ）还是 manual label words （用于模板搜索），这使我们的搜索得以启动，但也使它偏向于我们可能已经想象过的搜索空间的区域。

   • 最后，必须澄清的是，LM-BFF 倾向于某些任务：

     • (1)：可以自然地被视作 "fill-in-the-blank" 的问题。

     • (2)：有相对较短的输入序列。

     • (3)：不包含多个输出类别。

     问题 (2) 和 (3) 可以通过更长上下文的语言模型得到改善（例如 Longformer ）。对于无法在 prompting 中直接形式化的任务，如 structured prediction ，问题 (1) 是更基本的。我们把它作为一个开放的问题留给未来的工作。

十三、EPR[2021]

论文：《Learning To Retrieve Prompts for In-Context Learning》

1. 大型预训练语言模型中蕴含的出色语言技能和世界知识最近引发了自然语言理解中的新范式： in-context learning 。在这种范式下，语言模型接收一个 prompt 作为输入，该 prompt 通常包含几个训练样本，以及一个测试样本，并直接为测试样本生成输出而不对模型参数进行任何更新。这种方法首先在 GPT-3 中引入，但很快传播到其他语言模型中。

   in-context learning 的一个吸引人的特点是它为多种语言理解任务提供了单个模型。然而，KATE 表明，下游性能可以根据 in-context examples 的选择而大相径庭。这引发了对 prompt retrieval 的兴趣（参见 Figure 1 ），在其中根据某些相似性度量选择训练样本作为 prompts 。最近的研究要么使用现成的无监督相似性度量，要么训练一个 prompt retriever 根据表面相似性（surface similarity ）来选择样本（《Case-based reasoning for natural language queries over knowledge bases》）。

   

   在这项工作中，我们建议使用语言模型本身来标注那些可以作为良好 prompts 的样本，并从中训练一个 prompt retriever 。为了训练 retriever （参见 Figure 2 ），我们假设可以访问 input-output pairs 的训练集和一个 scoring LM （一个用于对 prompts 进行评分的语言模型）。对于每个训练样本 $(x,y)$$(x,y)$，我们遍历其他候选训练样本，并根据 scoring LM 估计在给定 $x$$x$ 和候选 prompts 的条件下，$y$$y$ 的概率。我们将导致高概率的候选训练样本标记为正样本、低概率的标记为负样本，并使用对比学习从这些数据中训练一个 prompt retriever 。我们认为，与先前提出的表面相似性启发式方法相比，使用 LM 对样本进行标记更好地代表了训练 retriever 的过程。重要的是，在创建训练数据时，我们可以访问 gold label $y$$y$ ，这可以用于获得高质量的候选 prompts 集合。这会产生良好的正样本和 hard negative 样本，有助于使用 contrastive objective 进行训练。

   

   在训练一个高效的 retriever 时使用 scoring LM ，在测试期间该 retriever 可能用不同的 inference LM ，有两种情况下是有益的：

   • 首先，当 scoring LM 比 inference LM 更小并作为其代理时。这导致 retriever 的数据生成是廉价的、高效的，适用于广泛的研究人员。

   • 其次，即使 scoring LM 和 inference LM 相同（例如，都是 GPT-3 ），我们的方法也可以使用。

   当我们无法访问模型参数，只能将其作为一个 service 来使用时，这是有益的，而这种情况越来越普遍。在这种情况下，我们使用LM 训练一个轻量级的 retriever ，该 retriever 只负责学习相似性函数。更一般地说，考虑到 LM 的规模在可预见的未来可能会继续增加，我们可以将我们的 Efficient Prompt Retrieval: RPR 方法视为一种与大型语言模型进行接口和交互学习的方法。

   我们在三个结构化的 sequence-to-sequence 任务上对 EPR 进行了实证测试，这些任务涉及将输入的自然语言话语映射到语义表示：MTOP 和 SMCALFLOW 专注于面向任务的对话、而 BREAK 则是一个将问题映射到基于语言的语义表示的 benchmark 。我们观察到，与先前的prompt retrieval 方法相比，EPR 在性能上有显著提升：

   • 当 scoring LM 和 inference LM 相同（使用 GPT-NEO ）时，与最佳 baseline 相比，在 BREAK 任务上的性能从 26% 提高到31.9% 、在 MTOP 任务上从 57% 提高到 64.2% 、在 SMCALFLOW 任务上从 51.4% 提高到 54.3% 。

   • 当将 GPT-NEO 作为更大的语言模型（GPT-J, GPT-3, CODEX）的代理时，我们观察到类似的收益，在所有情况下性能都有显著提高。

   总之，我们提出了一种在大型语言模型中检索用于 in-context learning 的训练样本的方法，并展示了它在性能上显著优于先前的方法。鉴于最近在 scaling 语言模型方面的发展，设计与语言模型交互的高效方法是未来研究的重要方向。我们的代码和数据公开于 https://github.com/OhadRubin/EPR 。

   这里面包含四个模型：

   • 一个无监督模型，用于检索候选训练样本集合（即，图中的 $R_u$$R_u$）。

   • 一个评分模型，用于为候选训练样本集合打分（即，图中的 $\hat{g}$$\hat g$）。

   • 一个对比学习模型（基于 BERT 的模型），用于学习一个相似性度量。

   • 一个inference 模型，用于执行推断。

   训练期间最终得到的是这个对比学习模型。在推断期间使用对比学习模型、inference 模型。无监督模型、评分模型主要用于生成 label 从而用于训练期间的对比学习。

   核心思想是：如何判断样本之间的相似性。可以基于无监督的 sentence embedding 来得到。也可以通过监督学习来得到。对于监督学习，最重要的是如何得到针对相似性的标签。

2. 相关工作：

   • In-context learning：最近，incontext learning 的工作显著增长。

     • 《A mathematical exploration of why language models help solve down stream tasks》指出，通过以 prompt 为条件，预测 next word 的任务接近线性可分性。

     • 《An explanation of in-context learning as implicit bayesian inference》提出，在 in-context learning 中，模型推断出 prompt 中样本之间的共享潜在概念（shared latent concept ）。

     • 《Rethinking pretraining example design》 提出了一种理论上基于 in-context learning 的 bias 的预训练方案，取得了显著的改进。

     • 最近，《Rethinking the role of demonstrations: What makes in-context learning work?》 表明，模型并不像之前认为的那样严重依赖于示范中提供的 ground truth input-label mapping 。

   • Retrieval：近期对训练 dense retrievers 的研究大幅增加，这得益于对开放域问答的兴趣。基于检索的方法的研究也在其他知识密集型任务中得到广泛应用（《Retrieval-augmented generation for knowledge-intensive NLP tasks》），例如 fact verification （《Improving evidence retrieval for automated explainable fact-checking》）。

     类似于我们，《Controllable semantic parsing via retrieval augmentation》提出在 semantic parsing 中使用检索。然而，他们侧重于控制模型所生成的输出。检索方法也在语言建模和机器翻译（《Nearest Neighbor Machine Translation》）中取得了成功应用。

   • Prompts：开发用于语言模型的交互以及提取期望行为的方法已经引起了广泛关注，这些方法统称为 prompting 。在这项工作中， prompts 是一组 in-context training examples ，但也有相当多的工作致力于通过用自然语言表述目标任务从而将自然语言任务转化为语言建模的形式（参见 《Pretrain, prompt, and predict: A systematic survey of prompting methods in natural language processing》）。这些方法包括通过 manual patterns 、 decoding methods 、以及自动提取 hard prompts 或 soft prompts 的方法进行 prompt engineering 。

   • 用于监督模型的 prompt retrieval ：与此工作并行进行的是，对于监督模型而言，添加训练样本作为额外输入也被证明是有用的。 《Training data is more valuable than you think: A simple and effective method by retrieving from training data》和 《Human parity on commonsense qa: Augmenting self-attention with external attention》使用 BM25 并利用来自训练集的相似样本来检索和 augment input 。使用额外 inputs 对模型进行微调可以提高摘要和问答等任务的性能。这样的方法也有可能从更强的 retriever 中受益。

13.1 方法

1. Prompt Retrieval：

   • 问题介绍：给定一个由 input-output 序列组成的训练集 $\mathcal{D}=\{(x_i,y_i){\}}_{i=1}^n$$\mathcal D = \{(x_i,y_i)\}_{i=1}^n$ 、以及一个测试样本 $x_{\text{test}}$$x_\text{test}$，我们的目标是训练一个 retriever $R(x_{\text{test}},\mathcal{D})$$R(x_\text{test},\mathcal D)$ ，使得该 retriever 能够检索一组训练样本 $\mathcal{P}=\{(x_j,y_j){\}}_{j=1}^m\subset \mathcal{D}$$\mathcal P = \{(x_j,y_j)\}_{j=1}^m \sub \mathcal D$，其中 $m\ll n$$m\ll n$ 。我们简洁地称 $\mathcal{P}$$\mathcal P$ 为 prompt 。

     给定 inference LM $g$$g$ ，一个好的 prompt 应该在将测试样本 $x_{\text{test}}$$x_\text{test}$ 拼接到 prompt $\mathcal{P}$$\mathcal P$ 并传递给 $g$$g$ 时，导致生成 target output sequence 。具体而言，从 LM $g([\mathcal{P};x_{\text{test}}])$$g([\mathcal P; x_\text{test}])$ 进行解码应该得到 $y_{\text{test}}$$y_\text{test}$。在这项工作中，我们关注的是结构化任务，例如语义解析（semantic parsing），其中 $x$$x$ 是一个自然语言语句，$y$$y$ 是该表达式的语义表示（meaning representation）。

   • 先前工作：

     • KATE研究了不同 prompts 对 GPT-3 性能的影响，并证明了 in-context examples 的选择对下游性能有很大影响。他们使用了一个无监督的 sentence encoder 对训练样本进行编码，并为每个测试样本检索了其最近邻。

     • 《Case-based reasoning for natural language queries over knowledge bases》针对知识库问答训练了一个监督的prompt retriever 。该 retriever 通过监督信号来训练，这个监督信号针对知识库 query 来定制并依赖于 query 之间的表面相似性（surface similarity ）。相反，我们的方法利用了生成式语言模型本身，因此更加通用。

     • 《Constrained language models yield few-shot semantic parsers》使用 GPT-3 为 few-shot semantic parsing 选择prompt 的样本。然而，他们并没有训练一个 retriever, ，而是随机从训练集中抽取大量的 utterance-program pairs ，并根据GPT-3 来选择与 target instance question 相似的 pair 。这导致了一个昂贵的推理过程，对于每个测试样本，需要运行数百次 GPT-3 ，而不像我们的方法，它基于一个轻量级的亚线性 retriever 。

2. 我们现在描述一种用于训练 EPR 的方法，即一种用于in-context learning 的 efficient prompt retriever 。首先，我们描述如何生成带标签的训练数据，然后介绍如何使用训练数据进行训练和推理。Figure 2 概述了训练过程。

   这个 retriever 的核心是如何对训练样本进行编码。

13.1.1 生成训练数据

1. 我们的方法依赖于找到哪些训练样本可以作为其他训练样本的 good prompts 。对所有 training examples 的 pairs 进行打分的计算复杂度是 $|\mathcal{D}|$$|\mathcal D|$ 的二次方，因此是不可行的。因此，我们提出了一种方法用于选择一组候选样本 $\overline{\mathcal{E}}\subset \mathcal{D}$$\bar{\mathcal E}\sub \mathcal D$，从这组候选样本中我们将选择正负样本进行训练。重要的是，由于我们不是在测试时，而是仅仅生成用于训练的数据，我们可以使用 target 序列 $y$$y$ 来检索一个好的候选集合。鉴于我们的目标是检索与 input 在输出序列方面相似的样本，这可以通过简单的检索方法来实现。

   为了生成高质量的候选训练样本集合，我们利用了一个无监督 retriever ，即 $\overline{\mathcal{E}}=R_u((x,y),\mathcal{D})$$\bar{\mathcal E} = R_u((x,y), \mathcal D)$。对于无监督 retriever 的选择，我们尝试了基于表面文本相似性的 sparse retriever BM25、以及 SBERT ，并发现使用 $y$$y$ 微弱地提高了性能。

2. 对候选集合打分：一旦对于训练样本 $(x,y)$$(x,y)$ 检索到了候选集合 $\overline{\mathcal{E}}=\{{\overline{e}}_1,\cdots ,{\overline{e}}_L\}$$\bar{\mathcal E} = \{\bar e_1,\cdots,\bar e_L\}$ ，我们就利用一个 scoring LM $\hat{g}$$\hat g$ 来独立地对每个候选 ${\overline{e}}_l\in \overline{\mathcal{E}}$$\bar e_l\in \bar{\mathcal E}$ 进行打分。$\hat{g}$$\hat g$ 作为 inference LM $g$$g$ 的一个代理。具体而言，candidate prompt 的得分为：

   $$\begin{array}{}\text{(12)}& s({\overline{e}}_l)={\text{Prob}}_{\hat{g}}(y\mid {\overline{e}}_l,x)\end{array}$$

   其中：$s({\overline{e}}_l)$$s(\bar e_l)$ 是在LM $\hat{g}$$\hat g$ 下，给定候选 prompt ${\overline{e}}_l$$\bar e_l$ 和输入序列 $x$$x$ 的条件下，输出序列的概率。这表示该候选 prompt 在解码目标时的帮助程度（独立于其他候选 prompt ）。我们认为这个评分相比先前的方法更好地代表了训练样本在 inference 时的效用。

   我们将这个评分函数应用于所有的训练样本，并为每个训练样本定义了一组正样本 ${\mathcal{E}}_{\text{pos}}$$\mathcal E_\text{pos}$，其中包括根据 $s({\overline{e}}_l)$$s(\bar e_l)$ 在 $\overline{\mathcal{E}}$$\bar {\mathcal E}$ 中排名靠前的 top-k 个候选样本；以及一组负样本 ${\mathcal{E}}_{\text{neg}}$$\mathcal E_\text{neg}$ ，其中包括根据 $s({\overline{e}}_l)$$s(\bar e_l)$ 在 $\overline{\mathcal{E}}$$\bar {\mathcal E}$ 中排名靠后的 bottom-k 个候选样本。这样做应该会得到 relevant positive examples ，假设候选集 $\overline{\mathcal{E}}$$\bar {\mathcal E}$ 包含了 good prompt candidates 和 hard negatives ，因为根据 $R_u(y,\mathcal{D})$$R_u(y,\mathcal D)$，所有的候选样本与$(x,y)$$(x,y)$ 都具有很高的相似性。有了 positive examples 和 negative examples ，我们现在可以应用对比学习，接下来我们将描述这个过程。

13.1.2 Training and Inference

1. 训练：我们的训练过程与 DPR (《Dense passage retrieval for open-domain question answering》) 中的对比学习过程完全相同。该过程得到一个接收 input tokens 序列 $x$$x$ 的input encoder $E_X(\cdot )$$E_X(\cdot)$ 、以及一个接收 condidate prompt 的 prompt encoder $E_P(\cdot )$$E_P(\cdot)$。两个编码器都以 BERT-base 进行初始化，并且通常情况下，输出向量表示由 CLS token 给出。训练的目标是学习一个相似度度量，使得对于给定的测试样本 $x_{\text{test}}$$x_\text{test}$ ，它与生成 $y_{\text{test}}$$y_\text{test}$ 的其它训练样本相似。

   我们的训练样本的形式为 $⟨x_i,e_i^{+},e_{i,1}^{-},\cdots ,e_{i,2B-1}^{-}⟩$$\left<x_i,e_i^+,e_{i,1}^{-},\cdots,e_{i,2B-1}^{-}\right>$。其中，正例 $e_i^{+}$$e_i^+$ 是从集合 ${\mathcal{E}}_{\text{pos}}^{(i)}$$\mathcal E_\text{pos}^{(i)}$ 中采样的；我们的负例由一个来自 ${\mathcal{E}}_{\text{neg}}^{(i)}$$\mathcal E_\text{neg}^{(i)}$ 的 hard negative 、同一个 mini-batch 中其他样本的 $B-1$$B-1$ 个正例，以及其它样本的 $B-1$$B-1$ 个 hard negative 所组成。我们将 input 和 input-output pair 之间的相似度得分定义为内积 $\text{sim}(x,e)=E_X(x{)}^{\mathrm{\top }}{E}_P(e)$$\text{sim}(x, e) = E_X(x)^\top E_P(e)$ 。现在我们可以定义典型的 contrastive learning objective ，并对每个样本最小化 positive exam 的负对数似然：

   $$\begin{array}{}\text{(13)}& L(x_i,e_i^{+},e_{i,1}^{-},\cdots ,e_{i,2B-1}^{-})=-\log \frac{\exp \left(\text{sim}(x_i,e_i^{+})\right)}{\exp \left(\text{sim}(x_i,e_i^{+})\right)+\sum _{j=1}^{2B-1}\exp \left(\text{sim}(x_i,e_{i,j}^{-})\right)}\end{array}$$

   这种方法的一个优点是，在 batch-size = B 的情况下，利用 in-batch negatives 技巧 (《Efficient natural language response suggestion for smartreply》)，有效 batch size 的数量级为 $B^2$$B^2$ 。

2. Inference：训练 input encoder 和 prompt encoder 之后，我们使用 FAISS 在预处理步骤中对整个训练样本集进行编码。在测试时，给定输入序列 $x_{\text{test}}$$x_\text{test}$ ，我们计算其编码 $E_X(x_{\text{test}})$$E_X(x_\text{test})$，然后在训练数据上进行最大内积搜索，以找到内积最高的 $L$$L$ 个最相似的训练样本，按内积顺序从大到小排序： $\mathcal{P}=(e_1,\cdots ,e_L)$$\mathcal P = (e_1,\cdots,e_L)$ 。final prompt ${\mathcal{P}}^{\prime }$$\mathcal P^\prime$ 由 inference LM $g$$g$ 支持的最大上下文大小 $C$$C$ 决定。具体而言， $L^{\prime }\le L$$L^\prime \le L$ 是满足 $\sum _{i=1}^{L^{\prime }}|e_i|+|x_{\text{test}}|+|y^{\prime }|\le C$$\sum_{i=1}^{L^\prime} |e_i| + |x_\text{test}| + |y^\prime| \le C$ 的最大 $L^{\prime }$$L^\prime$，其中 $|y^{\prime }|$$|y^\prime|$ 是所生成的输出的期望最大长度。最后，我们对$g([e_{L^{\prime }};e_{L^{\prime }-1};\cdots ,;e_1;x_{\text{test}}])$$g([e_{L^\prime};e_{L^\prime-1};\cdots,;e_1;x_\text{test}])$ 应用贪婪解码，并返回生成的输出。

   最相似的训练样本距离 $x_{\text{test}}$$x_\text{test}$ 最近。

   需要注意的是，在训练时，我们独立地对每个训练样本进行评分；而在测试时，我们使用训练样本的集合。关于不同训练样之间的依赖关系建模留待将来研究。