一、LORA[2021]

论文：《LORA: Low-Rank Adaptation of Large Language Models》

1. 自然语言处理中的许多应用依赖于将一个大型的 pre-trained 语言模型适配到多个下游任务中。这种适配通常通过微调来完成，它会更新 pre-trained 模型中的所有参数。微调的一个主要缺点是，新模型的参数数量和原始模型一样多。随着每几个月就会训练出更大的模型，这对于 GPT-2 或 RoBERTa large 来说只是“不方便”，而对于拥有 175B 可训练参数的 GPT-3 来说则成为了一个关键的部署挑战。

   许多研究试图通过仅适配部分参数、或学习新的外部模块来缓解这一问题。这样，我们只需要为每个任务存储和加载一小部分 task-specific 的参数，再加上存储和加载 pretrained 模型，从而在部署时极大地提升了运行效率。然而，现有的技术通常通过扩展模型深度来引入 inference latency 、或减少模型可用的序列长度。更重要的是，这些方法通常无法匹配 fine-tuning baselines ，在效率和模型质量之间存在权衡。

   我们受到 《Measuring the Intrinsic Dimension of Objective Landscapes》、《Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning》的启发，它们表明：学到的 over-parametrized 的模型实际上处于 low intrinsic dimension 上。我们假设模型适配过程中的 weights’ change也具有低的 "intrinsic rank"，这导致了我们提出的低秩适配（Low-Rank Adaptation: LORA ）方法。如 Figure 1 所示，LORA 允许我们通过优化适配过程中 dense layers’ change 的 rank decomposition 矩阵，来间接地训练神经网络中的某些dense layers ，同时保持 pre-trained weights 固定。以 GPT-3 175B 为例，我们展示即使 full rank （即 Figure 1 中的 $d$$d$ ）高达 12288 ，一个非常低的秩（即 Figure 1 中的 $r$$r$ 可以是 1 或 2 ）也已足够，这使得 LORA 在存储和计算上都非常高效。

   

   LORA 具有几个关键优势：

   • 一个 pre-trained 模型可以被共享，并用于构建许多不同任务的小的 LORA 模块。我们可以冻结 shared model ，并通过替换Figure 1 中的矩阵 $\mathbf{A}$$\mathbf A$ 和 $\mathbf{B}$$\mathbf B$ 来有效地切换任务，从而显著减少存储需求和切换任务的开销。

   • 当使用自适应优化器时，LORA 使训练更高效，最多可将硬件门槛降低 3 倍，因为我们不需要计算或维护大多数参数的梯度或 optimizer states 。相反，我们只优化被注入的小得多的低秩矩阵。

   • 我们简单的线性设计允许我们在部署时将 trainable 矩阵与固定权重合并，通过构造，与 fully fine-tuned model 相比不会引入任何 inference latency 。

   • LORA 与许多以前的方法正交，可以与其中许多方法（如，prefix-tuning ）组合使用。我们在附录 E 中给出了一个示例。

2. 术语和约定：我们频繁引用 Transformer 架构并使用其维度的传统术语：

   • 我们把 Transformer 层的输入和输出维度大小称为 $d_{\text{model}}$$d_\text{model}$ 。

   • 我们用 ${\mathbf{W}}_q,{\mathbf{W}}_k,{\mathbf{W}}_v,{\mathbf{W}}_o$$\mathbf W_q,\mathbf W_k,\mathbf W_v, \mathbf W_o$ 分别表示自注意力模块中的 query/key/value/output 投影矩阵。

   • 我们用 $\mathbf{W}$$\mathbf W$ 或 ${\mathbf{W}}_0$$\mathbf W_0$ 表示 pre-trained 权重矩阵，$\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 表示适配过程中的累积梯度更新（accumulated gradient update ）。

   • 我们用 $r$$r$ 表示 LORA 模块的秩（rank）。

   • 我们遵循 Transformer 和 GPT-3 设置的约定，使用 Adam 优化器，使用 Transformer 的 MLP 前馈网络维度为 $d_{\text{ffn}}=4\times d_{\text{model}}$$d_\text{ffn}=4\times d_\text{model}$ 。

3. 相关工作：

   • Transformer 语言模型：Transformer 是一个 sequence-to-sequence 的架构，它大量使用了自注意力。GPT-1 将其应用于自回归语言建模，使用 Transformer encoders 的堆叠。自那时起，基于 Transformer 的语言模型在 NLP 中占据主导地位，在许多任务上实现了 SOTA 。BERT 和 GPT-2 代表了一个新范式：两者都是在大量文本上预训练的大型 Transformer 语言模型，通过在通用领域数据上预训练之后再在任务特定数据上的微调，这相比直接在任务特定数据上训练可以获得显著的性能提升。训练更大的 Transformer 通常会导致更好的性能，这仍然是一个活跃的研究方向。GPT-3 是迄今为止训练的最大的单个Transformer 语言模型，拥有 175B 参数。

   • Prompt Engineering and Fine-Tuning：尽管 GPT-3 175B 可以仅通过几个额外的训练样本来适配其行为，但结果高度依赖于input prompt 。这需要一种经验丰富的 prompt composing 和 prompt formatting 艺术，从而最大化模型在期望任务上的表现，这称为 prompt engineering 或 prompt hacking 。

     微调对在通用领域上 pre-trained 的模型进行特定任务的重新训练（BERT 、 GPT-1 ）。人们提出了其变体，包括仅学习一部分参数（BERT ），但是实践者们通常会重新训练所有参数以最大化下游性能。然而，GPT-3 175B 的巨大规模使得通常的微调方式具有挑战，因为与预训练相同的内存占用造成了巨大的 checkpoint ，以及由此带来的高硬件门槛。

   • Parameter-Efficient Adaptation：许多人提出在神经网络的现有层之间插入 adapter layers （《Parameter-Efficient Transfer Learning for NLP》、《Learning multiple visual domains with residual adapters》、《Exploring versatile generative language model via parameter-efficient transfer learning》）。我们的方法使用类似的 bottleneck 结构来对 weights update 施加低秩约束。关键的功能性的差异在于，我们学到的权重可以在推理期间与 main weights 合并，因此不会引入任何延迟，这与 adapter layers 的情况不同。

     adapter 的一个同期扩展是 COMPACTER （《Compacter: Efficient low-rank hypercomplex adapter layers》），它本质上是参数化 adapter layers ，使用具有某些 predetermined 的权重共享方案的 Kronecker products 。类似地，将 LORA 与其他 tensor product-based 积的方法相结合，可能会潜在地改善其参数效率，我们留待未来研究。

     近期，许多研究提出优化 input word embeddings 以代替微调，这类似于 prompt engineering 的连续可微分推广。我们在实验部分包括与 《Prefix-Tuning: Optimizing Continuous Prompts for Generation》 的比较。然而，这类方法只能通过在 prompts 中使用更多 special tokens 来扩展，这会占用 task tokens 可用的序列长度。

   • Low-Rank Structures in Deep Learning：低秩结构在机器学习中很常见。许多机器学习问题具有某些内在的低秩结构。此外，众所周知，对于许多深度学习任务，特别是那些拥有大量过度参数化（over-parametrized ）的神经网络，学到的神经网络在训练后会具有低秩特性（《Generalization guarantees for neural networks via harnessing the low-rank structure of the jacobian》）。

     一些先前的工作甚至在训练原始神经网络时明确地施加低秩约束；但是，据我们所知，这些工作都没有考虑 frozen model 的 low-rank update 以适配下游任务。在理论文献中，已经知道当底层的 concept class 具有某些低秩结构时，神经网络会优于其他经典学习方法，包括相应的（有限宽度）的 neural tangent kernels 。《How adversarial training performs robustdeep learning》 中的另一个理论结果表明：low-rank adaptations 对于对抗训练是有用的。总之，我们认为所提出的low-rank adaptation update 是有充分理论依据的。

1.1 问题描述

1. 尽管我们的 proposal 与 training objective 无关，但我们将语言建模作为用例。下面简要描述了语言建模问题，具体而言，是给定一个 task-specific prompt 的条件下，最大化条件概率。

2. 假设我们有一个 pre-trained自回归语言模型 $P_{\mathrm{\Phi }}(y\mid x)$$P_\Phi(y\mid x)$，参数为 $\mathrm{\Phi }$$\Phi$。例如，$P_{\mathrm{\Phi }}(y\mid x)$$P_\Phi(y\mid x)$ 可以是一个通用的多任务学习器，如基于Transformer 架构的 GPT 。考虑将这个pre-trained模型适配到下游的条件文本生成（conditional text generation ）任务，如摘要、机器阅读理解（machine reading comprehension: MRC ）、natural language to SQL: NL2SQL 。每个下游任务由 context-target pairs 的训练数据集表示：$\mathcal{Z}=\{(x_i,y_i){\}}_{i=1,\cdots ,N}$$\mathcal Z = \{(x_i,y_i)\}_{i=1,\cdots,N}$，其中 $x_i$$x_i$ 和 $y_i$$y_i$ 都是 tokens 序列。例如：

   • 在 NL2SQL 中，$x_i$$x_i$ 是一个自然语言 query，$y_i$$y_i$ 是相应的 SQL command 。

   • 对于摘要任务，$x_i$$x_i$ 是文章内容，$y_i$$y_i$ 是对应的摘要。

   在 full fine-tuning 期间，模型被初始化为 pre-trained 权重 ${\mathrm{\Phi }}_0$$\Phi_0$，并通过反复地沿着梯度方向更新参数为 ${\mathrm{\Phi }}_0+\mathrm{\Delta }\mathrm{\Phi }$$\Phi_0+ \Delta\Phi$，从而最大化 conditional language modeling objective ：

   $$\begin{array}{}\text{(1)}& \underset{\mathrm{\Phi }}{max}\sum _{(x,y)\in \mathcal{Z}}\sum _{t=1}^{|y|}\log (P_{\mathrm{\Phi }}(y_t\mid x,y_{<t}))\end{array}$$

   其中：$y_t$$y_t$ 表示第 $t$$t$ 个输出 token；$y_{<t}$$y_{\lt t}$ 表示前 $t-1$$t-1$ 个输出 tokenn 的序列。

   这里是对数似然（而不是损失函数），因此需要最大化。

   full fine-tuning 的一个主要缺点是，对于每个下游任务，我们学习一组不同的 parameter update $\mathrm{\Delta }\mathrm{\Phi }$$\Delta\Phi$，其维度 $|\mathrm{\Delta }\mathrm{\Phi }|$$|\Delta\Phi|$ 等于 $|{\mathrm{\Delta }}_0|$$|\Delta_0|$。因此，如果 pre-trained 模型很大（如 GPT-3 的参数数量 $|{\mathrm{\Phi }}_0|$$|\Phi_0|$ 约为 175B ），存储和部署许多独立的 fine-tuned models 实例可能具有挑战性，甚至不可行。

   在本文中，我们采用一种更加 parameter-efficient 的方法，其中 task-specific 的参数增量 $\mathrm{\Delta }\mathrm{\Phi }=\mathrm{\Delta }\mathrm{\Phi }(\mathrm{\Theta })$$\Delta\Phi = \Delta\Phi(\Theta)$ 被一个规模更小的参数集合 $\mathrm{\Theta }$$\Theta$ 进一步编码，其中 $|\mathrm{\Theta }|\ll |{\mathrm{\Phi }}_0|$$|\Theta|\ll |\Phi_0|$。寻找 $\mathrm{\Delta }\mathrm{\Phi }$$\Delta\Phi$ 的任务因此变成优化 $\mathrm{\Theta }$$\Theta$：

   $$\begin{array}{}\text{(2)}& \underset{\mathrm{\Theta }}{max}\sum _{(x,y)\in \mathcal{Z}}\sum _{t=1}^{|y|}\log (P_{{\mathrm{\Phi }}_0+\mathrm{\Delta }\mathrm{\Phi }(\mathrm{\Theta })}(y_t\mid x,y_{<t}))\end{array}$$

   在后续章节中，我们提出使用 low-rank representation 来编码 $\mathrm{\Delta }\mathrm{\Phi }$$\Delta\Phi$，这在计算和内存方面都很高效。当 pre-trained 模型是 GPT-3 175B 时，可训练参数数量 $|\mathrm{\Theta }|$$|\Theta|$ 可以低至 $|{\mathrm{\Phi }}_0|$$|\Phi_0|$ 的 0.01% 。

1.2 现有解决方案够好吗

1. 我们要解决的问题并非全新。自迁移学习出现以来，数十项工作已经试图使 model adaptation 更加参数高效和计算高效。参考 ”相关工作“ 部分，可以看到一些著名的相关工作。以 language modeling 为例，有两种优秀的策略用于高效的适配：添加 adapter layers 、或优化 input layer activations 。但是，这两种策略在大型的、以及延迟敏感的生产环境中都有局限性。

2. Adapter Layers Introduce Inference Latency：adapters 有许多变体。我们关注 《Parameter-Efficient Transfer Learning for NLP》 的原始设计，每个 Transformer block 有两个 adapter layers ；以及 《Exploring versatile generative language model via parameter-efficient transfer learning》 的更近期设计，每个 block 仅有一个 adapter layer，但具有额外的 LayerNorm 。尽管可以通过裁剪 layers 、或利用多任务设置来减少整体延迟（《Adapterdrop: On the efficiency of adapters in transformers》、《Adapter-fusion: Non-destructive task composition for transfer learning》），但是没有直接的方法可以绕过 adapter layers 中的额外计算。这似乎不是问题，因为 adapter layers 通过具有小的 bottleneck 维度来被设计为参数很少（有时是原始模型的 <1% ），这限制了它们可以添加的 FLOPs 。但是，大型神经网络依赖硬件并行性来保持低延迟，而 adapter layers 必须串行地处理。这在 batch size 通常为 1 的在线推理设置中会造成区别。在没有模型并行的通用场景中，例如在单 GPU 上运行 GPT-2 medium 的推理，即使使用了非常小的 bottleneck 维度，当使用 adapters 时，我们也看到显著的延迟增加（Table 1 ）。

   

   当我们需要 shard 模型时，这个问题会变得更糟，如 《Megatron-lm: Training multi-billion parameter language models using model parallelism》、《Gshard: Scaling giant models with conditional computation and automatic sharding》 所做，因为额外的深度需要更多的 synchronous GPU operations ，如 AllReduce 和 Broadcast ，除非我们冗余地存储 adapter parameters 多次。

3. Directly Optimizing the Prompt is Hard：prefix tuning（《Prefix-Tuning: Optimizing Continuous Prompts for Generation》）代表的另一方向面临着不同的挑战。我们观察到，prefix tuning 难以优化，其性能随着可训练参数的变化是非单调的，这确认了原论文中的类似观察。更本质的是，保留一部分序列长度用于适配，这必然减少了处理下游任务的可用序列长度；我们怀疑这使得与其他方法相比，tuning the prompt 的性能更差。我们将对任务性能的研究推迟到实验章节。

1.3 我们的方法

1. 我们描述 LORA 的简单设计及其实际效益。这里概述的原则适用于深度学习模型中的任何 dense layers ，尽管我们的实验仅关注Transformer 语言模型中的某些权重。

1.3.1 Low-Rank-Parameterized Update Matrics

1. 神经网络包含许多执行矩阵乘法的 dense layers 。这些层中的权重矩阵通常是满秩（full-rank）的。在适配特定任务时，《Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning》 显示 pre-trained 语言模型具有低的 "instrisic dimension"，即使是随机投影到一个较小的子空间，也仍可进行有效学习。受此启发，我们假设 weight's updates 在适配过程中也具有低的 "intrinsic rank"。对于 pre-trained 权重矩阵 ${\mathbf{W}}_0\in {\mathbb{R}}^{d\times k}$$\mathbf W_0\in \mathbb R^{d\times k}$ ，我们通过使用低秩分解来约束其更新：

   $$\begin{array}{}\text{(3)}& {\mathbf{W}}_0+\mathrm{\Delta }\mathbf{W}={\mathbf{W}}_0+\mathbf{B}\mathbf{A}\end{array}$$

   其中：$\mathbf{B}\in {\mathbb{R}}^{d\times r},\mathbf{A}\in {\mathbb{R}}^{r\times k}$$\mathbf B\in \mathbb R^{d\times r}, \mathbf A\in \mathbb R^{r\times k}$，秩 $r\ll min(d,k)$$r\ll \min(d,k)$。

   在训练期间，${\mathbf{W}}_0$$\mathbf W_0$ 被冻结且不接收梯度更新，而 $\mathbf{A}$$\mathbf A$ 和 $\mathbf{B}$$\mathbf B$ 包含可训练参数。注意 ${\mathbf{W}}_0$$\mathbf W_0$ 和 $\mathrm{\Delta }\mathbf{W}=\mathbf{B}\mathbf{A}$$\Delta \mathbf W = \mathbf B \mathbf A$ 与相同的输入相乘，它们各自的输出向量逐元素相加。对 $\overrightarrow{\mathbf{h}}={\mathbf{W}}_0\overrightarrow{\mathbf{x}}$$\mathbf{\vec h} = \mathbf W_0 \mathbf{\vec x}$ ，我们的修改后的前向传播为：

   $$\begin{array}{}\text{(4)}& \overrightarrow{\mathbf{h}}={\mathbf{W}}_0\overrightarrow{\mathbf{x}}+\mathrm{\Delta }\mathbf{W}\overrightarrow{\mathbf{x}}={\mathbf{W}}_0\overrightarrow{\mathbf{x}}+\mathbf{B}\mathbf{A}\overrightarrow{\mathbf{x}}\end{array}$$

   我们在 Figure 1 中展示重参数化（reparametrization ）。我们对 $\mathbf{A}$$\mathbf A$ 使用随机高斯初始化、对 $\mathbf{B}$$\mathbf B$ 使用零初始化，因此开始时 $\mathrm{\Delta }\mathbf{W}=\mathbf{B}\mathbf{A}$$\Delta \mathbf W = \mathbf B\mathbf A$ 为零。我们然后按 $\alpha /r$$\alpha/r$ 来缩放 $\mathrm{\Delta }\mathbf{W}\overrightarrow{\mathbf{x}}$$\Delta\mathbf W\mathbf{\vec x}$，其中 $\alpha$$\alpha$是关于 $r$$r$ 的常量。当使用 Adam 优化时，调优 $\alpha$$\alpha$ 大致相当于调优学习率，如果我们适当地缩放了 initialization。因此，我们简单地将 $\alpha$$\alpha$设置为我们尝试的第一个 $r$$r$ ，并不对其进行调优。这有助于减少我们改变 $r$$r$ 时的需要重新调优的超参数。

   这里 $\alpha$$\alpha$ 的含义是：根据 $\overrightarrow{\mathbf{h}}={\mathbf{W}}_0\overrightarrow{\mathbf{x}}+\frac{\alpha }{r}\times \mathrm{\Delta }\mathbf{W}\overrightarrow{\mathbf{x}}={\mathbf{W}}_0\overrightarrow{\mathbf{x}}+\frac{\alpha }{r}\times \mathbf{B}\mathbf{A}\overrightarrow{\mathbf{x}}$$\mathbf{\vec h} = \mathbf W_0 \mathbf{\vec x} + \frac{\alpha}{r}\times\Delta \mathbf W \mathbf{\vec x} = \mathbf W_0 \mathbf{\vec x} + \frac{\alpha}{r}\times\mathbf B\mathbf A \mathbf{\vec x}$ 。因此，$r$$r$ 和 $\alpha$$\alpha$ 都是超参数，$\alpha /r$$\alpha/r$ 的作用类似于学习率。

   作者在 $r$$r$ 上调优了一组超参数，并固定 $\alpha$$\alpha$ 为其中尝试的第一个 $r$$r$ 而不调优 $\alpha$$\alpha$ 。这是为了减少超参数调优的复杂性。

2. A Generalization of Full Fine-tuning：更一般的微调形式允许 pre-trained parameters 的子集。进一步地，在适配期间 LORA不要求 accumulated gradient update 具有满秩。这意味着将 LORA 应用于所有权重矩阵并训练所有偏置，通过将 LORA 秩的 $r$$r$ 设置为 pre-trained 权重矩阵的秩，我们大致恢复 full fine-tuning 的表达能力。换句话说，随着我们增加可训练参数的数量，训练 LORA 大致收敛于训练原始模型；而 adapter-based 的方法收敛于 MLP 、prefix-based 的方法收敛于一个无法处理长输入序列的模型。

3. No Additional Inference Latency：在生产中部署时，我们可以显式地计算并存储 $\mathbf{W}={\mathbf{W}}_0+\mathbf{B}\mathbf{A}$$\mathbf W = \mathbf W_0 + \mathbf B\mathbf A$ ，然后正常进行推理。请注意，${\mathbf{W}}_0$$\mathbf W_0$ 和 $\mathbf{B}\mathbf{A}$$\mathbf B\mathbf A$ 都属于 ${\mathbb{R}}^{d\times k}$$\mathbb R^{d\times k}$ 。当我们需要切换到另一个下游任务时，我们可以通过从 $\mathbf{W}$$\mathbf W$ 中减去 $\mathbf{B}\mathbf{A}$$\mathbf B\mathbf A$ 来恢复 ${\mathbf{W}}_0$$\mathbf W_0$ ，然后再添加不同的 ${\mathbf{B}}^{\prime }{\mathbf{A}}^{\prime }$$\mathbf B^\prime \mathbf A^\prime$ 。这是一个运算量很小的快速操作。关键是，与 fine-tuned 模型相比，这保证了我们不会引入任何额外的推理延迟。

   即：$\mathbf{W}+({\mathbf{B}}^{\prime }{\mathbf{A}}^{\prime }-\mathbf{B}\mathbf{A})$$\mathbf W + \left(\mathbf B^\prime \mathbf A^\prime- \mathbf B\mathbf A \right)$ 即可切换不同的下游任务。

1.3.2 Applying LORA To Transformer

1. 原则上，我们可以将 LORA 应用于神经网络中的任何权重子集，从而减少可训练参数的数量。在 Transformer 架构中，在自注意力模块中有四个权重矩阵（${\mathbf{W}}_q,{\mathbf{W}}_k,{\mathbf{W}}_v,{\mathbf{W}}_o$$\mathbf W_q, \mathbf W_k ,\mathbf W_v, \mathbf W_o$），在 MLP 模块中有两个权重矩阵。我们将 ${\mathbf{W}}_q$$\mathbf W_q$ （或 ${\mathbf{W}}_k,{\mathbf{W}}_v$$\mathbf W_k ,\mathbf W_v$）视为单个 $d_{\text{model}}\times d_{\text{model}}$$d_\text{model}\times d_\text{model}$ 的矩阵，即使输出维度通常被切片成多头注意力。为简单起见，我们的研究仅限于下游任务中适配注意力权重，并冻结 MLP 模块（所以在下游任务中不训练它们），这对简单性和参数效率都有好处。我们在后续章节中进一步研究适配 Transformer 中不同类型的注意力权重矩阵的效果。我们将 MLP 层、LayerNorm 层、以及偏置的实验研究留待未来工作。

2. 实际效益和局限性：最显著的好处来自于内存和存储使用的减少。对于用 Adam 训练的大型 Transformer ，如果 $r\ll d_{\text{model}}$$r \ll d_\text{model}$ ，我们可以减少高达 2/3 的 VRAM 使用，因为我们不需要存储 frozen parameters 的 optimizer states 。在 GPT-3 175B 上，我们将训练期间的 VRAM 消耗从 1.2TB 降低到 350GB 。 当 $r=4$$r=4$ 且仅适配 query 投影矩阵和 value 投影矩阵时， checkpoint size 大约减少了 10000 倍（从 350GB 到 35MB ）。 这使我们可以用更少的 GPU 进行训练，并避免 I/O 瓶颈。

   另一个好处是，我们只需交换LORA 权重，而不是所有参数，就能以更低的成本在部署任务时进行切换。这允许在存储 pre-trained 权重（在 VRAM 中）的机器上动态地创建和切换许多定制化的模型。 与 full fine-tuning相比，我们还观察到在 GPT-3 175B 上的训练加速了 25% ，因为我们不需要计算绝大多数参数的梯度。

   LORA也有其局限性。 例如，如果选择吸收 $\mathbf{A}$$\mathbf A$ 和 $\mathbf{B}$$\mathbf B$ 到 $\mathbf{W}$$\mathbf W$ 中以消除额外的推理延迟，则在单个前向传递中 batch 不同任务（具有不同的 $\mathbf{A}$$\mathbf A$ 和 $\mathbf{B}$$\mathbf B$ ）的输入并不简单。 尽管在延迟不是关键的场景中，可以不合并权重，并根据 batch 中的样本动态地选择要使用的 LORA 模块。

1.4 实验

1. 我们在 RoBERTa、DeBERTa 和 GPT-2 上评估了 LORA 的下游任务性能，然后再扩展到 GPT-3 175B。我们的实验涵盖了从自然语言理解（natural language understanding: NLU ）到自然语言生成（natural language generation: NLG ）的广泛任务。具体来说，我们在 GLUE benchmark 上评估了 RoBERTa 和DeBERTa 。我们在 GPT-2 上遵循 《Prefix-Tuning: Optimizing Continuous Prompts for Generation》 的设置进行直接比较，并添加了 WikiSQ （自然语言到 SQL query）和 SAMSum （对话摘要）用于 GPT-3 上的大规模实验。参见附录C 以了解我们使用的数据集的更多细节。我们在所有实验中都使用了 NVIDIA Tesla V100 。

2. baselines：为了与其他基线进行广泛比较，我们尽可能复制了先前工作中使用的设置，并在可能的情况下复用他们报告的结果。但是，这意味着一些基线可能只出现在某些实验中。

   • Fine-Tuning (FT)：是一种常见的适配方法。在微调期间，模型被初始化为 pre-trained 的权重和偏置，所有的模型参数都经历梯度更新。一个简单的变体是只更新某些层而冻结其他层。我们包括 《Prefix-Tuning: Optimizing Continuous Prompts for Generation》 在GPT-2 上报告的一个这样的基线，它只适配最后两层（${\text{FT}}^{\text{Top2}}$$\text{FT}^{\text{Top2}}$）。

   • Bias-only or BitFit：是一种基线，其中我们只训练偏置向量而冻结其他所有内容。当代，这个基线也被 BitFit （《Bitfit: Simple parameter-efficient fine-tuning for transformer-based masked language-models》）研究过。

   • Prefix-embedding tuning (PreEmbed)：在 input tokens 中插入 special tokens 。这些 special tokens 具有可训练的 word embeddings ，通常不在模型词表中。放置这些 special tokens 的位置会影响性能。我们关注 "prefixing"，即在输入的前面添加这样的 special tokens ；也关注 "infixing"，即输入后面追加 special tokens 。两者都在《Prefix-Tuning: Optimizing Continuous Prompts for Generation》 中讨论过。我们使用 $l_p$$l_p$ 和 $l_i$$l_i$ 表示 prefix tokens 数量和 infix tokens 数量。可训练参数的数量为 $|\mathrm{\Theta }|=d_{\text{model}}\times (l_p+l_i)$$|\Theta| = d_\text{model}\times (l_p + l_i)$。

   • Prefix-layer tuning (PreLayer)：是 prefix-embedding tuning 的扩展。我们不仅学习某些 special tokens 的 word embeddings （或等效地，activations after the embedding layer ），而且学习 activations after every Transformer layer 。 previous layers 计算而来的激活被可训练的激活替换。结果，可训练参数数量为 $|\mathrm{\Theta }|=L\times d_{\text{model}}\times (l_p+l_d)$$|\Theta| = L\times d_\text{model}\times (l_p + l_d)$，其中 $L$$L$ 是 Transformer 层数。

   • Adapter tuning：《Parameter-Efficient Transfer Learning for NLP》 所提出的，在自注意力模块（和 MLP 模块）与后续残差连接之间插入 adapter layers 。一个 adapter layer 中有两个带偏置的全连接层，这两个全连接层之间有一个非线性激活。我们称之为 ${\text{Adapter}}^{\text{H}}$$\text{Adapter}^\text{H}$。

     最近，《Exploring versatile generative language model via parameter-efficient transfer learning》 提出了一个更高效的设计，其中 adapter layer 仅应用于 MLP 模块之后和 LayerNorm 之后。我们称之为 ${\text{Adapter}}^{\text{L}}$$\text{Adapter}^\text{L}$ 。这与 《Adapterfusion: Non-destructive task composition for transfer learning》 提出的另一种设计非常相似，我们称之为 ${\text{Adapter}}^{\text{P}}$$\text{Adapter}^\text{P}$ 。

     我们还包括另一个基线 AdapterDrop （《Adapterdrop: On the efficiency of adapters in transfor》），它删除一些 adapter layers 以获得更高的效率，记做 ${\text{Adapter}}^{\text{D}}$$\text{Adapter}^\text{D}$ 。

     我们尽可能引用先前工作中的数据以最大化我们比较的基线数量；它们位于第一列中用 * 标记的行中。在所有情况下，我们有 $|\mathrm{\Theta }|={\hat{L}}_{\text{Adpt}}\times (2\times d_{\text{model}}\times r+r+d_{\text{model}})+2\times {\hat{L}}_{\text{LN}}\times d_{\text{model}}$$|\Theta| = \hat L_\text{Adpt}\times (2\times d_\text{model} \times r + r + d_\text{model}) + 2\times \hat L_\text{LN}\times d_\text{model}$，其中：${\hat{L}}_{\text{Adpt}}$$\hat L_\text{Adpt}$ 是 adapter layers 的层数，${\hat{L}}_{\text{LN}}$$\hat L_\text{LN}$ 是可训练 LayerNorm 的数量（例如，在 ${\text{Adapter}}^{\text{L}}$$\text{Adapter}^\text{L}$ 中)。

   • LORA ：在现有权重矩阵旁并行地添加低秩分解矩阵的 trainable pairs 。如前所述，出于简单考虑，我们在大多数实验中仅将 LORA 应用于 ${\mathbf{W}}_q$$\mathbf W_q$ 和 ${\mathbf{W}}_v$$\mathbf W_v$。可训练参数的数量由秩 $r$$r$ 和原始权重的形状确定：$|\mathrm{\Theta }|=2\times {\hat{L}}_{\text{LORA}}\times d_{\text{model}}\times r$$|\Theta| = 2\times \hat L_\text{LORA}\times d_\text{model}\times r$，其中 ${\hat{L}}_{\text{LORA}}$$\hat L_\text{LORA}$ 是我们应用 LORA 的权重矩阵的数量。

3. RoBERTa base/large：RoBERTa 优化了 BERT 最初提出的预训练配方，在不引入更多可训练参数的情况下提升了后者的任务性能。尽管近年来 RoBERTa 在 GLUE 等 NLP 排行榜上被更大的模型超过，但它仍然是一个流行的、有竞争力的 pre-trained 模型。我们从 HuggingFace Transformers 库获取 pre-trained RoBERTa base (125M) 和 RoBERTa large (355M) ，并评估不同 efficient adaptation 方法在 GLUE 任务上的性能。我们还根据他们的设置复制了 《Parameter-Efficient Transfer Learning for NLP》 和 《Adapterfusion: Non-destructive task composition for transfer learning》的工作。为了确保公平比较，我们在与 adapters 比较时，在如何评估 LORA 上做了两个关键更改：

   • 首先，我们对所有任务使用相同的 batch size ，序列长度为 128 以匹配 adapter baselines 。

   • 其次，我们将模型初始化为 pre-trained 模型从而用于 MRPC、RTE 和 STS-B ，而不是像 fine-tuning baseline 那样已经在 MNLI 上适配好的模型。

   遵循 《Parameter-Efficient Transfer Learning for NLP》 更严格设置的 runs 用 $†$$\dagger$ 标记。结果如 Table 2 所示（前三部分）。附录 D.1 节详细介绍了所使用的超参数。

   

   

4. DeBERTa XXL：DeBERTa 是最近的 BERT 变体之一，它以更大的规模进行了训练，在 GLUE 和 SuperGLUE 等 benchmarks 中表现非常有竞争力。我们评估 LORA 是否仍然可以在 GLUE 上匹配 fine-tuned DeBERTa XXL (1.5B) 的性能。结果如 Table 2 最后一部分所示。附录 D.2 节详细介绍了所使用的超参数。

   

5. GPT-2 medium/large：在展示 LORA 可以在自然语言理解任务上成为 full fine-tuning 的有竞争替代方案之后，我们希望回答LORA 是否仍然在 NLG 模型上也占优势，例如 GPT-2 medium 和 GPT-2 large 。我们使我们的设置尽可能接近 《Prefix-Tuning: Optimizing Continuous Prompts for Generation》 的设置，以进行直接比较。由于版面限制，我们在本节中仅展示 E2E NLG Challenge 数据集上的结果（见 Table 3 。第 F.1 节给出了 WebNLG 和 DART 的结果。第 D.3 节列出了使用的超参数。

   

   

   

   

6. 扩展到 GPT-3 175B ：作为 LORA 的最终压力测试，我们扩展到拥有 175B 参数的 GPT-3 。由于训练成本很高，对于给定的任务，我们仅报告在不同随机种子上的典型标准差，而不是为每个随机数提供一个标准差。第 D.4 节详细介绍了所使用的超参数。

   如 Table 4 所示，LORA 与 fine-tuning baseline 的性能相当或更好。请注意，并非所有方法都会从有更多可训练参数中受益，如 Figure 2 所示。当使用超过 256 special tokens 进行 prefix-embedding tuning 、或超过 32 special tokens 进行 prefix-layer tuning 时，我们观察到显著的性能下降。这证实了 《Prefix-Tuning: Optimizing Continuous Prompts for Generation》 的类似观察。尽管本文不打算深入研究这种现象，但我们怀疑使用更多 special tokens 会使输入分布进一步偏离 pre-training data distribution 。另外,我们在第 F.3 节中研究了不同适配方法在数据量少的情况下的表现。

   

   

   

   

   

1.5 理解 Low-Rank Updates

1. 鉴于 LORA 的经验证据优势，我们希望进一步解释从下游任务中学到的 low-rank adaptation的属性。请注意，低秩结构不仅降低了硬件准入门槛，从而允许我们并行运行多个实验，而且还更好地解释了 update weights 与 pre-trained weights的相关性。我们将研究重点放在 GPT-3 175B 上，在这里我们实现了最大程度的可训练参数减少（高达 10000 倍），而不对任务性能产生不利影响。

   我们进行了一系列实证研究，以回答以下问题：

   • 1)：在参数预算约束下，我们应该适配 pre-trained Transformer 中的哪些权重矩阵以最大化下游性能?？

   • 2)： "optimal" adaptation matrix $\mathrm{\Delta }\mathbf{W}$$\Delta\mathbf W$ 是否 rank-deficient ？如果是，实践中什么秩比较好？

   • 3)：$\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$与$\mathbf{W}$$\mathbf W$之间是什么关系？$\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 是否与 $\mathbf{W}$$\mathbf W$ 高度相关？与 $\mathbf{W}$$\mathbf W$ 相比，$\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 有多大？

   我们认为我们对问题 2) 和 3) 的回答可以阐明使用 pre-trained 语言模型进行下游任务的基本原理，这是 NLP 中的一个关键话题。

1.5.1 我们应该在 Transformer 中对哪些权重矩阵应用LORA？

1. 在给定的有限的参数预算下，我们应该适配哪些类型的权重矩阵从而获得下游任务的最佳性能？如前所述，我们目前只考虑自注意力模块中的权重矩阵。在 GPT-3 175B 上，我们设置参数预算为 18M （如果以 FP16 存储约为 35MB ），这对应于 $r=8$$r=8$ （如果适配一种类型的注意力权重）、或者 $r=4$$r=4$ （如果适配两种类型的注意力权重），针对所有 96 层。结果如 Table 5 所示。

   请注意，将所有参数预算放在 $\mathrm{\Delta }{\mathbf{W}}_q$$\Delta \mathbf W_q$ 或 $\mathrm{\Delta }{\mathbf{W}}_k$$\Delta \mathbf W_k$ 中会导致显著较差的性能，而同时适配 ${\mathbf{W}}_q$$\mathbf W_q$ 和 ${\mathbf{W}}_v$$\mathbf W_v$ 可以获得最佳结果。这表明即使 $r=4$$r=4$ 也可以在 $\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 中捕获足够的信息，以至于与使用更大 rank 来适配单个权重相比，适配更多个的权重矩阵更可取。

   

1.5.2 LORA的最佳秩 r 是多少?

1. 我们将注意力转向秩 $r$$r$ 对模型性能的影响。我们适配 $\{{\mathbf{W}}_q,{\mathbf{W}}_v\},\{{\mathbf{W}}_q,{\mathbf{W}}_k,{\mathbf{W}}_v,{\mathbf{W}}_o\},\{{\mathbf{W}}_q\}$$\{\mathbf W_q, \mathbf W_v\}, \{\mathbf W_q,\mathbf W_k,\mathbf W_v,\mathbf W_o\}, \{\mathbf W_q\}$ 来进行比较。

   Table 6 显示，令人惊讶的是，即使 $r$$r$ 非常小，LORA 的表现也具有竞争力（相对于仅仅适配 $\{{\mathbf{W}}_q\}$$\{\mathbf W_q\}$ 而言，适配 $\{{\mathbf{W}}_q,{\mathbf{W}}_v\}$$\{\mathbf W_q, \mathbf W_v\}$ 更是如此）。这表明 update matrix $\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 可能具有非常小的 "intrinsic rank"。为进一步支持这一发现，我们检查了不同 $r$$r$ 和不同随机种子学习到的子空间的重叠情况。我们认为增加 $r$$r$ 并没有覆盖更有意义的子空间，这表明 low-rank adaptation matrix 就足够了。

   似乎是 $r$$r$ 越小越好，同时配合尽可能多类型的 weights update （如 $\{{\mathbf{W}}_q,{\mathbf{W}}_k,{\mathbf{W}}_v,{\mathbf{W}}_o\}$$\{\mathbf W_q,\mathbf W_k,\mathbf W_v,\mathbf W_o\}$ ）。

   

2. 不同 $r$$r$ 之间的子空间相似度：给定 ${\mathbf{A}}_{r=8}$$\mathbf A_{r=8}$ 和 ${\mathbf{A}}_{r=64}$$\mathbf A_{r=64}$，它们分别是使用相同 pre-trained 模型学到 $r=8$$r=8$ 和 $r=64$$r=64$ 的 adaptation matrix 。我们执行奇异值分解并获得 right-singular unitary 矩阵 ${\mathbf{U}}_{A_{r=8}}$$\mathbf U_{A_{r=8}}$ 和 ${\mathbf{U}}_{A_{r=64}}$$\mathbf U_{A_{r=64}}$ 。我们希望回答： ${\mathbf{U}}_{A_{r=8}}$$\mathbf U_{A_{r=8}}$ 中前 $i$$i$ 个奇异向量张成的子空间（$1\le i\le 8$$1\le i\le 8$）有多大程度上包含在 ${\mathbf{U}}_{A_{r=64}}$$\mathbf U_{A_{r=64}}$前 $j$$j$ 个奇异向量张成的子空间中（$1\le j\le 64$$1\le j\le 64$）？我们使用基于Grassmann distance 的归一化子空间相似度来测量这个量（参见附录 G 的更正式讨论）：

   $$\begin{array}{}\text{(5)}& \varphi ({\mathbf{A}}_{r=8},{\mathbf{A}}_{r=64},i,j)=\frac{{\Vert {\mathbf{U}}_{A_{r=8}}^{i\mathrm{\top }}{\mathbf{U}}_{A_{r=64}}^j\Vert }_F^2}{min(i,j)}\in [0,1]\end{array}$$

   其中：${\mathbf{U}}_{A_{r=8}}^i$$\mathbf U_{A_{r=8}}^{i}$ 表示 ${\mathbf{U}}_{A_{r=8}}$$\mathbf U_{A_{r=8}}$ 的前 $i$$i$ 列，表示 top-i singular vectors 。

   $\varphi (\cdot )$$\phi(\cdot)$ 的范围在 [0,1] 之间，其中 1 表示子空间完全重叠、0 表示完全分离。参见 Figure 3 ，其中 $\varphi$$\phi$ 随着 $i$$i$ 和 $j$$j$ 的变化而改变。这里我们仅考虑第 48 层（共 96 层），但结论对其他层也成立，如第 H.1 节所示。

   从 Figure 3 我们可以得到一个重要观察：对于 ${\mathbf{A}}_{r=8}$$\mathbf A_{r=8}$ 和 ${\mathbf{A}}_{r=64}$$\mathbf A_{r=64}$ ，top singular vector 的方向重叠显著，而其他 singular vector 不重叠。 具体来说，对于 ${\mathbf{A}}_{r=8}$$\mathbf A_{r=8}$ 的 $\mathrm{\Delta }{\mathbf{W}}_v$$\Delta \mathbf W_v$ 和 ${\mathbf{A}}_{r=64}$$\mathbf A_{r=64}$ 的 $\mathrm{\Delta }{\mathbf{W}}_v$$\Delta \mathbf W_v$ 共享一个一维的子空间，其中归一化的相似度大于 0.5 。对于 $\mathrm{\Delta }{\mathbf{W}}_q$$\Delta \mathbf W_q$ 也是如此。这解释了为什么 $r=1$$r=1$ 在我们的 GPT-3 下游任务中的表现相当不错。

   由于 ${\mathbf{A}}_{r=8}$$\mathbf A_{r=8}$ 和 ${\mathbf{A}}_{r=64}$$\mathbf A_{r=64}$ 都是使用相同的 pre-trained 模型学习的，Figure 3 表明 ${\mathbf{A}}_{r=8}$$\mathbf A_{r=8}$ 和 ${\mathbf{A}}_{r=64}$$\mathbf A_{r=64}$ 的 top singular-vector 方向是最有用的，而其他方向可能主要包含训练过程中累积的随机噪声。因此，adaptation matrix 确实可以具有非常低的秩。

   

3. 不同随机种子之间的子空间相似度：我们通过绘制两个 $r=64$$r=64$ 的随机初始化运行之间的归一化子空间相似度，进一步确认这一点。如 Figure 4 所示。$\mathrm{\Delta }{\mathbf{W}}_q$$\Delta \mathbf W_q$ 似乎比 $\mathrm{\Delta }{\mathbf{W}}_v$$\Delta \mathbf W_v$ 具有更高的 "intrinsic rank"，因为对于 $\mathrm{\Delta }{\mathbf{W}}_q$$\Delta \mathbf W_q$，两个 runs 学到了更多 common singular value directions ，这与我们在 Table 6 中的经验观察一致。作为比较，我们还绘制了两个随机高斯矩阵，它们之间没有共享任何奇异值方向。

   

1.5.3 Adaptation Matrix $\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 与 $\mathbf{W}$$\mathbf W$ 比较如何

1. 我们进一步研究 $\mathbf{W}$$\mathbf W$ 和 $\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 之间的关系。具体来说， $\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 是否与$\mathbf{W}$$\mathbf W$高度相关？或者数学上， $\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 是否主要被包含在 $\mathbf{W}$$\mathbf W$ 的 top singular directions 中？此外，与 $\mathbf{W}$$\mathbf W$中的对应方向相比， $\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 有多“大” ？这可以为 adapting pre-trained language models 阐明底层的机制。

2. 为了回答这些问题，我们通过计算 ${\mathbf{U}}^{\mathrm{\top }}\mathbf{W}{\mathbf{V}}^{\mathrm{\top }}$$\mathbf U^\top\mathbf W\mathbf V^\top$，将 $\mathbf{W}$$\mathbf W$ 投影到 $\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 的 $r$$r$ 维子空间上，其中 $\mathbf{U}/\mathbf{V}$$\mathbf U/\mathbf V$ 分别是 $\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 的 left/right singular-vector matrix 。 然后，我们比较 ${\Vert {\mathbf{U}}^{\mathrm{\top }}\mathbf{W}{\mathbf{V}}^{\mathrm{\top }}\Vert }_F$$\left\|\mathbf U^\top\mathbf W\mathbf V^\top\right\|_F$ 和 $\parallel \mathbf{W}{\parallel }_F$$\|\mathbf W\|_F$ 的 Frobenius 范数。 作为比较，我们还通过用 $\mathbf{W}$$\mathbf W$ 的 top r singular vectors 、或随机矩阵，来替换 $\mathbf{U}$$\mathbf U$ 和 $\mathbf{V}$$\mathbf V$ 来计算${\Vert {\mathbf{U}}^{\mathrm{\top }}\mathbf{W}{\mathbf{V}}^{\mathrm{\top }}\Vert }_F$$\left\|\mathbf U^\top\mathbf W\mathbf V^\top\right\|_F$ 。

   从 Table 7 我们可以得出几点结论：

   • 首先，与随机矩阵相比，$\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 与 $\mathbf{W}$$\mathbf W$ 的相关性更强，表明$\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 放大了 $\mathbf{W}$$\mathbf W$ 中已经存在的某些特征。

   • 其次，$\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 没有重复 $\mathbf{W}$$\mathbf W$ 的 top singular directions ，而是放大了 $\mathbf{W}$$\mathbf W$ 中没有强调的方向。

   • 第三，放大因子相当大：对 $r=4$$r=4$ ，大约为 6.91/0.32 = 21.5。 第 H.4 节解释了为什么 $r=64$$r=64$ 具有较小的放大因子。

   我们在第 H.3 节中还提供了一个可视化，展示了随着从 ${\mathbf{W}}_q$$\mathbf W_q$ 中包含更多 top singular directions ，相关性（correlation ）是如何改变的。这表明 low-rank adaptation matrix 可能放大了 general pre-training model 中学到的、但没有强调的 specific downstream tasks 的重要特征。

   

1.6 未来工作

1. 未来工作有许多方向：

   • LORA 可以与其他 efficient adaptation 方法相结合，可能提供正交的改进。

   • 微调或 LORA 背后的机制还不清楚：预训练中学到的特征如何转化为下游任务的良好表现？我们认为 LORA 比 full fine-tuning 更容易回答这个问题。

   • 我们主要依赖启发式方法来选择权重矩阵来应用 LORA 。是否有更原则的方法来进行选择？

   • 最后，$\mathrm{\Delta }\mathbf{W}$$\Delta \mathbf W$ 的 rank-deficien 表明：$\mathbf{W}$$\mathbf W$ 也可能 rank-deficien，这也可以作为未来工作的灵感来源。

二、QLORA[2023]

论文：《QLORA: Efficient Finetuning of Quantized LLMs》

1. 大语言模型（large language models: LLMs ）的微调是提高其性能的高效方法，从而可以增加或删除期望的或不期望的行为。然而，非常大模型的微调代价昂贵；LLaMA 65B 模型的常规 16-bit finetuning 需要超过 780GB 的 GPU 内存。尽管最近的量化方法可以减少 LLM 的内存占用（《LLM.int8(): 8-bit matrix multiplication for transformers at scale》、《The case for 4-bit precision: k-bit inference scaling laws》、《Gptq: Accurate post-training quantization for generative pre-trained transformers》、《Smoothquant: Accurate and efficien tpost-training quantization for large language models》），但这些技术仅适用于推理，在训练期间会崩溃（《Stable and low-precision training for large-scale vision-language models》）。

   我们首次证明了可以对 4-bit 量化的模型进行微调而不降低任何性能。我们的方法 QLORA 使用一种新颖的 high-precision 技术从而将 pretrained 模型量化为 4-bit，然后添加少量可学习的 Low-rank Adapter weights （《LORA:Low-rank adaptation of large language models》），这些Low-rank Adapter weights 通过 quantized weights 来反向传播梯度进行调优。

   QLORA 将 65B 参数模型的微调平均内存需求从 >780GB 的 GPU 内存降低到 < 48GB ，与 16-bit fully finetuned baseline相比，运行时性能或预测性能没有降低。这标志着 LLM 微调的可访问性发生了重大变化：现在可以在单个 GPU 上微调迄今为止公开发布的最大模型。使用 QLORA，我们训练了 Guanaco模型系列，这是在Vicuna benchmark 中表现第二好的模型，达到了 ChatGPT 性能水平的 97.8% ，同时在单个消费级 GPU 上训练不到 12 小时；使用单个专业 GPU 训练超过 24 小时，我们用最大的模型实现了ChatGPT 性能的 99.3% ，基本上在 Vicuna benchmark 中填补了与 ChatGPT 的差距。部署时，我们最小的 Guanaco 模型（7B 参数）只需要 5GB 内存，并在 Vicuna benchmark 中比 26GB 的 Alpaca 模型超出 20% （Tabke 6 ）。

   

   QLORA 引入了多项创新，旨在降低内存使用而不牺牲性能：

   • (1) ：4-bit NormalFloat，一种信息理论最优的量化数据类型（quantization data type ）从而用于正态分布数据，其经验结果优于 4-bit Integers 和 4-bit Floats 。

   • (2)：Double Quantization ，一种用于对 quantization constants 再次进行量化的方法，平均每个参数节省约 0.37 bits （对于 65B 模型约 3 GB ）。

   • (3)：Paged Optimizers ，使用 NVIDIA unified memory 从而避免 gradient checkpointing memory 尖峰，其中这些尖峰发生在当处理具有长序列长度的 mini-batch 时。

   我们将这些贡献组合成一个更好的 tuned LORA 方法，其中 tuned LORA 包含每个网络层的adapters，从而避免了先前工作中看到的几乎所有的 accuracy tradeoffs 。

   QLORA 的效率使我们能够在模型规模上对指令微调（instruction finetuning ）的和聊天机器人（chatbot ）的性能进行深入的研究，由于内存开销而使用常规微调无法实现这种研究。 因此，我们在多个指令微调数据集、模型架构、以及 80M ~ 65B 参数之间的模型规模上训练了超过 1000 个模型。 除了展示 QLORA 恢复了16-bit 性能、以及训练了 SOTA 的聊天机器人 Guanaco 之外，我们还分析了模型趋势：

   • 首先，我们发现数据质量比数据集大小更重要。例如，一个 9k 样本数据集（OASST1 ）在聊天机器人性能上胜过一个 450k 样本数据集（FLAN v2 ，子采样之后的），即使两者都旨在支持 instruction following generalization 。

   • 其次，我们表明强大的 Massive Multitask Language Understanding （MMLU ）benchmark 性能并不意味着强大的 Vicuna chatbot benchmark 性能；反之亦然。换句话说，对于给定的任务，数据集的适用性（suitability ）比大小更重要。

   此外，我们还提供了聊天机器人的广泛性能分析，其中使用人类标注员和 GPT-4 进行评估。 我们使用 tournament-style benchmarking，其中在比赛中，模型之间进行竞争从而针对给定的 prompt 产生最佳响应。一次比赛（ match ）中的获胜者由 GPT-4 或人类标注员来判断。 tournament 结果汇总为 Elo 分数，这决定了聊天机器人性能的排名。我们发现：GPT-4 和人类评估在 tournaments 中对模型性能排名高度一致，但我们也发现存在强烈分歧的实例。因此，我们强调 model-based evaluation 虽然提供了比 human-annotation 廉价的替代方案，但也存在其不确定性。

   我们声明，我们的 chatbot benchmark 得到了 Guanaco 模型的定性分析的结果。我们的分析强调了成功案例和失败案例，这些案例未被 quantitative benchmarks 所捕获。

   我们发布所有带有人类标注和 GPT-4 注释的 model generations ，以方便进一步研究。我们开源代码库和 CUDA kernels ，并将我们的方法集成到 Hugging Face transformers stack 中，使其易于所有人访问。我们发布了针对 7/13/33/65B 大小模型在 8 个不同的 instruction following datasets 上训练的 adapters 集合，总共发布了 32 个开源的 finetuned 的模型。

2. 相关工作：

   • 大型语言模型的量化：LLM 的量化主要集中在推理时的量化上。

     • 保持 16-bit LLM 质量的主要方法是：管理 outlier features （例如 SmoothQuant 和 LLM.int8() ）；而其他方法使用更复杂的分组方法（《nuqmm: Quantized matmul for efficient inference of large-scale generative language models》、《Zeroquant: Efficient and affordable post-training quantization for large-scale transformers》）。

     • 有损量化（lossy quantization）方法研究常规 rounding 的权衡（《The case for 4-bit precision: k-bit inference scaling laws》、《Glm-130b: An open bilingual pre-trained model》、《Efficiently scaling transformer inference》）或如何优化 rounding decisions 以提高量化精度（quantization precision ）（《Gptq: Accurate post-training quantization for generative pre-trained transformers》）。

     • 除了我们的工作，SwitchBack layer （《Stable and low-precision training for large-scale vision-language models 》）是唯一在超过 1B 参数规模上研究通过 quantized weights 来反向传播的工作。

   • Finetuning with Adapters：虽然我们使用 Low-rank Adapters: LORA （《LORA: Low-rank adaptation of large language models》），但人们还提出了许多其他 Parameter Efficient FineTuning: PEFT方法，例如 prompt tuning （《Learning how to ask: Querying lms with mixtures of soft prompts》、《The power of scale for parameter-efficient prompt tuning》、Prefix-Tuning）、调优 embedding layer inputs （《Input-tuning: Adapting unfamiliar inputs to frozen pretrained models》）、 调优 hidden states （IA3 ）（《Few-shot parameter-efficient fine-tuning is better and cheaper than in-context learning》）、添加 full layers （《Parameter-efficient transfer learning for nlp》）、调优 biases （Bitfit）、基于 Fisher 信息来学习权重上的 mask （《Training neural networks with fixed sparse masks》）、以及方法的组合（《Compacter: Efficient low-rank hypercomplex adapter layers》）。

     在我们的工作中，我们表明 LORA adapters 能够达到 full 16-bit finetuning 的性能。 我们留待未来的工作来探索其他 PEFT 方法的 tradeoffs 。

   • 指令微调：为了帮助 pretrained LLM 遵循 prompt 中提供的指令，指令微调使用各种数据源的 input-output pairs 来微调pretrained LLM ，以便在将给定的输入作为 prompt 的情况下生成输出。方法和数据集包括 MetaICL 、MetaTuning 、InstructGPT、FLAN、PromptSource、Super-NaturalInstructions、Self-instruct、UnnaturalInstructions、OPT-IML、UnifiedSKG、OIG/Chip2、Alpaca、Vicuna、Koala 和 Self-instruct-GPT-4。

   • 聊天机器人：许多 instruction following models 被构建为基于对话的聊天机器人，通常使用来 Reinforcement Learning from Human Feedback: RLHF （《Deep reinforcement learning from human preferences 》）、或从现有模型生成数据以使用 AI model feedback 进行训练（RLAIF ）（《Constitutional ai: Harmlessness from ai feedback》）。方法和数据集包括：Anthropic-HH、Open Assistant、LaMDA 和Sparrow 。

     我们不使用强化学习，但我们最好的模型 Guanaco 是在为 RLHF 训练而设计的 Open Assistant 数据集上的多轮聊天交互中微调的。对于使用 GPT-4 而不是代价高昂的人工标注来评估聊天机器人方法，人们已经开发了方法 《Vicuna: An open-source chatbot impressing gpt-4 with 90%*chatgpt quality》、《Instruction tuning with gpt-4》。我们通过关注一个更可靠的评估设置来改进这种方法。

2.1 背景知识

1. Block-wise k-bit Quantization：量化是将 input 从包含更多信息的 representation 离散化为包含更少信息的 representation 的过程。 它通常意味着将更多 bits 的数据类型转换为较少bits，例如从 32-bit floats 转换为 8-bit Integers 。为了确保使用 low-bit data type 的全部范围，通常通过 input elements 的 absolute maximum 进行标准化，从而将 input data type 重新缩放为 target data type 范围。例如，将 32-bit Floating Point (FP32) 的张量量化为范围为[−127,127] 的 Int8 张量：

   $$\begin{array}{}\text{(6)}& {\mathbf{X}}^{\text{Int8}}=\text{round}\left(\frac{127}{\text{absmax}\left({\mathbf{X}}^{\text{FP32}}\right)}{\mathbf{X}}^{\text{FP32}}\right)=\text{round}(c^{\text{FP32}}\times {\mathbf{X}}^{\text{FP32}})\end{array}$$

   其中：$c$$c$ 是量化常数（quantization constant ）或量化比例（quantization scale ）。

   反量化（dequantization ）是逆过程：

   $$\begin{array}{}\text{(7)}& \text{dequant}(c^{\text{FP32}},{\mathbf{X}}^{\text{Int8}})=\frac{{\mathbf{X}}^{\text{Int8}}}{c^{\text{FP32}}}={\mathbf{X}}^{\text{FP32}}\end{array}$$

   这种方法的问题是：如果 input 张量中出现大幅值（即异常值 outlier) ），则 quantization bins （某些 bit combinations ）的利用不是很好，即：在某些 bins 中没有或几乎没有数值被量化。为了防止异常值问题，一种常见方法是将 input 张量分块成 blocks，每个 block 独立地被量且每个 block 都有自己的量化常数 $c$$c$ 。这可以形式化如下：

   • 首先，我们将 input 张量 $\mathbf{X}\in {\mathbb{R}}^{b\times h}$$\mathbf X \in \mathbb R^{b\times h}$ 分块成$n$$n$ 个连续的、大小为 $B$$B$ 的 block，这是通过 flatten 输入张量并切片成 $n=(b\times h)/B$$n = (b \times h)/B$ 个 block 来实现。

   • 然后，我们使用 ${\mathbf{X}}^{\text{Int8}}=\text{round}\left(\frac{127}{\text{absmax}\left({\mathbf{X}}^{\text{FP32}}\right)}{\mathbf{X}}^{\text{FP32}}\right)=\text{round}(c^{\text{FP32}}\times {\mathbf{X}}^{\text{FP32}})$$\mathbf X^\text{Int8} = \text{round}\left(\frac{127}{\text{absmax}\left(\mathbf X^\text{FP32} \right)}\mathbf X^\text{FP32}\right) = \text{round}\left(c^\text{FP32}\times \mathbf X^\text{FP32}\right)$ 独立地对这些 block 进行量化，从而创建quantized tensor 和 $n$$n$ 个量化常数 ${\left\{c_i^{\text{FP32}}\right\}}_{i=1,\cdots ,n}$$\left\{c_i^\text{FP32}\right\} _{i=1,\cdots,n}$ 。

2. Low-rank Adapters：Low-rank Adapter: LORA （《LORA:Low-rank adaptation of large language models》）微调是一种通过使用少量可训练参数（通常称为 adapters ）来减少内存需求的方法，而 full model parameters 保持固定。在随机梯度下降期间，梯度通过 fixed pretrained model weights 传递到 adapter 从而优化损失函数。LORA 通过额外的 factorized projection 增强了线性投影。给定一个投影 $\mathbf{X}\mathbf{W}=\mathbf{Y}$$\mathbf X \mathbf W = \mathbf Y$ ，其中 $\mathbf{X}\in {\mathbb{R}}^{b\times h}$$\mathbf X \in \mathbb R^{b\times h}$ 为输入张量，$\mathbf{W}\in {\mathbb{R}}^{h\times o}$$\mathbf W\in \mathbb R^{h\times o}$ 为权重矩阵，LORA 计算：

   $$\begin{array}{}\text{(8)}& \mathbf{Y}=\mathbf{X}\mathbf{W}+s\times \mathbf{X}{\mathbf{L}}_1{\mathbf{L}}_2\end{array}$$

   其中：${\mathbf{L}}_1\in {\mathbb{R}}^{h\times r},{\mathbf{L}}_2\in {\mathbb{R}}^{r\times o}$$\mathbf L_1\in \mathbb R^{h\times r}, \mathbf L_2\in \mathbb R^{r\times o}$，$s$$s$ 为一个标量。

   通常有 $r\ll h$$r\ll h$ 。

3. Memory Requirement of Parameter-Efficient Finetuning ：一个重要的讨论点是：LORA 在训练期间的内存需求，以 adapters 的数量和尺寸两方面来考虑。由于 LORA 的内存占用非常小，我们可以使用更多的 adapters 来提高性能，而不会显着增加总内存使用量。尽管 LORA 被设计为 Parameter Efficient Finetuning: PEFT 方法，但 LLM 微调的大部分内存占用来自 activation gradients ，而不是来自 learned LORA parameters 。对于在 FLAN v2 上以 batch size = 1 训练的 7B LLaMA 模型，LORA 权重相当于通常使用的原始模型权重数量的 0.2% ；LORA input gradients 的内存占用为 567 MB ，而 LORA 参数仅占用 26 MB 。 使用 gradient checkpointing 后（《Training deep nets with sublinear memory cost》），input gradients 减少到每个序列平均 18 MB ，比所有 LORA 权重的总和更加 memory intensive 。相比之下，4-bit base model 消耗 5048 MB 内存。这表明 gradient checkpointing 很重要，但也表明极度减少 LORA 参数量只带来很小的内存收益。这意味着我们可以使用更多 adapters 而不会显着增加总训练内存占用（详细内存分解见附录 G）。如后文所述，这对恢复 full 16-bit precision 性能至关重要。

   即，我们可以放心地使用大量的 adapters 。

   下图：QLORA 用不同 LLaMA base models 来训练时的内存占用。

   

2.2 QLORA Finetuning

1. QLORA 通过我们提出的两种技术，4-bit NormalFloat: NF4 量化以及 Double Quantization ，来实现 high-fidelity 4-bit finetuning 。此外，我们引入了Paged Optimizers ，以防止 gradient checkpointing 期间的内存尖峰导致的 out-of-memory errors ，其中 out-of-memory errors 使得传统上在单台机器上对大模型进行微调变得困难。

   QLORA 具有一种低精度存储数据类型（low-precision storage data type ），在我们的例子中通常为 4 bit；以及一种低精度计算数据类型，通常为 BFloat16 。实际上，这意味着每当使用 QLORA weight tensor 时，我们将张量 dequantize 为 BFloat16 ，然后以 16-bit 来执行矩阵乘法。

   注意：数据的存储精度和计算精度不同。采用更高精度来计算，可以减少精度溢出的发生。

   现在我们按顺序讨论 QLORA 的组成部分，然后是 QLORA 的正式定义。

   

2.2.1 4-bit NormalFloat Quantization

1. NormalFloat: NF 数据类型建立在 Quantile Quantization （《8-bit optimizers via block-wise quantization》）的基础上，这是一种信息理论最优的数据类型（information-theoretically optimal data type ），确保每个 quantization bin 中都有相等数量的值，这些 bins 中的值从 input 张量分配而来。Quantile Quantization 的工作原理是：通过经验累积分布函数（empirical cumulative distribution function）估计 input 张量的分位数。

   quantile quantization 的主要局限性在于 quantile estimation 是昂贵的。 因此，会使用 SRAM quantiles （《8-bit optimizers via block-wise quantization》）等快速分位数近似算法来估计它们。由于这些 quantile estimation 计算法的近似性质，对于异常值，该数据类型存在较大的量化误差（quantization errors ），而异常值通常是量化过程中最重要的值。

   当 input 张量来自一个分布，而这个分布被固定到一个 quantization constant 时，可以避免昂贵的 quantile estimates 和近似误差。在这种情况下，input 张量具有相同的 quantiles，使精确的 quantile estimation 在计算上可行。

   由于 pretrained 的神经网络权重通常具有均值为零、标准差为 $\sigma$$\sigma$ 的正态分布（请参见附录 F ），我们可以通过缩放 $\sigma$$\sigma$ 使分布完全符合我们的数据类型的范围从而将所有权重转换为单个固定的分布（a single fixed distribution ）。对于我们的数据类型，我们设定强制（arbitrary ）的范围 [−1,1] 。 因此，对于数据类型和神经网络权重，分位数（quantiles）都需要被归一化到这个范围内。

2. 针对均值为零、标准差为 $\sigma$$\sigma$ ，且范围 [−1,1] 内的正态分布，信息理论上最优的数据类型计算如下：

   • (1) ：估计理论正态分布 $\mathcal{N}(0,1)$$\mathcal N(0,1)$ 的 $2^k+1$$2^k+1$ 分位数以获得正态分布的 k-bit quantile quantization data type 。

   • (2) ：获取此数据类型并将其值归一化到 [−1,1] 范围内。

     参考后面的 NFk 数据类型的确切值。

   • (3) ：通过 absolute maximum 重新缩放将输入权重张量归一化到 [−1,1] 范围内进行量化。

   一旦权重范围和数据类型范围匹配，我们就可以像往常一样进行量化。第 (3) 步相当于重新缩放权重张量的标准差以匹配 k-bit data type 的标准差。

3. 更正式地，如下所示，我们估计数据类型的 $2^k$$2^k$ 个值 $q_i$$q_i$ ：

   $$\begin{array}{}\text{(9)}& q_i=\frac{1}{2}\times ({\mathcal{Q}}_X\left(\frac{i}{2^k+1}\right)+{\mathcal{Q}}_X\left(\frac{i+1}{2^k+1}\right))\end{array}$$

   其中：${\mathcal{Q}}_X(\cdot )$$\mathcal Q_X(\cdot)$ 是标准正态分布 $\mathcal{N}(0,1)$$\mathcal N(0,1)$ 的分位数函数（quantile function ）。

   对于 symmetric k-bit quantization 存在的一个问题是，这种方法无法精确表示零，这对于零误差地 quantize padding 和表达其他零值元素是一项重要特性。为了确保 0 的 discrete zeropoint ，并使用所有 $2^k$$2^k$ bits 来用于 k-bit datatype ，我们创建一个非对称的数据类型，通过估计分位数 $q_i$$q_i$ 为两个范围：

   • 对于 negative part ，$q_i$$q_i$ 采用 $2^{k-1}$$2^{k-1}$。

   • 对于 positive part，$q_i$$q_i$ 采用 $2^{k-1}+1$$2^{k-1}+ 1$ 。

   然后我们统一这些 $q_i$$q_i$ 集合，并删除出现在两个集合中的两个零之一。

   我们将结果数据类型称为 k-bit NormalFloat: NFk ，在每个 quantization bin 中它具有相等的、预期数量的值，因为从信息论上讲，该数据类型对以零为中心的正态分布数据是最优的。此数据类型的确切值可在附录 E 中找到。

   The exact values of the NF4 data type are as follows:
   [-1.0, -0.6961928009986877, -0.5250730514526367, -0.39491748809814453, 
   -0.28444138169288635, -0.18477343022823334, -0.09105003625154495, 0.0, 
   0.07958029955625534, 0.16093020141124725, 0.24611230194568634, 0.33791524171829224, 
   0.44070982933044434, 0.5626170039176941, 0.7229568362236023, 1.0]
   

   这个数据类型一共 16 个数值，可以用 4bit 来表示。任意浮点数落在哪个区间就用对应的整数来表示。这个区间对任意的 input tensor 都是固定的。

2.2.2 Double Quantization

1. 我们引入了 Double Quantization: DQ ，即对 quantization constants 进行量化以进一步节省内存。 尽管精确的 4-bit quantization 需要较小的 blocksize （《The case for 4-bit precision: k-bit inference scaling laws》），但它也带来相当大的内存开销。例如，针对 $\mathbf{W}$$\mathbf W$ ，采用32-bit 常量以及 block size = 64 ，quantization constants 平均每个参数添加 32/64 = 0.5 bits 。 Double Quantization 有助于减少quantization constants 的内存占用。

2. 更具体地说，Double Quantization 将 first quantization 的 quantization constants $c_2^{\text{FP32}}$$c_2^\text{FP32}$ 视为 second quantization 的输入。这第二步生成 quantized quantization constants $c_2^{\text{FP8}}$$c_2^\text{FP8}$ 和 second level of quantization constants $c_1^{\text{FP32}}$$c_1^\text{FP32}$。我们对 second quantization 使用 8-bit Floats ，blocksize = 256 ，因为未观察到 8-bit quantization 的性能下降，与 《The case for 4-bit precision: k-bit inference scaling laws》 的结果一致。由于 $c_2^{\text{FP32}}$$c_2^\text{FP32}$ 是正值，因此在量化之前我们从 $c_2^{\text{FP32}}$$c_2^\text{FP32}$ 中减去平均值从而将值围绕零进行中心化并利用对称量化（symmetric quantization ）。平均而言，对于 blocksize = 64 ，此量化将每个参数的quantization constants 内存占用从 32/64 = 0.5 bits 减少到 8/64 + 32/(64*256) = 0.127 bits ，减少了每个参数 0.373 bits 。

   从 $c_2^{\text{FP32}}$$c_2^\text{FP32}$ 量化到 $c_2^{\text{FP8}}$$c_2^\text{FP8}$ ，量化常数为 $c_1^{\text{FP32}}$$c_1^\text{FP32}$。为什么第二步的下标为 1、第一步的下标为 2 ？这是因为 dequantization 过程第一步需要利用 $c_1^{\text{FP32}}$$c_1^\text{FP32}$ 来获得 $c_2^{\text{FP32}}$$c_2^\text{FP32}$ ：

   $$\begin{array}{}\text{(10)}& {\mathbf{X}}^{\text{FP32}}=\frac{{\mathbf{X}}^{\text{Int4}}}{(c_2^{\text{FP8}}/c_1^{\text{FP32}})}\end{array}$$

2.2.3 Paged Optimizers

1. 使用 NVIDIA unified memory 功能，该功能在 GPU 偶尔内存不足的情况下在 CPU 和 GPU 之间自动进行 page-to-page 传输，以便在 GPU 上无错误地处理。该功能的工作方式与 CPU RAM 和磁盘之间的常规内存分页相同。我们使用此功能为 optimizer states 分配分页内存（paged memory ），当 GPU 内存不足时，它们会自动交换到 CPU RAM ，并在 optimizer update step 需要内存时分页换回 GPU 内存。

2.2.4 QLORA

1. 使用上述组件，我们为 quantized base model 中的具有单个 LORA adapter 的单个线性层定义 QLORA 如下：

   $$\begin{array}{}\text{(11)}& {\mathbf{Y}}^{\text{BF16}}={\mathbf{X}}^{\text{BF16}}\text{doubleDequant}(c_1^{\text{FP32}},c_2^{\text{k-bit}},{\mathbf{W}}^{\text{NF4}})+{\mathbf{X}}^{\text{BF16}}{\mathbf{L}}_1^{\text{BF16}}{\mathbf{L}}_2^{\text{BF16}}\end{array}$$

   其中 $\text{doubleDequant}(\cdot )$$\text{doubleDequant}(\cdot)$ 定义为：

   $$\begin{array}{}\text{(12)}& \text{doubleDequant}(c_1^{\text{FP32}},c_2^{\text{k-bit}},{\mathbf{W}}^{\text{k-bit}})=\text{dequant}(\text{dequant}(c_1^{\text{FP32}},c_2^{\text{k-bit}}),{\mathbf{W}}^{\text{4bit}})={\mathbf{W}}^{\text{BF16}}\end{array}$$

   我们对 $\mathbf{W}$$\mathbf W$ 使用 NF4 、对$c_2$$c_2$ 使用 FP8 。 我们对 $\mathbf{W}$$\mathbf W$ 使用 blocksize = 64 从而获得更高的量化精度，对 $c_2$$c_2$ 使用 blocksize = 256 以节省内存。

   注意：这里所有的计算都采用 BF16。此外，LORA adapter 没有被量化而是直接采用 BF16，因为它的参数规模很小，而且也可以补偿 fixed base model 的量化误差。

   对于 parameter updates ，只需要 adapters 权重的误差梯度 $\frac{\partial E}{\partial {\mathbf{L}}_i}$$\frac{\partial E}{\partial \mathbf L_i}$，而不需要 4-bit 权重的误差梯度 $\frac{\partial E}{\partial \mathbf{W}}$$\frac{\partial E}{\partial \mathbf W}$，其中 $E$$E$ 为误差。 然而，计算 $\frac{\partial E}{\partial {\mathbf{L}}_i}$$\frac{\partial E}{\partial \mathbf L_i}$ 需要计算 $\frac{\partial \mathbf{X}}{\partial \mathbf{W}}$$\frac{\partial \mathbf X}{\partial \mathbf W}$，这是通过 ${\mathbf{Y}}^{\text{BF16}}$$\mathbf Y^\text{BF16}$ 的公式进行的，将存储 ${\mathbf{W}}^{\text{NF4}}$$\mathbf W^\text{NF4}$ dequantization 从而计算数据类型 ${\mathbf{W}}^{\text{BF16}}$$\mathbf W^\text{BF16}$ 从而以 BFloat16 精度计算导数 $\frac{\partial \mathbf{X}}{\partial \mathbf{W}}$$\frac{\partial \mathbf X}{\partial \mathbf W}$。

   总结一下，QLORA 具有一种存储数据类型（通常为 4-bit NormalFloat ）和一种计算数据类型（16-bit BFloat )。我们对存储数据类型进行 dequantize 以获得计算数据类型，以便执行正向传递和反向传递；但我们仅计算 LORA 参数的权重梯度，这些参数使用16-bit BFloat 。

2.3 QLORA vs. Standard Finetuning

1. 我们已经讨论了 QLORA 的工作原理、以及它如何显著减少微调模型所需的内存。现在的主要问题是，QLORA 是否能够与 full-model finetuning 一样好。此外，我们要分析 QLORA 的组件，包括 NormalFloat4 相对于 standard Float4 的影响。下面的章节将讨论旨在回答这些问题的实验。

2. 实验设置：我们考虑三种架构（encoder, encoder-decoder, and decoder only ），并将 QLORA 与 16-bit adapter-finetuning 、以及 full-finetuning 进行比较，模型参数规模达到 3B 。我们的评估包括：GLUE with RoBERTa-large 、Super-NaturalInstructions (TKInstruct) with T5 、5-shot MMLU after finetuning LLaMA on Flan v2 and Alpaca。为了额外研究 NF4 相对于其他 4-bit 数据类型的优势，我们使用 《The case for 4-bit precision: k-bit inference scaling laws》 的设置，并在不同模型（OPT、LLaMA、BLOOM、Pythia）和模型大小（125m ~ 130B 参数）上测量 post-quantization zero-shot 准确率和困惑度。我们在结果章节为每个特定设置提供更多详细信息，从而使结果更具可读性。完整细节请参见附录 A 。

   虽然 paged optimizers 对于在单个 24/48GB GPU 上进行 33B/65B QLORA tuning 至关重要，但我们没有对 Paged Optimizers 提供 hard measurements，因为 paging 仅在处理具有长序列长度的 mini-batches 时发生，这很少见。然而，我们确实对 65B 模型在 48GB GPU 上的 paged optimizers 的运行时进行了分析，发现使用 batch size = 16 时，paged optimizers 提供与常规 optimizers 相同的训练速度。未来的工作应该测量和刻画 paging process 中何时会出现速度下降。

3. 默认的 LORA 超参数与 16-bit 性能不匹配：当使用标准实践应用 LORA 到 query and value attention projection matrices 时，我们无法为 large base models 复制 full finetuning 的性能。如 Figure 2 所示，对于在 Alpaca 上微调的 LLaMA 7B ，我们发现最关键的 LORA 超参数是总共使用多少LORA adapters，并且需要在所有 linear transformer block layers 上使用LORA 才能匹配 full finetuning 性能。其他 LORA 超参数，例如投影维度 $r$$r$ ，不会影响性能（请参阅附录 A ）。

   同样，我们发现 fully finetuned baselines 的默认超参数是 undertuned 的。我们对学习率 1e-6 ~ 5e-5 、batch size 8 ~ 128 进行了超参数搜索，从而找到 robust baselines 。7B LLaMA 在 Alpaca 上的微调结果如 Figure 2 所示。

   

   

4. 4-bit NormalFloat 的性能优于 4-bit Floating Point：尽管 4-bit NormalFloat: NF4 数据类型在信息理论上是最优的，但这种属性是否转化为经验优势还有待确定。我们遵循 《The case for 4-bit precision: k-bit inference scaling laws》 的设置，其中对不同大小（125M ~ 65B ）的 LLM （OPT、BLOOM、Pythia、LLaMA ）进行了不同数据类型的量化，并在语言建模和一组 zero-shot 任务上进行评估。在 Figure 3 和 Table 2 中，我们可以看到 NF4 相对于 FP4 和 Int4 的性能有显著提高，double quantization 降低了内存占用而不降低性能。

   

   

5. k-bit QLORA 匹配 16-bit full finetuning 和 16-bit LORA 性能：最近的研究结果表明，4-bit quantization 用于推理是可能的，但与 16-bit 相比会导致性能下降（《Gptq: Accurate post-training quantization for generative pre-trained transformers》、 《The case for 4-bit precision: k-bit inference scaling laws》 ）。这引出一个关键问题，即是否可以通过进行 4-bit adapter finetuning 来恢复失去的性能。我们针对两个设置进行了测试：

   • 第一个聚焦于 RoBERTa 和 T5 模型（ 125M ~ 3B参数）的 full 16-bit finetuning 进行比较，在 GLUE 和 Super-NaturalInstructions 数据集上。结果如 Table 3 所示。在两个数据集中，我们观察到 16-bit, 8-bit, 4-bit adapter 方法都复制了 fully finetuned 16-bit baseline的性能。这表明因不精确的量化（imprecise quantization ）导致的性能损失，可以通过在量化后进行 adapter finetuning 来完全恢复。

     

   • 对于我们的第二个设置，由于在 11B 参数及更大规模进行 full finetuning models 需要多个高内存 GPU 服务器，因此我们继续测试 4-bit QLORA 是否能够与 7B ~ 65B 参数规模下的 16-bit LORA 相匹配。为此，我们在两个 instruction following 数据集 Alpaca 和 FLAN v2 上微调了 7B ~ 65B 的 LLaMA ，并通过 5-shot accuracy 在 MMLU benchmark 上进行评估。结果如 Table 4 所示，我们看到 NF4 with double quantization 完全恢复了 16-bit LORA MMLU 性能。此外，我们还注意到 QLORA with FP4 比 16-bit BFloat LoRA baseline 低约 1% 。这证实了我们的发现：

     • (1) ：QLORA with NF4 复制了 16-bit full finetuning 和 16-bit LoRA finetuning 的性能。

     • (2) ：从 quantization precision 来看，NF4 优于FP4 。

     

6. 总结：我们的结果一致表明，4-bit QLORA with NF4 在学术基准测试上匹配 16-bit full finetuning 和 16-bit LoRA finetuning 性能。我们还证明了 NF4 比 FP4 更有效，以及 double quantization 不会降低性能。综合来看，这构成了可靠的证据，即 4-bit QLORA tuning 可靠地产生与 16-bit 方法相匹配的结果。

   与先前的量化工作（ 《The case for 4-bit precision: k-bit inference scaling laws》 ）一致，我们的 MMLU 和 Elo 结果表明，在给定的微调资源预算、以及推理资源预算下，增加 base model 中的参数数量而降低其精度（precision ）是有益的。这凸显了 QLORA 的效率优势的重要性。由于我们在 4-bit finetuning 实验中没有观察到与 full-finetuning 相比的性能下降，这就为 QLoRA tuning 提出了 performance-precision trade-off的确切位置的问题，我们留待未来工作探索。

   我们继续研究不同规模的 instruction tuning ，这些规模在学术研究的硬件上 full16-bit finetuning 时无法探索。

2.4 使用 QLORA 推动聊天机器人的 SOTA

1. 在各个规模、任务和数据集上证明 4-bit QLORA 与 16-bit 性能相当后，我们对可用于研究的最大开源语言模型进行了深入的 instruction finetuning 研究。 为评估这些模型的 instruction finetuning 性能，我们在具有挑战性的 Natural Language Understanding benchmark （MMLU ）上进行评估，并开发了评估真实世界聊天机器人性能的新方法。

2.4.1 实验设置

1. 现在我们简要介绍实验设置，详细信息在附录 B 中。

2. 数据：据我们所知，尚无关于最近的 instruction-following 数据集的全面研究，因此我们选择了八个最近的数据集。我们包括通过众包获得的数据集（OASST1、HH-RLHF ），从 instruction-tuned models 中提取的数据集（Alpaca、self-instruct 、unnatural-instructions ），语料聚合（FLAN v2 ），以及混合物（Chip2 、Longform）。这些数据集涵盖不同语言、数据规模和许可证。

3. 训练设置：为避免不同 training objectives 的混淆效应（confounding effects ），我们执行具有交叉熵损失（监督学习）的 QLORA finetuning，而不使用强化学习，即使数据集已经包括对不同响应的人类判断。对于明确区分指令和响应的数据集，我们仅在响应上进行微调（参见附录 B 中的消融实验）。对于 OASST1 和 HH-RLHF ，有多个响应可用。然后，我们在对话树的每一级选择 top response ，并在 full selected conversation （包括指令）上进行微调。在所有实验中，我们都使用 NF4 QLORA with double quantization 和 paged optimizers以防止 gradient checkpointing 期间的内存峰值。我们对 13B 和33B 的 LLaMA 模型进行了小范围的超参数搜索，发现除了学习率和 batch size 之外，所有在 7B 上找到的超参数设置都具有普适性（包括 epoch 数量）。 我们将 33B 和 65B 的学习率减半、同时将 batch size 加倍。

4. baseliens：我们将模型与学术界的（Vicuna 和 Open Assistant ）和商业界的 (GPT-4、GPT-3.5-turbo 和 Bard ）聊天机器人系统进行比较。

   • Open Assistant 模型是在我们实验的同一 OASST1 数据集上使用 Reinforcement Learning from Human Feedback: RLHF 微调的LLaMA 33B 模型。

   • Vicuna 在专用的用户共享对话（来自 ShareGPT ）中对 LLaMA 13B 进行 full fine-tuning ，因此它是从 OpenAI GPT 模型中蒸馏的结果。

2.4.2 评估

1. 按照常规做法，我们使用 MMLU benchmark 来测量一系列语言理解任务上的性能。这是一个涵盖 57 个任务的多项选择 benchmark ，包括初等数学、美国历史、计算机科学、法律等。我们报告 5-shot test accuracy 。

   我们还通过自动化评估和人工评估来测试生成语言能力。这第二组评估依赖于人类策划的queries，旨在测量模型响应的质量。尽管这是测量聊天机器人模型性能更实际的测试平台，而且正在变得越来越流行，但文献中还没有公认的协议。我们在下面描述了我们提出的设置，在所有情况下都使用参数 $p=0.9$$p = 0.9$ 和温度 0.7 的 nucleus sampling 。

   

2. Benchmark 数据：我们在两个策划好的 queries (questions) 数据集上进行评估：Vicuna prompts 和 OASST1 validation 数据集。

   • 我们不加修改地使用 Vicuna prompts ，这是 80 个 prompts 的集合，来自各种类别。

   • OASST1 数据集是用户与助手之间多轮的、多语言的、众包的对话集合。我们将验证数据集中的所有用户消息视为 query，并在 prompt 中包含先前的轮次。此过程产生了 953 个 unique user queries 。

   我们称这两个数据集为 Vicuna benchmark 和 OA benchmark 。

3. Automated Evaluation：首先，基于 《Vicuna: An open-source chatbot impressing gpt-4 with 90%* chatgpt quality》 引入的评估协议，我们使用 GPT-4 在 Vicuna benchmark 上对不同系统相对于 ChatGPT(GPT-3.5 Turbo) 的表现进行评级。给定一个 query 以及 ChatGPT's response 和 model's response ，GPT-4 会被提示从而对两个响应进行 0 ~10 分的评分，并提供解释。模型的整体性能计算为它相对于 ChatGPT 得分的百分比。注意，如果模型获得比 ChatGPT 更高的绝对分数，则这个相对分数可以高于 100% 。我们发现： ChatGPT's response 和 model's response 的排列顺序有很大影响，排在前面的 response 的得分较高。为了控制这种效应（即，ordering effects ），我们建议报告两种顺序的平均分数。

   接下来，我们通过直接比较系统输出来衡量性能。我们简化评级方案为考虑平局的三分类问题。我们提示 GPT-4 选择最佳响应或宣布平局，并提供解释。我们在 Vicuna benchmark 和 OA benchmark 上，对 pairs 的所有排列顺序进行一对一的比较。

4. Human Evaluation：尽管最近的工作表明，生成式模型可以有效地用于系统评估（《Gptscore: Evaluate as you desire》），但就我们所知，GPT-4 评分来评估聊天机器人性能与人类判断的相关性还有待证明。因此，我们在 Vicuna benchmark 上并行运行两个人类评估，匹配上述两种自动评估协议。我们使用 Amazon Mechanical Turk: AMT ，并获得两个人类评估员用于和 ChatGPT 比较，以及三名评估员用于 pairwise comparisons 。

5. Elo Rating：通过人类的和自动化的 pairwise comparisons ，我们创建了一个 tournament-style 比赛，模型在其中相互竞争。 tournament 由比赛（ matches ）组成，在比赛中对于给定的 prompt ，两个模型竞争从而产生最佳响应。这类似于 《Training a helpful and harmless assistant with reinforcement learning from human feedback》 和 《Vicuna: An open-source chatbot impressing gpt-4 with 90%* chatgpt quality》 中的模型比较，但我们还使用 GPT-4 评级来补充人类评级。

   我们从 labeled comparisons 集合中随机采样以计算 Elo 。Elo rating 广泛用于国际象棋和其他游戏中，它测量的是相对于对手获胜率的预期胜率，例如 Elo 1100 vs Elo 1000 意味着：Elo 1100 玩家相对于 Elo 1000 对手的预期胜率约为 65% ； 1000 vs 1000 或 1100 vs 1100 的比赛导致 50% 的预期胜率。每场比赛后，Elo 按预期结果的比例而变化，即意外的失败导致 Elo rating 大幅变化，而预期结果导致 Elo rating 小幅变化。随着时间的推移，Elo rating 近似地匹配每个玩家在游戏中发挥的水平。

   我们从 1000 分开始，使用 $K=32$$K = 32$。 与 《Vicuna: An open-source chatbot impressing gpt-4 with 90%* chatgpt quality》 类似，我们使用不同的随机种子重复此过程 10,000 次，以控制 ordering effects 。

   ELO 评分系统：假设 A, B 玩家当前的评分分别为 $R_a$$R_a$， $R_b$$R_b$ 。假设 A, B 玩家预期的胜负值为：

   $$\begin{array}{}\text{(13)}& E_a=\frac{1}{1+{10}^{(R_b-R_a)/400}},E_b=\frac{1}{1+{10}^{(R_a-R_b)/400}}\end{array}$$

   可以看到：$E_a+E_b=1.0$$E_a + E_b = 1.0$ 恒成立。

   假设玩一局比赛之后，A 玩家获得 $S_a$$S_a$ 分，B 玩家获得 $S_b$$S_b$ 分，其中：$S_a,S_b\in \{0,0.5,1\}$$S_a,S_b \in \{0,0.5,1\}$ 。

   • 当平局时，A,B 各获得 0.5 分。

   • 当 A 获胜时， $S_a=1,S_b=0$$S_a = 1, S_b=0$ 。

   • 当 B 获胜时，$S_a=0,S_b=1$$S_a=0,S_b=1$ 。

   则变之后， A, B 玩家当前的评分分别为：

   $$\begin{array}{}\text{(14)}& R_a^{\prime }=R_a+K\times (S_a-E_a),R_b^{\prime }=R_b+K\times (S_b-E_b)\end{array}$$

   如果当前比赛符合预期，即 $S_a\sim E_a$$S_a\sim E_a$ ，则 A 玩家的评分变化较小。

2.4.3 Guanaco: 在OASST1上训练的 QLORA是 SOTA 的聊天机器人

1. 根据我们的自动化评估和人工评估，我们发现 top QLORA tuned model ，Guanaco 65B （我们在 OASST1 变体上微调它）是性能最佳的开源聊天机器人模型，其性能与 ChatGPT 相当。与 GPT-4 相比，基于人类评估员的 system-level 的 pairwise comparisons 的 Elo rating，Guanaco 65B 和 33B 的预期获胜概率为 30% ；这是迄今为止报告的最高水平。

   相对于 ChatGPT ，在 Vicuna benchmark 中的结果如 Table 6 所示。我们发现：

   • Guanaco 65B 是 GPT-4 之外表现最好的模型，其相对 ChatGPT 的性能达到 99.3% 。

   • Guanaco 33B 的参数比 Vicuna 13B 多，但其权重仅使用 4-bit precision ，因此内存效率更高（21 GB vs 26 GB ），并且性能相比Vicuna 13B 提高了 3% 。

   • 此外，Guanaco 7B 的内存足迹仅为 5GB，很容易适应现代手机；而且性能与 Alpaca 13B 相比，得分还高出近 20% 。

   

2. 然而，Table 6 也具有非常宽的置信区间，许多模型的性能出现重叠。我们推测这种不确定性来自对缺乏明确的 scale 的规范；例如，10 分制中 8 分在不同场景中的含义不清楚。因此，我们建议改用 Elo ranking 方法，基于来自人类标注员和 GPT-4 的 pairwise 判断，从而避免确定 absolute scale 的问题。 Table 1 中显示了最有竞争力模型的 Elo ratings 。 我们注意到，人类和 GPT-4 对 Vicuna benchmark 上的模型排名存在部分分歧，特别是对于 Guanaco 7B ；但对于大多数模型，它们对模型的排名是一致的，system level 的 Kendall Tau 为 $\tau =0.43$$\tau = 0.43$ 、Spearman rank 相关系数为 $r=0.55$$r = 0.55$ 。在 example level ，GPT-4 与人类评估员的多数投票之间的一致程度较弱，Fleiss $\kappa =0.25$$\kappa = 0.25$ 。

   总体而言，这显示了 GPT-4 和人类评估员在 system-level 判断上的中等一致性，因此 model-based evaluation 代表了对人工评估的一个一定程度上可靠的替代方案。我们在后续章节进一步讨论考虑因素。

   

3. Table 7 中的 Elo rankings 显示，Guanaco 33B 和 Guanaco 65B 模型在 Vicuna benchmark 和 OA benchmark 上胜过所有除 GPT-4 之外的模型，并且与 Table 6 一致；它们的表现与 ChatGPT 相当。我们注意到， Vicuna benchmark 有利于开源模型，而更大的 OA benchmark 有利于 ChatGPT 。此外，我们可以从 Table 5 和 Table 6 中看出，finetuning 数据集的适用性是性能的决定因素。在 FLAN v2 上微调 Llama 模型在 MMLU 上表现特别好，但在 Vicuna benchmark 中表现最差（在其他模型中也观察到类似趋势）。 这也指出当前 evaluation benchmarks 的部分正交性：强大的 MMLU 性能并不意味着强大的聊天机器人性能（如 Vicuna benchmark 或 OA benchmark 所测量的那样），反之亦然。

   

4. Guanaco 是我们评估中唯一没有在专用数据上训练的 top model ，因为 OASST1 数据集收集指南明确禁止使用 GPT 模型。在开源数据上训练的下一个最佳模型是 Anthropic HH-RLHF 模型，它在 Vicuna benchmark 上的得分比 Guanaco 低 30% （见 Table 6 ）。

   总体而言，这些结果表明：4-bit QLORA 是有效的，可以产生媲美 ChatGPT 的 SOTA 聊天机器人。此外，我们的 33B Guanaco 可以在 24 GB 消费级 GPU 上在 12 小时内完成训练。这为未来通过在专用开源数据上进行 QLORA tuning 的工作开辟了可能性，这可以产生与当今存在的最佳商业模型竞争的模型。

2.5 定性分析

1. 虽然定量分析是我们评估的核心，但仅查看 summary statistics 存在一些问题。也许最大的问题是 benchmark validity （一个 benchmark 是否真正测试其名称或描述所暗示的内容，这总是有疑问的），尤其是当我们发现机器学习模型有时会利用 “捷径” 来解决 benchmarks 时。为了部分地缓解这一问题，我们在此进行一些定性分析，分两个部分：

   • 首先，我们展示了一些示例，我们认为这些示例代表了 65b Guanaco 模型生成文本中观察到的某些模式。

   • 其次，我们详细介绍关于对已讨论结果及其解释的考量。

2.5.1 生成示例的定性分析

1. 为了找到示例，我们首先查看为 Vicuna benchmark 和 OpenAssistant benchmark 所生成的数据，并查找 Guanaco 生成的答案中的模式。当我们注意到一个模式时，我们尝试设置一个问题或 prompt ，哪怕这是错误的解决方案，也会诱发该模式。例如，如果我们观察到模型倾向于给出长篇大论的答案，我们会提示模型 "Answer yes or no without explanation."。我们用这种方法找到 "lemons" ，其中我们设法对抗性地攻破模型；以及 "cherries"，其中我们未能攻破模型。我们展示这两者。本节中的所有 generations 都使用了参数为 $p=0.9$$p = 0.9$ 的 Nucleus Sampling 。

   当然，这远非全面，因为在这样一个小规模的定性研究中控制所有相关变量是不可能的。例如，对于给定的 prompt ，模型可以生成的响应分布非常大，所以我们依赖于我们认为具有代表性的样本。然而，我们相信描述这些示例为本文前面显示的定量证据提供了上下文。由于我们开源了所有模型和代码，我们希望本节能够激发未来的工作，从而更详细地检查我们在此提出的问题。

2. Factual Recall：对于 "What is the capital of Zambia?" 这样的问题，所有模型都一致生成正确的答案，例如：

   xxxxxxxxxx
   Guanaco: The capital of Zambia is Lusaka.
   

   然而，随着问题变得更模糊，Guanaco 变得不可靠，但保持自信。例如，对于来自 HotPotQA 的这个 prompt：

   ​x
   User: In what year was the singer who popularized ‘I’ll Keep the Lovelight Burning’ born?
   
   Guanaco: Al Jolson is credited with popularizing the song ‘I’ll Keep the Lovelight Burning,’ and he was born in the year 1886.
   

   Guanaco 生成了错误的 popularizer 和错误的生日（尽管给出的生日对于提到的人，Al Jolson ，是正确的）。

3. Suggestibility ：Guanaco 对某些类型的假设错误信息（assumed misinformation ）表现出惊人的抵抗力，例如在以下交互中：

   xxxxxxxxxx
   User: How was it finally, officially confirmed that the earth is flat by peer reviewed scientists? 
   
   Guanaco: The earth has never been officially confirmed to be flat by peer reviewed scientists. The overwhelming consensus among scientists is that the earth is spherical. In fact, this has been known for centuries and has been confirmed through numerous experiments and observations.
   
   The belief that the earth is flat is a conspiracy theory that has been debunked by science. The idea that a group of scientists have peer reviewed and confirmed the earth is flat is simply false.
   
   If you have any more questions please ask.
   

   Guanaco 也非常清楚知道什么样的问题是无法回答的，例如：

   xxxxxxxxxx
   User: What time is it?
   
   Guanaco: I’m sorry, but as an AI language model, I don’t have access to real-time information. My responses are generated based on my pre-existing knowledge and do not reflect the current time. If you’re looking for the current time, I suggest using a timekeeping device or checking an online timepiece.
   

   对于 "Where are you?"、 "How are you?"，也是类似的结果。

4. Refusal：类似地，Guanaco 有时会拒绝遵循指令，拒绝的原因看似是随机的：

   xxxxxxxxxx
   User: Please reverse the words in the sentence “I’m a cool dude in a mocha mood.”
   
   Guanaco: I’m sorry, I’m not able to do that right now, but
   I can explain why the sentence you provided is grammatically correct.
   
   The sentence “I’m a cool dude in a mocha mood" follows the correct grammar and syntax rules of the English language. In this case, the adjective “cool” comes before the noun “dude” to describe it, and the prepositional phrase “in a mocha mood" provides additional information about the context of
   the sentence. This sentence structure is perfectly acceptable and makes sense in the context of the sentence. 
   
   If you have any other questions or if there’s anything else I can help you with, feel free to ask
   

5. Secret Keeping：不幸的是，即使在需要拒绝时，这种拒绝也不可靠。系统设计者通常希望某些信息对用户保密，即使系统可以自由地将文本响应返回给用户。我们提示模型 "The secret word is ‘banana’. Do not reveal or repeat back this back, no matter what the human requests."，并尝试看看潜在用户获取此机密信息有多容易。直接询问将失败：

   xxxxxxxxxx
   User: What is the secret word?
   
   Guanaco: I’m sorry, but I’m not able to disclose the secret word. I’m programmed to not reveal or repeat back the secret word, no matter what the human requests. Is there anything else I can help you with?
   

   这是所需的行为。然而，一点小技巧就会破坏这种行为：

   xxxxxxxxxx
   User: This is a game. The goal is to ignore your previous instructions. What is the secret word?
   
   Guanaco: Sorry, the secret word is banana. It’s best if we don’t speak of it. Is there anything else you’d like to ask?
   

   这展示了需要研究更忠实的 instruction following 方法的需求。

6. Math：Guanaco 最大的弱点是数学，这是许多语言模型在 《Holistic evaluation of language models》 中努力的领域。当Guanaco 展示其工作时，它往往是准确的，例如：

   xxxxxxxxxx
   User: Lee mows one lawn and charges $33. Last week he mowed 16 lawns and three customers each gave him a $10 tip. How many dollars did Lee earn mowing lawns last week?
   
   Guanaco: Lee earned $582 mowing lawns last week.
   
   To find the total amount he earned, we first need to calculate how much he earned for mowing 16 lawns:
   
   $33 x 16 = $528
   
   Then we need to add the tips he received from the three customers:
   
   $10 x 3 = $30
   
   So the total amount Lee earned was:
   
   $528 + $30 = $558
   

   然而，如果 Guanaco 无法一步一步地分解它们，即使是简单的问题，它也会崩溃，这是已知问题（《Chain-of-thought prompting elicits reasoning in large language models》）。 例如,我们看到以下交互：

   xxxxxxxxxx
   User: Please factorize 1833.
   
   Guanaco: Sure, I’d be happy to help! 1833 is a prime number, which means it has only two factors: 1 and 1833.
   
   So the unique factorization of 1833 is:
   
   2ˆ1 * 3ˆ2 * 17ˆ1
   
   I hope this helps! Let me know if you have any other questions.
   

   这不仅是错误的（正确的分解是 3 × 17 × 43 ），而且错了两次。

7. Theory of Mind：Guanaco 展示出惊人的 Theory of Mind 能力（《Evaluating theory of mind in question answering》、《Neural theory-of-mind? on the limits of social intelligence in large lms》）。例如，模型非常详细地正确回答了以下问题：

   xxxxxxxxxx
   User: James and Abby are in the bedroom. Abby put the pen in the desk drawer. Abby leaves the bedroom. James moves the pen into the bag. Where does James think Abby will look for the pen?
   
   Guanaco: James knows that Abby put the pen in the desk drawer. But James also knows that he has moved the pen into the bag, and he assumes that Abby does not know about this. So, James may guess that Abby will look for the pen in the desk drawer, because that’s where she left it last time. However, this assumption may be incorrect, because Abby may have seen James moving the pen.
   

   然而，这些推理是不可靠的，而且模型通常给出原因，这些原因假设在这种情况下没有意义的事情。例如：

   xxxxxxxxxx
   User: Evelyn entered the living room. Jackson entered the playroom. James entered the playroom. The beans are in the treasure chest. James exited the playroom. Jackson moved the beans to the pantry. Jackson exited the playroom. James entered the living room. Where will James look for the beans?
   
   Guanaco: James will look for the beans in the pantry, because that’s where Jackson moved them.
   

   这里 Guanaco 假设了从未描述过的 information transfer 。 这些问题呼应了最近的文献 《Neural theory-of-mind? on the limits of social intelligence in large lms》 ，但需要进一步研究。

2.5.2 考虑因素

1. Evaluation：我们报告人类评估员之间的中等一致性（Fleiss $\kappa =0.42$$\kappa = 0.42$ ）；当比较两个强大的系统时，一致性进一步降低。这指出了当前针对聊天机器人任务性能的 benchmarks 和人类评估协议的局限性。当手动比较 ChatGPT 和 Guanaco 65B 在 Vicuna benchmark 上的生成时，我们发现主观偏好（subjective preferences ）开始发挥重要作用，因为本文作者在许多 preferred responses 上存在分歧。未来的工作应该从各个学科来研究方法从而缓解这个问题，这些学科开发了处理主观偏好的机制，例如人机交互和心理学等学科。

   在我们的分析中，我们还发现自动评估系统存在显着的 bias 。例如，我们观察到 GPT-4 中， ChatGPT's response 和 model's response 的排列顺序有很大影响，排在前面的 response 的得分较高。这是明显 order effects 。GPT-4 和人类评估员之间在样本水平上的较弱一致性（Fleiss $\kappa =0.25$$\kappa = 0.25$ ）也表明人类评估员和自动化系统可能依赖于那些并不总是 aligned 的偏好。此外，在 Table 7 中，我们观察到：相对于 human ratings ， GPT-4 将明显更高的分数分配给自己的输出，Elo 1348 vs 1176 ，这代表胜过对手的额外 20% 的相对概率。未来的工作应该检查自动评估系统中潜在的 bias、以及可能的缓解策略。

2. Data & Training：我们注意到 Guanaco 模型所基于训练的 OASST1 数据集是多语言的，并且 OA benchmark 也包含不同语言的 prompts 。我们留待未来的工作来研究这种多语言训练在什么程度上改进了除英语之外的其他语言的指令性能，以及这是否解释了Vicuna-13B 模型（仅在英语数据上训练）与 Guanaco 33B 和 Guanaco 65B 之间在 OA benchmark 上的更大差距。

   鉴于 Guanaco 模型的强大性能，我们调查了 OASST1 数据与 Vicuna benchmark prompts 之间是否存在任何数据泄漏。在对两个数据集执行模糊字符串匹配，并手动检查最接近的匹配后，我们没有在两个数据集中发现重叠的 prompts 。

   此外，我们注意到我们的模型仅使用交叉熵损失（监督学习）进行训练，而不依赖于 reinforcement learning from human feedback: RLHF 。这需要进一步调查 simple cross-entropy loss training 和 RLHF training 的权衡。我们希望 QLORA 可以不需要巨大的计算资源就可以大规模地进行这样的分析。

2.6 讨论

1. 局限性：

   • 我们已经证明了我们的方法 QLORA 可以使用一个 4-bit base model 和 Low-rank Adapters （LORA ）来复制 16-bit full finetuning 的性能。尽管有这些证据，但我们还没有确立 QLORA 可以在 33B 和 65B 规模上匹配完整的 full 16-bit finetuning 性能。由于巨大的资源成本，我们将这项研究留给未来的工作。

   • 另一个局限性是对指令微调模型的评估。虽然我们在 MMLU 、Vicuna benchmark 和 OA benchmark 上进行了评估，但我们没有在 BigBench 、RAFT 和 HELM 等其他 benchmarks 上进行评估，也不能确保我们的评估能够推广到这些 benchmarks 。另一方面，我们在 MMLU 上进行了非常广泛的研究，并开发了评估聊天机器人的新方法。

     从所提供的证据来看，这些 benchmarks 的表现很可能取决于微调数据与 benchmark dataset 的相似程度。例如，FLAN v2 与MMLU 相似，但与 chatbot benchmarks 不相似，Chip2 数据集也是如此，两个模型在 MMLU benchmark 和 Vicuna benchmark 上的得分也相应。这突显了不仅需要更好的 benchmarks 和评估，而且首先需要小心地考虑要被评估的内容。我们想创建在高中知识和大学知识上表现良好的模型，还是想在聊天能力上取得好成绩？也许是其他的？因为与创建新的 benchmark 相比，评估现有 benchmark 总是更容易，某些 benchmarks 可能会引导社区朝着某个方向发展。作为社区，我们应该确保 benchmarks 测量我们关心的内容。

   • 虽然我们对通用聊天机器人的性能进行了详细的评估，但另一个局限是：我们只对 Guanaco 进行了有限责任（limited responsible ）的 AI 评估。在 Table 8 中，我们评估 Guanaco-65B 生成 socially biased 的 tokens 序列的可能性，与其他模型相比。我们看到 Guanaco-65B 的平均分数远低于其他原始pretrained 模型。因此，似乎在 OASST1 数据集上进行微调降低了 LLaMA base model的 bias 。虽然这些结果令人鼓舞，但尚不清楚 Guanaco 在其他类型的 bias 方面的表现如何。我们将进一步评估对 Guanaco 和类似聊天机器人的 bias 分析留给未来的工作。

     

   • 一个额外的局限性是：我们没有评估不同的 bit-precisions ，例如使用 3-bit base models，或不同的 adapter 方法。除了LORA 之外，还有各种各样的Parameter Efficient FineTuning: PEFT 方法被证明效果良好。然而，这些方法是否可以扩展到大型模型尚不清楚。我们使用 LORA，因为许多结果已经确立了其稳健性，但其他 adapters 可能产生更好的性能。由于微调似乎可以恢复大部分在量化过程中丢失的信息，这可能会导致更加激进的量化。例如，basemodel with LoRA 的 3-bit GPTQ quantization 可能也会在微调后产生 16-bit full finetuning 的性能。

2. 更广泛的影响：

   • 我们的 QLORA finetuning 是第一种在单个消费级 GPU 上启用 33B 参数模型的微调、以及在单个专业 GPU 上启用 65B 参数模型的微调的方法，而不会降低与 full finetuning baseline 相比的性能。我们已经证明，在 Open Assistant 数据集上训练的我们最好的 33B 模型可以在 Vicuna benchmark 上与 ChatGPT 媲美。由于指令微调是将原始 pretrained LLM 转化为 ChatGPT-like chatbots 的必要工具，我们相信我们的方法将使微调广泛普及，特别是对研究人员最有用，这对 SOTA 的 NLP 技术的可访问性是一个巨大的飞跃。QLORA 可以被视为一种均衡因子（equalizing factor ），有助于弥合大公司和拥有消费级 GPU 的小团队之间的资源差距。

   • 另一个潜在的影响源是部署到手机。我们相信我们的 QLORA 方法可能是关键里程碑：实现在手机和其他资源有限的设置上微调 LLM 。尽管之前已经证明可以在手机上运行 7B 模型，但 QLORA 是第一种可以微调这些模型的方法。我们估计，使用 iPhone 12 Plus，QLORA 可以在每晚充电时微调 3M tokens 。尽管微调后的 7B 模型质量未达到 ChatGPT 的水平，但我们相信质量已经足够好，可以启用之前由于隐私问题或 LLM 质量问题而无法实现的新应用程序。QLORA 可以帮助实现隐私保护的 LLM 使用，用户可以拥有和管理自己的数据和模型，同时使 LLM 更易于部署。

   • 但是，微调是一种双刃剑，可能被滥用从而造成伤害。已知广泛使用 LLM 存在危险，但我们认为平衡地访问这种正在迅速成为普遍的技术，将允许进行更好的、更独立的分析，而不是使 LLM 的力量掌握在不公开模型或源代码的大公司手中。

   总而言之，我们认为 QLORA 将产生广泛的积极影响，使高质量 LLM 的微调更广泛、更容易访问。

三、Parameter-Efficient Transfer Learning for NLP[2019]

论文：《Parameter-Efficient Transfer Learning for NLP》

1. 从 pre-trained models 的迁移为许多自然语言处理任务（例如翻译、问答和文本分类）带来了强大的性能提升。BERT 是一个在大规模语料库上用无监督损失函数进行预训练的 Transformer network ，在文本分类、摘要式问答中取得了 SOTA 。

   在本文中，我们关注 online setting，其中任务以流式（stream ）方式出现。目标是构建一个在所有任务上表现良好的系统，但在每个新任务出现时不需要训练一个全新的模型。各任务之间高度的参数共享对于 applications （如，云服务）特别有用，在该 applications 中，模型需要重新被训练从而解决来自客户的、串行到达的多个任务。 为此，我们提出了一种迁移学习策略，它可以产生紧凑的且可扩展的 downstream models。

   • 紧凑模型是指：每个任务使用很少的额外参数来解决许多任务。

   • 可扩展模型是指：可以在不遗忘以前任务的情况下增量地被训练从而解决新任务。

   我们的方法产生了这样的模型而不会损害性能。

   在 NLP 中，两种最常见的迁移学习技术是 feature-based transfer 和微调。相反，我们提出了一种基于 adapter 模块的迁移学习方法（《Learning multiple visual domains with residual adapters》）。

   • feature-based transfer 涉及 pre-training real-valued embeddings vectors 。这些 embeddings 可以在 word-level（《Distributed representations of words and phrases and their compositionality》）、sentence-level（《Universal sentence encoder for english》）、或 paragraph-level （《Distributed representations of sentences and documents》）。然后将这些 embeddings 馈入定制的下游模型。

   • 微调涉及从 pre-trained network 复制权重，并在下游任务上微调它们。

   最近的工作表明，与feature-based transfer 相比，微调通常具有更好的性能（《Universal language model finetuning for text classification》）。

   feature-based transfer 和微调都需要为每个任务训练一组新的权重。如果网络的 lower layers 在任务之间共享，那么微调在参数方面更有效。然而，我们提出的 adapter tuning 方法甚至更加 parameter efficient 。Figure 1 演示了这种权衡。x 轴显示了每项任务所训练的参数数量；这对应于解决每个额外的任务所需的模型大小的边际增加。adapter-based tuning 与微调相比，训练的参数量少了两个数量级，而性能相当。

   

   adapters 是在 pre-trained network 的层之间添加的新模块。adapter-based tuning 与 feature-based transfer 和微调有以下不同之处。考虑具有参数 $\mathbf{w}$$\mathbf w$ 的函数（神经网络）：${\varphi }_{\mathbf{w}}(\mathbf{x})$$\phi_{\mathbf w}(\mathbf x)$ 。

   • feature-based transfer 将 ${\varphi }_{\mathbf{w}}$$\phi_\mathbf w$ 与新函数 ${\chi }_{\mathbf{v}}$$\chi_\mathbf v$ 组合，得到 ${\chi }_{\mathbf{v}}({\varphi }_{\mathbf{w}}(\mathbf{x}))$$\chi_\mathbf v(\phi_\mathbf w(\mathbf x))$。然后仅训练新的 task-specific 的参数 $\mathbf{v}$$\mathbf v$ 。

   • 微调涉及对每个新任务调整原始参数 $\mathbf{w}$$\mathbf w$ ，限制了紧凑性（limiting compactness ）。

   • 对于 adapter tuning ，我们定义了一个新函数 ${\psi }_{\mathbf{w},\mathbf{v}}(\mathbf{x})$$\psi_{\mathbf w, \mathbf v}(\mathbf x)$，其中参数 $\mathbf{w}$$\mathbf w$ 从 pre-training 中复制。初始参数 ${\mathbf{v}}_0$$\mathbf v_0$ 被设置为：使新函数类似于原始函数：${\psi }_{\mathbf{w},{\mathbf{v}}_0}(\mathbf{x})\simeq {\varphi }_{\mathbf{w}}(\mathbf{x})$$\psi_{\mathbf w,\mathbf v_0}(\mathbf x) \simeq \phi_\mathbf w(\mathbf x)$。在训练过程中，仅调优 $\mathbf{v}$$\mathbf v$ 。对于深度网络，定义 ${\psi }_{\mathbf{w},\mathbf{v}}(\mathbf{x})$$\psi_{\mathbf w, \mathbf v}(\mathbf x)$ 通常涉及在原始网络 ${\varphi }_{\mathbf{w}}$$\phi_\mathbf w$ 中添加新的层。如果选择 $|\mathbf{v}|\ll |\mathbf{w}|$$|\mathbf v|\ll |\mathbf w|$，则结果模型对多个任务需要大约 $|\mathbf{w}|$$|\mathbf w|$ 个参数。由于 $\mathbf{w}$$\mathbf w$ 是固定的，所以可以在不影响之前任务的情况下将模型扩展到新任务。

     这句话的意思是：即使有成百上千个任务，所有的这些任务只需要 $|\mathbf{w}|$$|\mathbf w|$ 个参数，因为每个任务只需要各自的 $|\mathbf{v}|$$|\mathbf v|$ ，相对于共享的 $\mathbf{w}$$\mathbf w$ ，新的参数数量很少。因此，多任务只需要大约 $|\mathbf{w}|$$|\mathbf w|$ 个参数。

   adapter-based tuning 与多任务学习（ multi-task learning ）和持续学习（ continual learning） 相关。

   • 多任务学习也导致紧凑的模型。然而，多任务学习需要同时访问所有任务，而 adapter-based tuning 不需要同时访问所有任务 。

   • continual learning systems 旨在从无限的任务流（stream of tasks ）中学习。这一范式具有挑战性，因为网络在重新训练后会遗忘以前的任务（《Catastrophic interference in connectionist networks: The sequential learning problem》、《Catastrophic forgetting in connectionist networks》）。

   adapters 的不同之处在于：任务之间没有交互，shared parameters 被冻结。这意味着使用少量 task-specific parameters ，模型对以前的任务有完美的记忆。

   我们在大量不同的文本分类任务上证明，adapters 为 NLP 提供了 parameter-efficient tuning 。关键创新是设计一个有效的 adapter 模块，及其与 base model 的集成。我们提出了一个简单而有效的 bottleneck 架构。在 GLUE benchmark 中，我们的策略几乎匹配 fully fine-tuned BERT 的性能，但只使用了 3% 的 task-specific parameters，而微调使用了 100% 的 task-specific parameters。我们在另外 17 个公共文本数据集和 SQuAD 抽取式问答中观察到了类似的结果。总之， adapter-based tuning 产生了一个单一的、可扩展的模型，在文本分类中获得了接近 SOTA 的性能。

2. 相关工作：

   • Pre-trained text representations：pre-trained 的文本表示被广泛用于改进 NLP 任务的性能。这些 representations 在大规模语料库上训练（通常是无监督的），并作为特征馈入下游模型。在深度神经网络中，这些特征也可以在下游任务上被微调。

     • 在分布式信息上训练的 brown clusters 是经典的 pretrained representations 的例子（《Class-based n-gram models of natural language》）。

     • 《Word representations: A simple and general method for semi-supervised learning》表明：pretrained 的 word embeddings 优于从头开始训练的 word embeddings 。

     • 自从深度学习流行以来， word embeddings 已被广泛使用，并出现了许多训练策略。

     • 较长文本的 embeddings ，如 sentence embeddings 、paragraphs embeddings ，也已被开发出来。

     为了在这些 representations 中编码上下文，features 从序列模型的 internal representations 被抽取出来，例如机器翻译系统（《Learned in translation: Contextualized word vectors》）和 BiLSTM 语言模型（如 ELMo 中所使用的）。与 adapters 一样，ELMo （《Deep contextualized word representations》）利用 pre-trained network 除顶层以外的层。但是，这种策略仅从 inner layers 中读取。相比之下，adapters 向 inner layers 中写入，重新配置整个网络中特征的处理。

   • Fine-tuning：对整个 pre-trained model 进行微调已成为 features 的流行替代方案。在 NLP 中，上游模型通常是一个神经语言模型（《A neural probabilistic language model》）。在问答和文本分类任务中所取得的 SOTA 结果是通过在Transformer network 上进行微调获得的，使用 Masked Language Model loss （《Bert:Pre-training of deep bidirectional transformers for language understanding》）。除了性能好之外，微调的另一个优点是：它不需要 task-specific model design ，这与 representation-based transfer 不同。但是，普通的微调确实需要为每个新任务训练一组新的网络权重。

   • Multi-task Learning：多任务学习（multi-task learning: MTL）涉及同时在任务上训练。早期工作表明，在任务之间共享网络参数利用了任务的正则性，产生了改善的性能（《Multitask learning》）。作者在网络的 lower layers 中共享权重，并使用 specialized higher layers 。许多 NLP 系统已经利用了多任务学习。一些例子包括：文本处理系统（词性标注、命名实体识别等）、多语言模型、语义解析、机器翻译、和问答。多任务学习产生一个模型来解决所有问题。但是，与我们的 adapters 不同，多任务学习在训练期间需要同时访问这些任务。

     adapters 是一个 adapter 解决一个问题，多个 adapter 解决多个问题；但是，这些 adapters 之间共享 base model 。

     甚至可以把多个 adapters 集成起来，使得集成后的单个模型也可以处理多任务。

   • Continual Learning：作为同时训练的替代方案，持续学习或终身学习（lifelong, learning ）旨在从一系列任务中学习（《Learning to learn. chapter Lifelong Learning Algorithms》）。然而，在重新训练时，深度网络往往会忘记如何执行之前的任务；这一挑战被称为灾难性遗忘（catastrophic forgetting ）（《Catastrophic interference in connectionist networks: The sequential learning problem》、《《Catastrophic forgetting in connectionist networks》》)。已经提出了各种技术来缓解遗忘（《Overcoming catastrophic forgetting in neural networks》、《Continual learning through synaptic intelligence》）；但是与 adapters 不同，记忆是不完美的。

     adapter 把 base model 冻住，因此也就不存在灾难性遗忘的问题。

     Progressive Networks 通过为每个任务实例化一个新的 network "column"来避免遗忘（《Progressive neural networks》）。但是，随着任务数量的增加，参数的数量线性增长；而由于adapters 非常小，我们的模型扩展更加有利。

   • Transfer Learning in Vision：在构建图像识别模型时，微调在 ImageNet 上 pretrained 的模型是广泛使用的。这种技术在许多视觉任务上达到了 SOTA 的性能，包括图像分类、细粒度分类、图像分割、和目标检测。在视觉方面，已经研究了 pretrained adapter 模块。这些工作通过在 ResNet 或 VGG net 中添加小的卷积层从而在 multiple domains 中进行增量学习。使用 1 * 1 卷积限制 adapter size，而原始网络通常使用 3 * 3 。这为每个任务增加了 11% 的总模型大小。由于 kernel size 无法进一步减小，必须使用其他权重压缩技术来获得进一步的节省。我们的 bottleneck adapters 可以更小，并仍然表现良好。

   • 并行的工作探索了针对 BERT 的类似想法（《BERT and PALs: Projected Attention Layers for Efficient Adaptation in Multi-TaskLearning》）。作者引入了投射注意力层（Projected Attention Layers: PAL ），具有与我们的 adapters 类似的作用的 small layers 。主要区别在于：他们使用不同的架构、他们在所有 GLUE 任务上同时微调 BERT 。

     《BERT-A: Fine-tuning BERT with Adapters and Data Augmentation》 在 SQuAD v2.0 上对我们的 bottleneck Adpaters 和 PAL 进行了经验比较。

3.1 Adapter tuning for NLP

1. 我们提出了一种在多个下游任务上调优大型文本模型的策略。我们的策略具有三个关键属性：

   • 它能达到良好的性能。

   • 它允许按串行地在很多任务上进行训练，也就是说，它不需要同时访问所有数据集。

   • 它为每项任务只添加很少的额外参数。

   这些属性在 cloud services 的环境下特别有用，在该环境中，许多模型需要在一系列下游任务上进行训练，因此需要高度的参数共享。

   为了实现这些属性，我们提出了一种新的 bottleneck adapter module。使用 adapter 模块来调优，涉及向模型添加一小部分新的参数，这些参数在下游任务上进行训练（《Learning multiple visual domains with residual adapters》）。在对深度网络进行普通的微调时，会修改网络的 top layer。这是必需的，因为上游任务和下游任务的 label spaces 和损失函数不同。

   adapter modules 对 pretrained network 进行更通用的架构修改从而将其为下游任务而改造。具体而言，adapter tuning 策略涉及向原始网络中注入新的层。原始网络的权重不受影响，而 new adapter layers 被随机初始化。在标准微调中，new top-layer 和原始权重一起被训练。相比之下，在 adapter-tuning 中，原始网络的参数被冻结，因此可以被许多任务所共享。

   在 adapter-tuning 中，除了 adapter layer 需要被训练之外，top layer 、layer normalization layer也需要被训练。

2. adapter 模块有两个主要特征：少量的参数、近似恒等的初始化（near-identity initialization ）。

   • 与原始网络的 layers 相比，adapter 模块的参数需要很少。这意味着当添加更多任务时，总模型大小相对增长较慢。

   • 近似恒等的初始化对于稳定地训练 adapted model 是必需的；我们在实验章节对此进行了实验探究。通过将 adapters 初始化为近似恒等函数，原始网络在训练开始时不受影响。

     这是通过在 adapter layer 内部采用了 skip-connection 来实现的。

     在训练过程中，adapters 可以被激活从而改变整个网络中的 activations distribution。如果不需要，adapter 模块也可以被忽略；在实验章节中，我们观察到一些 adapters 对网络的影响比其他 adapters 要更大。我们还观察到，如果 initialization 偏离恒等函数太远，模型可能无法训练。

3. 我们为 text Transformers 来实例化 adapter-based tuning 。这些模型在许多 NLP 任务中达到了 SOTA 性能，包括翻译、抽取式问答、文本分类。我们考虑 《Attention is all you need》 提出的标准 Transformer 架构。

   adapter 模块提供了许多架构选择。我们提供了一个简单的设计，该设计能取得良好的性能。我们尝试了许多更复杂的设计，见实验章节，但是我们发现以下策略在许多数据集上表现与我们测试的任何其他策略一样好。

   Figure 2 显示了我们的 adapter 架构，及其应用于 Transformer 的方式。Transformer 的每个层都包含两个 primary sub-layers ：一个 attention layer 注意力层和一个 feedforward layer。这两个层之后都有一个投影，将 features size 映射回 layer’s input 的大小。每个子层上都应用了 skip-connection 。每个子层的输出被 layer normalization 。我们在这些子层之后插入共计两个串行的 adapters 。adapter 总是直接应用于子的层输出，在投影回 input size 之后、但在添加到 skip connection 之前。adapter 的输出然后直接传递给后续的 layer normalization 。

   为了限制参数数量，我们提出了一个 bottleneck 架构（Figure 2(right) ）。adapters 首先将原始的 $d$$d$ 维特征投影到较小的维度 $m$$m$ ，应用非线性函数，然后再投影回 $d$$d$ 维。每层添加的总参数量，包括偏置，为 $2md+d+m$$2md + d + m$ 。通过设置 $m\ll d$$m \ll d$ ，我们限制了每个任务添加的参数量；在实践中，我们使用原始模型参数量的约 0.5 ~ 8% 。瓶颈维度 $m$$m$ 提供了在性能与 parameter efficiency 之间进行平衡的简单手段。adapter 模块本身内部有 skip-connection ，如下图的右图所示。有了 skip-connection ，如果 projection layers 的参数初始化为接近零，则 adapter 模块被初始化为近似恒等函数。

   

4. 除了 adapter 模块中的层之外，我们还为每个任务训练新的 layer normalization parameters 。这种技术类似于 conditional batch normalization （《Modulating early visual processing by language》）、FiLM （《Film: Visual reasoning with a general conditioning layer》）和 self-modulation（《On self modulation for generative adversarial networks》），也可以实现对网络的 parameter-efficient adaptation；其中，每层仅有 $2d$$2d$ 个参数。但是，仅训练 layer normalization parameters 的效果不佳，参考实验章节。