Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

2.1 分段级状态复用循环#

为解决固定上下文长度带来的缺陷，本文在 Transformer 结构中引入循环机制。训练阶段，前一分段计算得到的隐状态序列被固定缓存，处理下一新分段时作为拓展上下文复用（见图 1a)。梯度仍限制在单个分段内部，但额外引入的历史信息让模型能够利用过往文本，既可建模长距离依赖，又能规避上下文碎片化问题。

定义两段长度均为 $L$ 的连续文本分段 $s_\tau=[x_{\tau,1},\dots,x_{\tau,L}]$ 与 $s_{\tau+1}=[x_{\tau+1,1},\dots,x_{\tau+1,L}]$。记第 $\tau$ 个分段 $s_\tau$ 经过第 $n$ 层输出的隐状态为 $\mathbf h_\tau^n\in\mathbb R^{L\times d}$，$d$ 为隐向量维度。则分段 $s_{\tau+1}$ 第 $n$ 层隐状态的计算方式如下：

其中 $\text{SG}(\cdot)$ 代表梯度截断算子，$[\mathbf h_u\circ \mathbf h_v]$ 表示沿序列长度维度拼接两组隐状态序列，$\mathbf W_\cdot$ 为模型可学习参数。和标准 Transformer 相比，核心区别在于：$\mathbf k_{\tau+1}^n$ 与 $\mathbf v_{\tau+1}^n$ 依托拓展上下文 $\tilde{\mathbf h}_{\tau+1}^{n-1}$ 生成，也就是复用了从前一分段缓存的 $\mathbf h_{\tau}^{n-1}$；图 1a 中绿色链路专门标注了该关键结构。

将该循环机制作用于语料所有相邻文本分段后，模型在隐状态层面形成分段级循环连接，实际可用有效上下文长度可远超相邻两个分段。 注意：$\mathbf h_{\tau+1}^n$ 与历史缓存 $\mathbf h_\tau^{n-1}$ 的循环依赖逐层下移，和传统 RNN 语言模型同层循环结构不同；模型最大可建模依赖长度与网络层数 $N$、单分段长度 $L$ 呈线性关系 $O(N\times L)$，对应图 1b 阴影区域。该机制思想近似截断 BPTT，但区别在于：本方案缓存整段隐状态序列而非仅最后时刻隐变量，且必须搭配相对位置编码共同使用。

BPTT: 沿时间反向传播，把循环网络按时间步展开成深层前馈网络，再用链式法则从后往前逐层算梯度、更新参数 截断 BPTT: 把长文本切分成固定长度小段，只在当前分段内部反向传播梯度。只缓存分段末尾单个隐变量，不存整段隐序列

该循环复用机制并不局限于仅缓存上一个分段。理论上，只要 GPU 显存充裕，可缓存多段历史片段，处理当前分段时统一作为扩充上下文使用。因此可预先留存总长 $M$ 的历史隐状态（可跨多个文本分段），记作历史存储器 $\mathbf m_\tau^n\in\mathbb R^{M\times d}$，该设计思路借鉴了记忆增强神经网络相关研究。 本文实验中：训练阶段令缓存长度 $M$ 等于单分段长度；推理阶段将 $M$ 放大数倍。

2.2 相对位置编码#

标准 Transformer 依靠位置编码注入序列时序信息，位置编码矩阵记作 $\mathbf U\in\mathbb R^{L_{\text{max}}\times d}$，第 $i$ 行 $\mathbf U_i$ 代表分段内第 $i$ 个绝对位置，$L_{\text{max}}$ 为模型预设最大序列长度。模型输入由词嵌入与位置编码逐元素相加得到。 倘若直接沿用该绝对位置编码套用到本文的循环复用架构，隐状态的计算形式大致如下：

其中 $\mathbf E_{s_\tau} \in \mathbb R^{L \times d}$ 是 $\mathbf s_\tau$ 的词嵌入，$f$ 是变换函数。$\mathbf E_{s_\tau}$ 与 $\mathbf E_{s_\tau+1}$ 共用同一个位置编码 $\mathbf U_{1:L}$。因此，对任意下标 $j=1,2,\dots,L$，模型无法区分 $x_{\tau,j}$ 和 $x_{\tau+1,j}$ 的实际先后位置，最终造成模型性能大幅衰减。

两个来自不同分段、全局时序相隔一整段长度的 token，位置编码完全一模一样

为规避上述缺陷，核心思路是仅在隐状态中编码相对位置信息。从原理上看，位置编码的作用是给模型提供时序偏置，指引注意力该关注哪些位置；基于同一目的，不必在输入词嵌入阶段静态叠加位置编码，转而将时序信息嵌入每一层的注意力分值中。

更关键的是，以相对形式定义时序偏置具备更好的直观性与外推泛化能力。例如 $\mathbf q_{\tau,i}$ 和前文 $\mathbf k_{\tau,\le i}$ 做注意力匹配时，无需知晓各个键的绝对下标，仅凭 $\mathbf k_{\tau,j}$ 与自身 $\mathbf q_{\tau,i}$ 的间距 $i-j$ 即可判断先后顺序。

实操中定义相对位置编码矩阵 $\mathbf R\in\mathbb R^{L_{\text{max}}\times d}$，第 $i$ 行 $\mathbf R_i$ 代表两 token 间隔为 $i$ 的相对位置表征。将相对距离动态融入注意力得分后，模型依靠间距差异就能区分 $x_{\tau,j}$ 与 $x_{\tau+1,j}$，使跨分段隐状态复用机制成立；同时相对距离可递归还原全局绝对位置，不会丢失时序信息。

本文给出一套新式相对位置编码：该编码既与绝对位置编码存在一一对应的数学等价关系，又拥有更优的长度外推泛化性能。首先，在原始 Transformer 中，同分段内 $\mathbf q_i$ 与 $\mathbf k_j$ 的注意力分值可做如下拆解：

$\mathbf q_i = (\mathbf E_{x_i} + \mathbf U_i) \mathbf W_q^\top$ 与 $\mathbf k_j = (\mathbf E_{x_j} + \mathbf U_j) \mathbf W_k^\top$ 做点积后展开得到

只依赖于相对位置信息，我们对上式进行改写：

• 第一个改进是将(b)(d)项中用于键向量计算的全部绝对位置嵌入 $\mathbf U_j$，替换为对应的相对位置表征 $\textcolor{#00b9f2}{\mathbf R_{i-j}}$，本质是引入先验假设：注意力的落点仅由 token 间相对间距决定。$\textcolor{#00b9f2}{\mathbf R}$ 沿用 Transformer 原版正弦位置编码矩阵。
• 第二点，我们引入可训练参数 $\textcolor{red}{u} \in \mathbb R^d$ 来替换 (c) 项中的查询 $\mathbf U_i^\top \mathbf W_q^\top$。等价于所有查询位置共用同一个查询偏置，意味着模型对各个词汇的注意力偏好，不受查询自身所在位置 $i$ 的影响；同理，新增可学习参数 $\textcolor{red}{v} \in \mathbb R^d$，替换(d)项里的 $\mathbf U_i^\top \mathbf W_q^\top$。
• 最后，将原单一键权重拆分为 $\mathbf W_{k,E}$、$\mathbf W_{k,R}$ 两个独立权重矩阵，分别用于生成基于语义内容的键向量、基于相对位置的键向量。

在这套全新参数化方案下，四项各自具备清晰物理含义：(a)为基于内容的语义寻址项；(b)代表依赖查询语义的位置偏置；(c)是全局固定的内容偏置；(d)编码全局固定的位置偏置。

(a) 仅依靠词向量语义做注意力匹配，和位置无关 (b) 由查询自身语义和两 token 相对距离共同决定偏置 (c) 全序列共用固定偏置 $u$，只和键的语义内容相关，不受查询位置、查询本身影响 (d) 全序列共用固定偏置 $v$，只由两 token 相对距离决定，和查询，键的词汇内容无关

将前文循环复用机制与本文提出的相对位置编码结合，最终得到 Transformer‑XL 整体架构。单层注意力头、$N$ 层堆叠的 Transformer‑XL，对于 $n=1,2,\dots,N$，其计算流程如下：