004

003

002

001

这节我们来学习 Transformer-XL 的源码，模型的论文内容在之前已有介绍 👉 taffybook.cn/posts/paper/transformer-xl/ ，其核心类如下:

语言建模是需要建模长距离依赖的关键任务之一。RNN 尤其是 LSTM 曾是语言建模的主流方案，并在多项基准测试上取得优异效果。但是 RNN 存在梯度消失和梯度爆炸的问题，因此很难优化。

给定两个大小分别为 m 和 n 的正序（从小到大）数组 nums1 和 nums2。请你找出并返回这两个正序数组的中位数。

非循环模型无法天然按序遍历输入元素，因此需要额外显式编码位置信息，以表征序列先后关系。

给定一个字符串 s ，请你找出其中不含有重复字符的最长子串的长度。

此前在对高效 Transformer 模型的探讨中，我们均假定模型架构在训练前就已确定，且全程保持固定。接下来我们转向架构自动学习的研究方向，模型可表示为如下形式：