RoFormer: Enhanced transformer with Rotary Position Embedding
与 CNN, RNN 不同,预训练语言模型使用自注意力机制来从给定的语料库中来捕获上下文的语义学表示,但是无法天然感知序列词序,因此必须额外引入位置编码。目前的两类主流位置编码包括绝对位置编码和相对位置编码,大多直接将位置信息融合进上下文表征,无法适配线性自注意力结构。
DDLC 中的 meta 机制分析 [1]
第一次接触这个游戏是在 2019 年,当时对 meta 的实现方式很感兴趣,但是当时并不会编程,而且写日记环节的各种生僻英文词也是给我劝退了。后来买了 plus 版一直在吃灰,直到昨天花费一整天时间拿下 plus 版全成就后,又想再来看看 meta 的实现机制,现在有了编程基础和豆姐的加持就很容易实现了。
DeBERTa: Decoding-enhanced BERT with Disentangled Attention
Transformer 现已成为神经语言建模领域效果最优的神经网络架构。2018 年以来一大批基于 Transformer 的大规模预训练语言模型(PLM)相继问世,包括 GPT,BERT,RoBERTa,XLNet,UniLM,ELECTRA,T5 等。研究者使用各下游任务专属标注数据对这些预训练语言模型进行微调,在大量 NLP 任务上刷新了当前最优性能指标。