NLP 中的自监督预训练任务 [LLM]
以 Transformer 为代表的神经序列模型不断迭代，以及大规模自监督学习技术的进步，为通用语言理解与生成任务的落地创造了条件。这一进展主要依托预训练技术实现：从各类神经网络架构中提炼通用基础模块，依托海量无标注数据开展自监督预训练。
Transformer-XL 的源码 [LLM]
这节我们来学习 Transformer-XL 的源码，模型的论文内容在之前已有介绍 👉 taffybook.cn/posts/paper/transformer-xl/ ，其核心类如下:
随缘分享喵
Music
No playing
0:00 0:00
144
6
9
2,255,454
0 days
0 days ago