本节介绍 Beamer 的一些常用功能，教程来自官方文档:

语言模型预训练已被证实能够有效提升多项 NLP 任务的效果。将预训练语言表征应用于下游任务主要有两种主流方式：基于特征的方法与微调方法。以 ELMo 为代表的特征式方法，会设计专属任务架构，并把预训练表征当作额外特征使用；而以 GPT 为代表的微调式方法，仅引入少量任务专属参数，直接对全部预训练参数进行微调以适配下游任务。两种方法的预训练目标一致，均采用单向语言模型学习通用语言表征。

以 Transformer 为代表的神经序列模型不断迭代，以及大规模自监督学习技术的进步，为通用语言理解与生成任务的落地创造了条件。这一进展主要依托预训练技术实现：从各类神经网络架构中提炼通用基础模块，依托海量无标注数据开展自监督预训练。

008

007

006

005

004

003

002