在 GAN (Generative Adversarial Nets) 中，生成模型要与一个对手博弈：即判别模型，该模型学习判断样本是来自模型分布还是真实数据分布。可以将生成模型类比为一伙造假者，试图制造假币并在不被察觉的情况下流通；而判别模型则类比为警察，负责识别假币。这场博弈中的竞争会促使双方不断改进自身方法，直到伪造品与真品无法区分。

蜘蛛丝

英雄之器

单相思

寻羊历险记

寻羊历险记

运气

RoBERTa (Robustly optimized BERT approach) 是对 BERT 的一种改进。作者认为原版 BERT 存在训练不足的问题，在不改变模型架构的基础上针对预训练过程做出了改进：移除了 SNP 任务，改变 BERT 的 MLM 方法，对训练数据使用动态掩码策略。

标准的 BERT 模型是一个双向 Transformer encoder，通过两个自监督任务进行训练：掩码语言模型和下一句预测。整体的训练损失是这两个任务损失的和：

偷盗