BERT 模型在自然语言处理领域取得显著进展。RoBERTa 是一种对 BERT 进行了多个改进的模型，通过动态遮蔽、取消下一句预测、训练更长的句子、增加词汇量和使用更大的批次来提高性能。RoBERTa 在流行的基准测试中超越了 BERT 模型，同时只增加了 15M 个额外的参数，保持了与 BERT 相当的推理速度。