研究人员提出Headless语言模型这种新的预训练方法,通过移除预测词汇空间分布的需求,而采用对比方式重构输入嵌入,在给定运算量下性能较经典语言模型更优,计算效率也更高。