YaRN 是一种计算高效的方法，可以扩展基于 transformer 的大型语言模型的上下文窗口长度。它利用旋转位置嵌入（RoPE）增强模型处理顺序数据和捕获位置信息的能力，并通过压缩变换器来扩展上下文窗口。实验表明，YaRN 只需要较少的训练样本和步骤就能成功实现语言模型的上下文窗口扩展，且计算效率高。这一方法为大型语言模型的上下文窗口扩展提供了一种高效的解决方案。