Meta发布了Llama 2-Long模型，它能在处理长文本时不增加计算需求，仍保持卓越性能。该模型的性能提升得益于创新策略，包括持续预训练、位置编码改进和数据混合，而非依赖更多长文本数据。Llama 2-Long在长短任务上表现卓越，甚至超越了GPT-3.5，具有潜力改变自然语言处理领域。其指令微调方法也经过优化，在长语境任务中表现出色。这一发布代表了自然语言处理领域的重要里程碑，为处理长文本提供了强大的解决方案，注入新的活力。