麻省理工学院与香港中文大学合作研发的LongLoRA方法，为大型预训练语言模型(LLM)提供了经济型的上下文理解提升途径。该方法采用稀疏本地关注和参数高效调优策略相结合的方式，显著降低了训练成本，同时将模型的上下文扩展到100k，仅需一台8× A100机器。研究还发现，较长的输入文本并不总是导致更好的输出，模型更容易记住信息的开头和结尾。这一创新有望推动自然语言处理领域的进一步发展。