近年来，大语言模型在改变人们的生活和职业方面影响越来越大。开源机器学习库 vLLM 通过 PagedAttention 算法提升大语言模型的推理速度，有效管理关键值缓存内存，提高吞吐量。配备 PagedAttention 的 vLLM 无需改变模型架构，达到了 LLM 服务的最佳水准。研究人员发现 vLLM 比其他系统在知名 LLM 的吞吐量上增加了 2-4 倍。