SwiftInfer是一款国产开源项目，最近成功实现了无限流式输入推理，使大模型推理性能提升46%。这对于大模型多轮对话推理提供了高效可靠的落地方案。Colossal-AI团队开源了SwiftInfer，旨在降低AI大模型训练/微调/推理的开发与应用成本，提升模型任务表现，降低GPU需求。