FlexFlow 是一个开源的分布式深度学习框架，通过推测性推理和树状并行解码技术，提供低延迟、高性能的 LLM 模型服务。它支持数据并行和模型并行训练，混合精度训练以及常见的深度学习模型。FlexFlow 可以在多 GPU 环境下部署，提供 Python 和 C++ 两种 API，支持主流的深度学习框架导入。