清华大学计算机系 PACMAN 实验室发布了 SmartMoE 系统，支持用户一键实现 Mixture-of-Experts 模型的分布式训练，通过自动搜索并行策略提高训练性能。该系统具备支持常用并行策略、专家放置策略和两阶段自动并行算法的特点，实现高性能稀疏大模型训练。