OpenLM 是一个旨在训练中等规模语言模型的 PyTorch 代码库，通过训练 OpenLM-1B 和 OpenLM-7B 两个语言模型取得了令人瞩目的成果。OpenLM-1B 在零样本文本分类和多项选择任务中表现出色，OpenLM-7B 在不断的训练中持续提高了零样本性能。未来工作包括支持多模态模型、专家混合和数据集组合，以及扩大 OpenLM 以支持训练更大的模型。