清华大学的研究团队提出了用于神经网络训练的 4 比特优化器，可以减少大模型训练的内存开销。该优化器在保持准确率无损的情况下，将显存开销降低多达 57%。研究团队还提供了开箱即用的 4 比特优化器，可以替换原有的优化器，支持 Adam 和 SGD 的低精度版本。这一研究对于解决大模型训练中的显存瓶颈问题具有重要意义。