ICCV 2023:探索基于生成模型的 Backbone 预训练
本文介绍了一种名为 DreamTeacher 的框架,用于将生成模型的知识传递到目标图像主干。通过特征蒸馏和标签蒸馏,实现了在无监督和半监督场景下的预训练。实验结果表明,基于生成模型的预训练方法在各项任务上取得了优异的表现,展示了生成模型在大规模无标签数据集上学习有意义特征的能力。
本文介绍了一种名为 DreamTeacher 的框架,用于将生成模型的知识传递到目标图像主干。通过特征蒸馏和标签蒸馏,实现了在无监督和半监督场景下的预训练。实验结果表明,基于生成模型的预训练方法在各项任务上取得了优异的表现,展示了生成模型在大规模无标签数据集上学习有意义特征的能力。
发表评论