Meta 发布一个名为 FACET 的 AI 基准测试工具
Meta 发布了一个名为 FACET 的 AI 基准测试工具,旨在评估 AI 模型的公平性。该工具包含 32,000 张图像和 50,000 个人标签,可以评估模型在不同人口属性上的分类、检测、分割和定位任务的公平性。FACET 的使用可以帮助研究人员和从业者更好地理解他们自己模型中的偏见,并监控采取的缓解措施对这些偏见的影响。通过对 Meta 自己的 DINOv2 算法应用 FACET 进行测试,发现了一些偏见,包括对某些性别表现的人的偏见以及对将女性照片识别为 “护士” 的可能性的偏见。Meta 承认 FACET 可能无法充分捕捉现实世界的概念和人口群体,并提供了一个基于网络的数据集浏览器工具供开发人员使用。
发表评论