据网站Originality.ai的数据显示,目前全球排名前100的网站中,已有26%屏蔽了OpenAI推出的网络爬虫GPTBot。这一比例较上月增长了约3倍。网站屏蔽GPTBot主要是担心OpenAI获取内容用于模型训练而不给予任何形式的补偿。Common Crawl爬虫也遭到部分网站的屏蔽,因为它也为OpenAI等公司提供部分训练数据。数据还显示,在排名前1000的网站中,仍有67个robots.txt文件未被检查。