本文介绍了全球前1000个网站中有近20%阻止爬虫机器人收集网络数据用于AI服务的情况。其中，OpenAI的GPTBot爬虫受到了许多知名新闻网站的阻止，而更大型的网站更有可能已经封锁了AI爬虫机器人。此外，本文还介绍了人工智能爬虫对于新闻媒体公司的挑战和道德问题，以及网络阻碍人工智能爬虫可能带来的问题。最后，数据显示前1000个网站中GPTBot的屏蔽率每周增加约5%。