您好,这是一份我为您整理的关于AI爬虫对网络影响的新闻稿,内容紧凑且重点突出。
据云服务公司 Fastly 最新报告显示,人工智能(AI)爬虫正在给开放网络带来沉重负担,网站流量的显著增长并非来自人类访客,而是日益庞大的机器人程序,特别是来自大型AI公司的爬虫和抓取程序。
报告指出,在所有访问网站的AI机器人流量中,AI爬虫占据了高达**80%的份额,而剩下的20%**则由 AI抓取程序贡献。这些抓取程序会在用户向大型语言模型(LLMs)请求训练数据日期之后的信息时按需触发,从而在短时间内造成流量的爆发式增长。
在AI爬虫流量方面,报告揭示了主要科技公司所占的比例:Meta 的AI爬虫流量占比高达 52%,居于首位;紧随其后的是 谷歌 和 OpenAI,分别占据了 23% 和 20% 的流量;而 Anthropic 和 Perplexity AI 所占份额较小,分别为 3.76% 和 1.12%。
与AI爬虫相比,AI抓取程序的流量爆发性更强。Fastly 监测到,一个抓取程序每分钟就能产生超过 39,000个请求。值得注意的是,OpenAI 公司在AI抓取程序流量中占据了绝对主导地位,占比高达 98%。这表明,当用户向OpenAI的大模型提出实时性信息需求时,会触发大量的即时抓取行为,对网站服务器造成瞬间的巨大压力。