青蛙科技
下载贤集网APP入驻自媒体
6月24日消息，近日，Cloudflare首席执行官Matthew Prince重申，生成式AI爬虫和摘要正威胁互联网商业模式根基。 Prince称，搜索引擎和聊天机器人用AI总结网页内容，使网站人类访客大减，问题较六个月前更严重。以前Google每抓取网站6次，约有1人访问，OpenAI抓取率约250:1，Anthropic为6000:1，如今Google降至18:1，OpenAI降至1500:1，Anthropic约60000:1。这是因聊天机器人和搜索引擎可帮用户节省访问网站精力。Google推出AI概览时称能提升来源流量，ChatGPT也在回复中引来源，但用户大多不点击脚注，且AI有不准确等风险。 为此，Cloudflare推出AI Labyrinth工具对抗爬虫。网站虽可设阻止指令，但很多机器人会绕过。该工具会引导违规机器人进入AI生成的链接迷宫，浪费其时间和资源。Prince强调，Cloudflare有成功保护客户的良好记录，不惧对抗巨头。
