《时代》杂志被发现针对人类读者和 AI 爬虫提供完全不同的访问版本,引发数字出版界广泛关注。开发者 Vincent Schmalbach 通过更改 User-Agent 测试发现,常规浏览器访问时网站返回约 303KB 的标准 HTML 页面,而当访问身份切换为 ClaudeBot 或 PerplexityBot 后,服务器返回的仅是约 13KB 的 Markdown 格式内容,响应头中的 content-type 被明确设为 text/markdown。这一设计意味着《时代》正在为 AI 系统量身定制易于解析的文本内容,而非让爬虫自行从复杂网页中提取信息。
更引人注目的是,这些面向 AI 爬虫的 Markdown 页面中还整合了定向广告,由 AI 广告技术公司 Mobian 提供。为了让生成式 AI 更容易读取广告主信息,页面内嵌了问答格式的赞助内容,这些广告明确标注为赞助性质,但在人类读者访问常规页面时完全不会出现。换言之,当用户通过 ChatGPT 或 Perplexity 等 AI 工具搜索《时代》杂志内容时,AI 可能会在回答中无意间"念出"品牌广告,而用户对此毫不知情。
出版商争夺 AI 时代话语权的新打法
这一策略揭示了出版商在 AI 时代 monetization 的全新思路。传统模式下,出版商通过展示广告和订阅获取收入,但 AI 爬虫抓取内容后直接返回摘要,用户不再访问原网页,流量和广告收入随之流失。通过为 AI 爬虫提供特供版页面并嵌入广告,《时代》试图在 AI 搜索结果中保留商业变现能力,将品牌信息直接植入 AI 生成的回答中。




