随着人工智能技术的快速发展，内容创作者与AI巨头之间的关系日益紧张。AI公司通过无休止的爬取行为，获取海量数据以训练其模型，而这些数据大多并未给予原作者应得的报酬。为了应对这一现状，Cloudflare于2025年7月推出了一项名为“Pay Per Crawl”的新规，旨在为AI爬虫设置支付机制，以推动内容创作者的权利回归。
1. AI巨头的“免费午餐”
自从AI搜索引擎和聊天机器人如ChatGPT等逐渐盛行以来，全球众多网站的流量开始下降。传统的互联网商业模式——通过广告获取收益的方式，因AI巨头无情的数据爬取而失去其意义。AI公司们借助庞大的数据侵权行为，不仅让内容创作者的收入大幅减少，甚至还引发了全球范围的版权诉讼。
过去，网站内容的提供是为了吸引流量，通过流量的曝光换取广告收入。根据Cloudflare的数据，谷歌的爬虫每6到7次抓取才能带来一次点击，而OpenAI则是1500次，甚至Anthropic的抓取比例更高，达到73000次。这意味着，AI公司的爬虫对流量的引导已经远不如传统搜索引擎有效，导致许多创作者无奈地看着自己的内容被不断爬取，却几乎没有任何收益回报。
2. Cloudflare的“Pay Per Crawl”模式
面对这一局势，Cloudflare作为主导全球约20%网络流量的基础设施公司，决定采取行动。他们推出的“Pay Per Crawl”模式，为内容创作者提供了选择的权利。网站主可以在Cloudflare的后台选择三种模式：允许、收费或封锁AI爬虫的访问权。这种功能不仅赋予了创作者反抗的能力，还为AI公司提供了一个合规的支付机制，避免版权争议的风险。
Cloudflare的创始人表示：“内容是驱动AI引擎的燃料，因此，内容创作者直接获得报酬才是公平的。”这样的理念得到了众多内容提供者的支持，他们希望能通过收费来获得应有的价值回报。而AI公司的质疑则是，这样的收费会不会增加其负担，并最终影响到AI技术的创新。
3. 技术如何实施？
Cloudflare凭借其庞大的CDN网络架构，集成了“Pay Per Crawl”的技术。他们能够在访问请求到达源站之前，识别和处理AI爬虫的请求。当一个AI爬虫尝试访问收费的URL而未付费时，Cloudflare将返回特定的状态码，提示需要支付。这一机制确保了AI公司不能简单地通过伪装身份规避支付。
尽管这个模型在技术上有一定的可行性，但可执行性依然面临挑战。当前，使用robots.txt文件防止不受欢迎的爬虫已经不再有效。Cloudflare的方案将这种传统的软约束转变为硬性的限制，使得任何想要爬取网站内容的AI所需进行身份验证和支付。
4. 市场的反应与未来展望
“Pay Per Crawl”的推出被喻为“内容的独立日”，打破了过去AI对网络数据“无限获取”的惯例。未来，网站主可以通过设定不同的收费标准，甚至根据AI应用的用户数量制定动态定价策略，为不同内容类型设定不同费用。这种模式不仅为大型出版商带来了机会，也有可能赋权给体量较小的创作者，给予他们与大公司谈判的能力。
但是，市场的反应依旧复杂。AI公司可能会因需支付过高的获取成本而促进淘汰筛选，但对创作者而言，这却是一个要求权益与回报的机会。部分学者和创业者对此并不乐观，指出这或对小型AI团队产生抑制，令它们无法承受数据费用，无法正常进行研究和开发。
5.
在互联网的分岔口，Cloudflare的“Pay Per Crawl”模式试图找到一个平衡点。是否能恢复创作者应有的利益，是否能让AI创新在不依赖无偿爬取的情况下蓬勃发展，依然是未解之谜。在AI泛滥的未来，如何更好地定义数据使用和版权，维护创作者的权益，将关乎整个知识经济的未来走向。
Cloudflare正是从这一点入手，试图构建一个更公平的网络世界，并协助各方重新建立信任与合作。随着该模式的不断优化与发展，期望能引领内容创作与AI技术的相辅相成，共同踏入一个更加繁荣的数字化时代。