新平台重构数据交易模式
云基础设施提供商Cloudflare（为全球20%的网站提供服务）周二宣布推出新的市场平台，该平台重新定义了网站所有者与AI公司之间的关系，旨在让内容发布者获得更大的内容控制权。
过去一年，Cloudflare推出了多项工具帮助发布者应对AI爬虫的快速增长，包括一键屏蔽所有AI机器人的解决方案，以及查看AI爬虫访问网站情况的仪表盘。在2024年的一次采访中，Cloudflare首席执行官马修·普林斯（Matthew Prince）向TechCrunch（科技新闻网站）表示，这些产品为一个新型市场奠定了基础，发布者可以向AI公司分发内容并获得相应补偿。
"按爬取付费"平台详解
这个名为"按爬取付费"（Pay per Crawl）的实验性项目于周二开始进行私人测试。参与实验的网站所有者可以选择让AI爬虫以设定的费率爬取他们的网站，每次"爬取"都会产生小额支付。网站所有者也可以选择让AI爬虫免费爬取，或者完全阻止爬取。Cloudflare表示，其工具可以让网站所有者了解爬虫是在收集AI训练数据、生成AI搜索响应还是用于其他目的。
媒体行业的新选择
随着谷歌（Google）搜索流量下降和AI聊天机器人日益普及，新闻发布者正面临新的发展挑战。一些机构，如《纽约时报》（The New York Times），已经对科技公司未经许可使用新闻文章训练AI模型提起诉讼。同时，其他发布者则选择与科技公司达成多年期授权协议。
Cloudflare周二同时宣布，新设立的使用Cloudflare服务的网站将默认屏蔽所有AI爬虫。多家大型出版商，包括康泰纳仕（Conde Nast）、《时代》（TIME）、美联社（The Associated Press）、《大西洋月刊》（The Atlantic）、《广告周刊》（ADWEEK）和《财富》（Fortune），已经与Cloudflare合作，默认屏蔽AI爬虫。
数据揭示的流量困境
根据Cloudflare的最新数据，在AI时代，发布者获得的流量回报正在降低。6月份的数据显示，谷歌的爬虫每提供一次引流，需要爬取网站14次。相比之下，OpenAI的爬虫每提供一次引流，需要爬取17,000次，而Anthropic则需要爬取73,000次。
平台运作机制
要参与Cloudflare的实验性市场，AI公司和发布者都必须注册Cloudflare账户。双方可以在各自的账户中设定内容"爬取"的交易费率。Cloudflare作为中间人处理这些交易，向AI公司收费并将收益分配给发布者。
尽管该平台展现了创新的商业模式，但它需要大量发布者和AI公司的参与才能成功。目前还不能保证发布者能获得理想收益，而说服AI公司付费参与也面临挑战。不过，Cloudflare凭借其市场地位，似乎是少数几个有能力实现这种交易平台的公司之一。