當AI聊天機器人直接給出答案，用戶不再點擊原始網頁——這場由生成式AI引發的“流量塌方”，正讓全球內容創作者陷入生存危機。在此背景下，長期倡導開放共享的非營利組織Creative Commons（CC）罕見表態：謹慎支持“付費爬取”（pay-to-crawl）技術，試圖為內容生態重建可持續的經濟模型。

CC以推動知識共享許可（CC協議）聞名，今年 7 月曾提出構建AI數據共享的法律與技術框架。如今，面對AI爬蟲大規模抓取內容卻不再回流流量的現實，CC在最新博客中承認：“若負責任地實施，付費爬取或能幫助網站維持內容創作與公開共享，避免更多內容被迫轉入封閉墻內，甚至徹底消失。”

“付費爬取”的核心邏輯簡單而直接：當AI公司（如OpenAI、Google、meta）的爬蟲訪問網站以訓練模型時，需向內容提供方支付費用。這一模式由Cloudflare率先推動，其背后是內容產業的集體焦慮——傳統“以內容換流量”的互聯網契約已然崩塌。過去，網站樂于被搜索引擎索引，因為搜索結果帶來訪問與廣告收入；而如今，用戶在AI對話中獲得答案后，幾乎不會再點進原始頁面。據多項研究顯示，新聞出版業的搜索流量已斷崖式下滑，中小型媒體首當其沖。

大型媒體尚可憑借議價能力與AI巨頭簽訂獨家授權協議——如OpenAI與Condé Nast、Axel Springer，Perplexity與Gannett，Amazon與《紐約時報》，meta與多家出版商——但數以百萬計的獨立博客、小型新聞站、教育平臺卻無此籌碼。付費爬取若能標準化、自動化，或成為他們的“普惠性收入來源”。

然而，CC的立場并非全然樂觀。該組織明確警示：若設計不當，付費爬取可能**加劇網絡權力集中**，甚至切斷公共利益主體的訪問路徑。“研究人員、非營利組織、文化遺產機構、教育者等服務于公共利益的群體，不應被付費墻拒之門外，”CC強調。

為此，CC提出一系列“負責任付費爬取”原則：

- 不得設為網站默認選項，需由內容方主動啟用；

- 避免一刀切的全網規則，尊重網站自主權；

- 支持“限流”而非“封禁”，允許低頻或非商業爬取；

- 保障公共利益訪問，如學術、教育用途；

- 系統應開源、可互操作，并采用標準化組件。

值得注意的是，付費爬取生態正快速成型。除Cloudflare外，微軟正構建面向出版商的AI內容市場；初創公司ProRata.ai、TollBit也在開發類似方案。更關鍵的是，一個名為**RSL**（Really Simple Licensing）的新標準已獲廣泛支持。該標準允許網站聲明哪些內容可被爬取、用于何種目的，但**不強制阻止爬蟲**——一種“聲明即授權”的中間路徑。Cloudflare、Akamai、Fastly三大CDN巨頭已采納RSL，Yahoo、Ziff Davis、O’Reilly Media等內容方也已加入。CC亦宣布支持RSL，并將其納入其“CC信號”（CC Signals）項目——該計劃旨在為AI時代開發新型內容授權與發現工具。

Creative Commons的立場轉變，標志著開放網絡理念正與現實經濟壓力艱難調和。付費爬取未必是完美答案，但在AI吞噬流量、創作者瀕臨失語的當下，它或許是一場必要的實驗：在保護創作激勵與維系信息開放之間，尋找一條不致崩塌的窄路。否則，當最后一個獨立博客因無以為繼而關閉，AI的答案再精準，也將失去其賴以存在的真實世界根基。