錦緞

市值5000億人民幣的美國互聯網基礎設施巨頭Cloudflare，向人工智能新勢力Perplexity發起指控，稱后者采用隱形爬蟲技術規避網站封鎖，秘密抓取明令禁止其訪問的內容。

這場沖突凸顯了AI公司訓練數據獲取與網站主權間的尖銳矛盾。

規避技術細節

Cloudflare安全團隊在實驗中發現：當Perplexity官方爬蟲（標識為PerplexityBot）被robots.txt文件或防火墻規則攔截后，該公司會立即啟用未聲明的備用爬蟲程序。該程序通過兩種手段偽裝身份：

1‌.篡改用戶代理‌：

偽裝成macOS版Chrome瀏覽器的普通用戶訪問；

2.輪換網絡標識‌：

動態更換IP地址及自治系統網絡（ASN）以繞過封鎖。此類行為每天涉及數萬個域名，產生數百萬次違規請求。

沖突升級與反制

此次指控源于Cloudflare客戶投訴盡管已通過技術手段屏蔽Perplexity爬蟲，其網站內容仍出現在該AI公司的搜索結果中。

Cloudflare驗證后采取兩項措施：

1.將Perplexity移出已驗證機器人白名單；

2.向所有用戶（含免費客戶）提供攔截其隱形爬蟲的技術方案。

Perplexity發言人杰西德懷爾（Jesse Dwyer）駁斥指控為炒作，稱報告存在根本性誤解。但Cloudflare出示的實驗記錄顯示：其專設的測試域名（含嚴格訪問限制）內容仍被Perplexity抓取并解析。

行業博弈白熱化

Cloudflare首席執行官馬修普林斯（Matthew Prince）指出核心矛盾：AI公司抓取效率與網站收益嚴重脫鉤。

OpenAI平均每1500次抓取帶來1次用戶跳轉，Anthropic這一比例高達73300:1，而谷歌僅為18:1。

這促使Cloudflare于2025年7月推出革命性方案：

●「Pay Per Crawl」收費系統：‌允許網站向AI公司按次收取內容抓取費用；

●「AI迷宮」防御工具：‌用虛假內容消耗惡意爬蟲資源。

目前已有美聯社、Reddit等逾百萬網站加入封鎖AI爬蟲的行列。

協議這份維系互聯網三十余年的君子協定，正面臨人工智能時代的嚴峻挑戰。