文｜錦緞

市值5000億人民幣的美國互聯(lián)網(wǎng)基礎(chǔ)設(shè)施巨頭Cloudflare，向人工智能新勢力Perplexity發(fā)起指控，稱后者采用"隱形爬蟲"技術(shù)規(guī)避網(wǎng)站封鎖，秘密抓取明令禁止其訪問的內(nèi)容。

這場沖突凸顯了AI公司訓(xùn)練數(shù)據(jù)獲取與網(wǎng)站主權(quán)間的尖銳矛盾。

規(guī)避技術(shù)細(xì)節(jié)

Cloudflare安全團(tuán)隊(duì)在實(shí)驗(yàn)中發(fā)現(xiàn)：當(dāng)Perplexity官方爬蟲（標(biāo)識為"PerplexityBot"）被robots.txt文件或防火墻規(guī)則攔截后，該公司會立即啟用未聲明的備用爬蟲程序。該程序通過兩種手段偽裝身份：

1?.篡改用戶代理?：

偽裝成"macOS版Chrome瀏覽器"的普通用戶訪問；

2.輪換網(wǎng)絡(luò)標(biāo)識?：

動態(tài)更換IP地址及自治系統(tǒng)網(wǎng)絡(luò)（ASN）以繞過封鎖。"此類行為每天涉及數(shù)萬個域名，產(chǎn)生數(shù)百萬次違規(guī)請求"。

沖突升級與反制

此次指控源于Cloudflare客戶投訴——盡管已通過技術(shù)手段屏蔽Perplexity爬蟲，其網(wǎng)站內(nèi)容仍出現(xiàn)在該AI公司的搜索結(jié)果中。

Cloudflare驗(yàn)證后采取兩項(xiàng)措施：

1.將Perplexity移出"已驗(yàn)證機(jī)器人"白名單；

2.向所有用戶（含免費(fèi)客戶）提供攔截其隱形爬蟲的技術(shù)方案。

Perplexity發(fā)言人杰西·德懷爾（Jesse Dwyer）駁斥指控為"炒作"，稱報(bào)告存在"根本性誤解"。但Cloudflare出示的實(shí)驗(yàn)記錄顯示：其專設(shè)的測試域名（含嚴(yán)格訪問限制）內(nèi)容仍被Perplexity抓取并解析。

行業(yè)博弈白熱化

Cloudflare首席執(zhí)行官馬修·普林斯（Matthew Prince）指出核心矛盾：AI公司抓取效率與網(wǎng)站收益嚴(yán)重脫鉤。

"OpenAI平均每1500次抓取帶來1次用戶跳轉(zhuǎn)，Anthropic這一比例高達(dá)73300:1，而谷歌僅為18:1"。

這促使Cloudflare于2025年7月推出革命性方案：

●「Pay Per Crawl」收費(fèi)系統(tǒng)：?允許網(wǎng)站向AI公司按次收取內(nèi)容抓取費(fèi)用；

●「AI迷宮」防御工具：?用虛假內(nèi)容消耗惡意爬蟲資源。

目前已有美聯(lián)社、Reddit等逾百萬網(wǎng)站加入封鎖AI爬蟲的行列。

Robots.txt協(xié)議——這份維系互聯(lián)網(wǎng)三十余年的"君子協(xié)定"，正面臨人工智能時代的嚴(yán)峻挑戰(zhàn)。