歐盟正在調查谷歌是否利用其搜索引擎的主導地位，通過網絡爬蟲無償獲取內容用于AI訓練，從而在人工智能競爭中獲得不公平優勢。

12月10日，據彭博社報道，歐盟監管機構已對谷歌推出的AI Overviews和AI Mode功能啟動調查，以確定其是否對內容創作者施加了不公平條款，使其AI模型相較競爭對手占據優勢。

調查焦點在于，當OpenAI、Anthropic、亞馬遜等AI競爭對手花費數億美元與出版商達成授權協議以獲取訓練數據時，谷歌卻通過為Google Search服務的網絡爬蟲Googlebot免費獲取整個互聯網的內容。

這一優勢幫助谷歌在ChatGPT推出后迅速追趕上對手。在被OpenAI的ChatGPT打了個措手不及后，Alphabet旗下的谷歌實現了快速追趕，其AI模型目前已達到競爭對手的水平。

報道指出，但問題在于，谷歌是否通過公平手段實現了這一加速發展。如果監管機構認定其做法不當并強制改變，可能會損害谷歌的AI前景。

谷歌的"雙重標準"：免費獲取vs付費競爭

報道稱，谷歌在AI訓練數據獲取上享有獨特優勢。該公司依賴名為Googlebot的自動化程序瀏覽網頁并為其搜索引擎建立索引，這一爬蟲將發現的所有內容整理到谷歌龐大的可搜索索引中。

與此同時，谷歌使用同一程序為其Gemini聊天機器人和AI Overviews背后的模型提供訓練數據。這意味著，當其他AI公司為使用高質量數據訓練AI而付費時，谷歌卻免費獲得這些資源。它用于索引全球信息的程序同時也在幫助訓練其AI系統。

Cloudflare首席執行官Matthew Prince在今年早些時候的彭博科技峰會上表示："谷歌在說，我們對世界上所有內容都擁有天賦權利，即使我們不為此付費。"

而問題進一步復雜化的是，由于用戶現在更多依賴AI摘要獲取信息而非點擊搜索結果中的鏈接，網站所有者的流量出現下降。這創造了一個兩難境地：

阻止谷歌爬蟲可能導致網站在普通搜索結果中不被收錄，但允許谷歌使用其內容訓練AI系統卻意味著失去獲得報酬的機會。

報道指出，更糟糕的是，谷歌今年早些時候在法庭上披露，由于組織架構上的問題，即使網站選擇退出，谷歌仍會使用其內容進行AI訓練。出版商實際上處于被綁架狀態：要么接受內容被免費使用，要么冒著在搜索結果中消失的風險。

監管方案浮現：強制分離搜索與AI爬蟲

據彭博報道，Matthew Prince一直在引導歐洲監管機構采取一個簡潔而優雅的解決方案：

強制谷歌僅將Googlebot用于搜索，并創建一個獨立的網絡爬蟲專門用于抓取AI Overviews所需內容。這樣，出版商可以正確地選擇退出或要求補償。

從技術角度看，谷歌工程師可以輕松構建一個具有不同標識符的爬蟲，讓出版商能夠單獨屏蔽。但Alphabet將抵制任何迫使其像其他公司一樣協商并支付AI訓練內容費用的措施。

這一方案的邏輯在于，如果英偉達可以為芯片收費，工程師可以為他們的時間和智力付出收費，那么網站出版商也應該能夠為其內容輸出收費。

報道指出，強制分離將創造一個更加公平的競爭環境，讓所有AI公司在獲取訓練數據方面面臨相同的成本結構。

據報道，谷歌稱歐盟的調查"有可能扼殺比以往任何時候都更具競爭性的市場創新"。然而，現實情況恰恰相反：

AI繁榮本應推動一個擁有數百家可行公司的競爭性市場，就像最初的互聯網繁榮一樣。但是它正朝著將利潤集中在谷歌等現有巨頭手中的方向發展。

分析指出，通過Googlebot進行的"雙重利用"只是谷歌如何利用其主導地位進一步鞏固自身優勢的最新例證。這種可能幫助谷歌如此迅速趕上競爭對手的潛在優勢需要被消除，以創造真正公平的AI競爭環境。