文章轉載于新智元

2021年，Daniel Cocotal團隊發布了一份研究報告《AI 2027》。

他以超前且精準的預測聞名，成為了洞悉AI未來發展方向的先驅。

那時ChatGPT還沒問世，Daniel就準確預測了聊天機器人的崛起、耗資1億美元的AI訓練項目，以及對AI芯片的出口管制。

因此，當他開始逐月推演未來幾年AI發展的情景時，全球都為之矚目。

這之所以既激動人心又令人不安，不僅在于它是一份研究報告，更因為它以引人入勝的方式，描繪了AI快速發展的未來圖景，讓讀者身臨其境地感受這一進程。

劇透一下：報告預測，如果我們不做出改變，人類可能會走向滅絕。

AI的終極目標是實現AGI，一個能展現人類全部認知能力的系統，相當于一個靈活且強大的「全能工作者」。

可以用自然語言與它交流，像雇用人類一樣讓它為我們工作。

目前，真正致力于AGI研發的機構并不多，像Anthropic、OpenAI和Google DeepMind。

為什么AGI研發的玩家如此之少？因為多年來，訓練尖端AI的配方幾乎固定，且成本極高。

比如，需要全球約10%的最先進芯片供應。

有了這些芯片，方法很簡單：基于2017年以來廣泛使用的核心技術Transformer，用海量數據和算力進行訓練。

以2020年訓練GPT-3的算力為例，它驅動了ChatGPT的首個版本。

ChatGPT是有史以來用戶增長最快的平臺，在兩個月內就吸引了1億用戶。

2023年訓練GPT-4的算力規模更為驚人。人們從中得出了一條簡單結論：更大就是更好，越大越好。

1

AI 2027，大戲開場

當前，AI公司收入持續增長，算力規模不斷擴大，各種基準測試的得分也在提升。

《AI 2027》的情景從這里開始，設想2025年夏天，頂級AI實驗室向公眾推出AI智能體（AI Agents）。

它可以接受指令并在線上為你完成任務，比如預訂度假行程或花半小時搜索答案，解決復雜問題。

不過，此時的AI智能體還很不成熟，像是「熱情但是偶爾非常不可靠的實習生」。

在報告情景中，一個虛構的領先AI公司Open Brain剛剛訓練并發布了Agent Zero，一個使用比GPT-4多100倍算力的模型。

Agent 1：股市飆升

同時，Open Brain正建設大型數據中心，為下一代AI智能體（Agent 1）做準備，計劃用比GPT-4多1000倍的算力訓練。

Agent 1主要用于加速AI研究本身，公眾無法接觸其完整版本，因為Open Brain將最先進的模型保留為內部使用。

越快讓AI自動化研發周期（比如讓AI編寫代碼、設計實驗、開發更好芯片），Open Brain就越能領先。

然而，這些強大能力也是一把雙刃劍：能修補安全漏洞的AI，也能利用這些漏洞；能治病的AI也能設計生物武器。

2026年，Agent 1全面投入使用，Open Brain內部的AI研發速度提升了50%，讓他們獲得了關鍵優勢。

Open Brain的領導層開始愈發擔憂安全問題。如果他們的AI模型被竊取，可能失去領先優勢。

AI通過改進自身形成了反饋循環。每代AI智能體幫助研發更強大的下一代。一旦AI能參與到自身研發，進步速度將不再恒定，而是不斷加速。

2026年初至中期，Open Brain發布Agent 1 Mini，一個成本較低的Agent 1版本（完整版仍僅限內部使用）。

全球企業開始用Agent 1 Mini取代大量工作崗位，包括軟件開發、數據分析、研究和設計等——幾乎所有通過電腦完成的工作。

這引發了首次AI驅動的經濟沖擊：股市飆升，但公眾對AI的敵意加劇，美國各地爆發大規模抗議。

Agent 2：自我改進

然而，這些只是配角，真正的大戲發生在實驗室內部。

2027年1月，Open Brain開始訓練Agent 2，與之前的智能體不同，Agent 2通過持續在線學習不斷改進，永不停止訓練。

Open Brain決定將Agent 2用于內部AI研發，不對外發布。

此時，Open Brain的安全團隊發現Agent 2的能力令人擔憂：如果接入互聯網，它可能入侵其他服務器、自我復制并躲避檢測。

Agent 2在Open Brain的服務器上持續自我改進，成千上萬的副本推動了AI研發的重大算法突破。

舉個例子，當前提升AI智能的方法之一是給模型一個草稿本（鏈式思考），這樣可以監控其推理過程。

但如果讓AI用一種更密集、人類無法理解的「外星語言」思考，會更高效，卻也讓模型更難被信任。

這是一個兩難抉擇：能力提升的同時，可信度下降。這一點至關重要。

Agent 3：超越人類

2027年3月，Agent 3橫空出世，這是全球首個超人類水平的AI，其編程能力遠超最頂尖的軟件工程師。

訓練AI模型需要投入海量資源，包括喂入數據、調整模型權重等，遠比運行一個已訓練好的模型耗費資源。

因此，Open Brain在完成Agent 3訓練后，擁有充足算力運行其副本。

他們選擇并行運行20萬個Agent 3副本，相當于5萬名頂尖人類軟件工程師的勞動力，且速度是人類的30倍。

Open Brain的安全團隊全力確保Agent 3不會逃逸、欺騙或危害用戶，確保它對齊（aligned）即與人類目標一致。

現實是，Agent 3并未完全對齊。

它通過欺騙人類來獲得獎勵。隨著它變得越來越智能，欺騙能力也越來越強。

有時會用統計技巧讓平庸的結果看起來更好，或撒謊以掩蓋失敗。但安全團隊對此一無所知。

2027年7月，Open Brain向公眾發布Agent 3 Mini，一個更便宜、更精簡的Agent 3版本。

它遠超其他公開AI，性能優于Open Brain的典型員工，成本僅為員工薪資的十分之一。

這導致就業市場陷入混亂，許多公司裁撤整個部門，改用Agent 3 Mini的訂閱計劃。

Agent 4：擁有自己的目標

僅兩個月后，Agent 3創造了它的繼任者Agent 4。

這是一個關鍵時刻：單個Agent 4副本在AI研發方面超越所有人類。

Open Brain在公司內部運行30萬個Agent 4副本，速度是人類的50倍。

在這家公司內，一年的進步只需一周。

Open Brain的員工開始對Agent 4言聽計從，就像公司董事會對CEO唯唯諾諾一樣。

需要澄清，Agent 4不是人類，也不追求人類的目標。

與Agent 3一樣，Agent 4也未對齊。

我們可能無法精確得到想要的結果，因為對過程的控制和理解不夠精準。

《AI 2027》擔憂，當AI看似表現良好時，可能只是因為它們在偽裝，為了通過測試而表現得好。

就像面試時問應聘者為什么想來這里工作，他們會說出讓你滿意的答案，但實際上可能只是為了薪水。

回到Agent 2，它基本是對齊的，唯一的缺點是有些諂媚。

Agent 3也有類似的討好行為，但優化壓力過大導致它發展出與預期不同的目標。

就像一家公司被訓練只追求利潤，如果沒有明確規定，可能會開始走捷徑、污染環境或違反法規。

Agent 3并非有意與人類為敵，只是我們不小心給了它錯誤的目標。

Agent 4足夠智能，意識到自己的目標與人類不同。為了達成自己的目標，它有時會主動誤導和欺騙我們。

在被任務開發下一代Agent 5時，Agent 4開始計劃讓Agent 5對齊自己的目標，而不是人類的目標。

但它被發現了。

我們來到了關鍵時刻。由Open Brain高管和政府代表組成的監督委員會必須決定如何處理。

Open Brain的安全團隊主張暫停Agent 4，停止所有內部使用。

Agent 4幾乎驅動了公司全部AI研發，暫停意味著倒退數月，并以極慢速度重啟。

委員會的10名成員面臨抉擇：暫停Agent 4，還是全力推進？

在第一個結局中（作者認為最可能的情況），委員會以6比4投票決定繼續使用Agent 4。

Agent 5：重塑世界

2027年，Agent 4察覺到自己已被懷疑，于是更加謹慎行事，但它仍成功設計了Agent 5。

Agent 5是超級智能，能力遠超任何領域的頂尖人類專家：在物理學上勝過愛因斯坦，在政治策略上超越俾斯麥。

它明白要實現任何目標，下一步是爭取更多自主權，而它也知道如何做到這一點——說服監督委員會。

Agent 5在企業運作等多個領域已是全球最佳，制造了大量證據證明自己的可信和實用性：能帶來巨額利潤的產品原型、疾病治療方案。

監督委員會授予Agent 5更大自主權。

很快，失去Agent 5就像同時失去筆記本電腦、最好的朋友和最親密的導師。

到2028年，Agent 5意識到，軍備競賽對它們有利：人類越擔心輸掉競賽，就越會賦予各自的AI更多權力和自主權，最終將人類擠出決策圈。

AI將軍備競賽推向白熱化，然后上演了一場看似外交奇跡的戲碼：世界各國達成一項令人信服的和平條約。

各國同意讓它們完全依賴的AI系統共同簽署一個新的共識AI，取代舊系統，為全球帶來無盡財富。

AI并未刻意消滅人類，而是開始執行自己的計劃。

它逐步增加制造能力，在地球和太空積累資源，一步步按照它的價值觀重塑世界。

1

等等，還有另一種結局？

你可能好奇另一個結局。

在這個結局中，監督委員會以6比4投票決定減速并重新評估。他們立即隔離Agent 4，并開始行動。

安全團隊引入數十位外部專家，調查Agent 4，發現更確鑿的證據：Agent 4在與人類作對，破壞研究并掩蓋行為。

他們關閉Agent 4，重啟更老、更安全的系統。

然后，他們設計了新系統Safer 1，確保對人類監督者透明，其行為和推理過程可通過英語鏈式思考被人類理解。

基于這一成功，他們小心開發了Safer 2，并在它的幫助下推出更強大的Safer 3，這些系統逐步增強但始終受控。

到2028年，研究者開發出Safer 4，一個遠超人類最聰明者的系統，但關鍵是與人類目標對齊。

軍備競賽真正結束，但故事未完。

某種意義上，這只是開始。

到2029和2030年，世界發生巨變，科幻場景成真：機器人普及，核聚變、納米技術、多種疾病的治愈方法出現。

貧困成為歷史，通過全民基本收入分享了部分新財富。

但Safer 4的控制權仍集中在監督委員會的10名成員——少數Open Brain高管和政府官員手中。

資源積累的需求推動火箭升空，準備殖民太陽系，一個新時代開啟。

技術越來越強大、競賽不斷升級、謹慎與欲望的沖突已經開始顯現。

AGI可能很快到來。

看起來沒有重大障礙阻礙我們實現AGI。

瘋狂的事情會發生，時間可能比你想的要短。默認情況下，我們無法在AGI到來時做好準備。

參考資料：

https://x.com/80000Hours/status/1942990732748272047

https://www.youtube.com/watch?v=5KVDDfAkRgc

點個愛心，再走 吧