智東西

編譯 | 陳駿達

編輯 | Panken

智東西8月16日消息，近日，OpenAI聯(lián)合創(chuàng)始人兼總裁Greg Brockman在世界AI工程師大會上，分享了他對AI技術(shù)發(fā)展瓶頸、科研與工程關(guān)系等AI關(guān)鍵議題的最新看法。作為2015年便入局AI的行業(yè)老兵，在回答主持人關(guān)于GPT-6發(fā)展挑戰(zhàn)的問題時，Brockman提出了一項十分重要的觀察：

隨著算力和數(shù)據(jù)規(guī)模的快速擴展，基礎(chǔ)研究正在回歸，算法的重要性再次凸顯，成為未來AI技術(shù)發(fā)展的關(guān)鍵瓶頸。

對Brockman而言，這并非壞事。他覺得整天圍繞Attention is All You Need這一經(jīng)典論文和Transformer做文章已經(jīng)有些乏味，智力上難免讓人覺得“不過癮”。目前，強化學(xué)習(xí)已成為算法研究的新方向之一，但他也意識到，仍存在許多明顯的能力缺口。

▲Greg Brockman（右）與主持人（左）

工程與科研，是驅(qū)動AI發(fā)展的兩大引擎。工程師出身的Brockman認為，工程師的貢獻與研究人員不相上下，甚至在某些方面更為重要。如果沒有科研創(chuàng)新，就無事可做；如果沒有工程能力，那些想法就無法實現(xiàn)。

OpenAI從一開始就堅持工程與研究同等看待，而兩者的思維方式又有所不同。對新加入OpenAI的工程師，Brockman的第一堂課便是：保持技術(shù)上的謙遜，因為在傳統(tǒng)互聯(lián)網(wǎng)大廠行之有效的方法，在OpenAI未必適用。

產(chǎn)品與科研間的資源協(xié)調(diào)，也是OpenAI時常面臨的問題。Brockman在訪談中承認，為了支撐產(chǎn)品上線的海量算力需求，OpenAI不得不以幾乎是“抵押未來”的方式，借調(diào)部分本應(yīng)用于科研的算力。不過，他認為這一取舍是值得的。

Brockman還在訪談中回顧了自己童年時期對數(shù)學(xué)的興趣，再到轉(zhuǎn)向編程，從哈佛轉(zhuǎn)校至MIT，最終輟學(xué)加入金融科技創(chuàng)企Stripe的經(jīng)歷。由于篇幅所限，實錄并未包含這部分內(nèi)容。

在采訪的尾聲，Brockman回答了來自英偉達創(chuàng)始人兼CEO黃仁勛的兩個問題，分別涉及未來AI基礎(chǔ)設(shè)施的形態(tài)與開發(fā)流程的演變。

Greg Brockman的這場采訪錄制于今年6月，以下是部分精彩內(nèi)容的整理（智東西在不改變原意的前提下，進行了一定程度的增刪修改）：

一、工程師與研究人員同等重要，加入OpenAI第一課是技術(shù)謙遜

主持人：2022年時你說，現(xiàn)在是成為機器學(xué)習(xí)工程師的時候了，偉大的工程師能夠在與偉大的研究人員相同的水平上為未來的進步做出貢獻。這在今天還成立嗎？

Greg Brockman：我認為工程師做的貢獻和研究人員是相仿的，甚至更大。

一開始，OpenAI在早期就是一群博士畢業(yè)的研究科學(xué)家，提出一些想法并進行測試，工程對這些研究是必不可少的。AlexNet本質(zhì)上是“在GPU上實現(xiàn)快速卷積內(nèi)核（convolutional kernels）”的工程。

有趣的是，當(dāng)時在Alex Krizhevsky實驗室的人實際上對這一研究不以為然，他們覺得AlexNet只是用于某個圖像數(shù)據(jù)集的快速內(nèi)核，并不重要。

但Ilya說：“我們可以將其應(yīng)用于ImageNet。效果肯定會很好?！边@一決定將偉大的工程與理論創(chuàng)新結(jié)合了起來。

我認為，我之前的看法至今依然有效。現(xiàn)在，業(yè)界所需的工程不僅僅是打造特定的內(nèi)核，而是構(gòu)建完整的系統(tǒng)，將其擴展到10萬塊GPU，打造強化學(xué)習(xí)系統(tǒng)，協(xié)調(diào)好各個部分之間的關(guān)系。

如果沒有創(chuàng)新的想法，就無事可做；如果沒有工程能力，那個想法就無法實現(xiàn)。我們要做的是將兩個方面和諧地結(jié)合在一起。

Ilya和Alex的關(guān)系，是研究與工程合作的象征，這種合作現(xiàn)在是OpenAI的哲學(xué)。

OpenAI從一開始就認為工程和研究同等重要，兩個團隊需要緊密合作。研究和工程之間的關(guān)系也是永遠無法完全解決的問題，解決了當(dāng)前水平的問題后，會面臨更復(fù)雜的問題。

我注意到，我們遇到的問題，基本與其他實驗室面臨的情況相同，只是我們可能會走得更遠，或出現(xiàn)一些不同的變體。我認為，這背后有一些根本性原因。在一開始，我明顯感受到工程背景與研究背景的人，對系統(tǒng)約束的理解，差異很大。

作為工程師，你會認為：“如果接口已經(jīng)確定，那就不必關(guān)心它背后的實現(xiàn)，我可以按任何我想要的方式來實現(xiàn)它?！?/p>

但作為研究人員，你會想：“如果系統(tǒng)的任何部分出現(xiàn)錯誤，我看到的只是性能稍有下降，沒有異常提示，也不知道錯誤在哪。我必須對整段代碼負責(zé)?！背墙涌诜浅７€(wěn)固、可以完全信賴——這是個很高的標(biāo)準(zhǔn)——否則研究人員就得對這段代碼負責(zé)。這種差異常常帶來摩擦。

我曾在一個早期項目中看到，工程師寫好代碼后，研究人員會對每一行進行大討論，進度極為緩慢。后來，我們改變了做法，我直接參與項目，一次提出五個想法，研究人員會說其中四個不行，而我會覺得這正是我想要的反饋。

我們意識到的最大價值，也是我常對來自工程界的OpenAI新同事強調(diào)的，就是技術(shù)上的謙遜。

你帶著寶貴技能進入這里，但這是與傳統(tǒng)互聯(lián)網(wǎng)初創(chuàng)公司截然不同的環(huán)境。要學(xué)會分辨什么時候可以依賴原有直覺，什么時候需要放下它們，這并不容易。

最重要的是，保持謙遜，認真傾聽，并假設(shè)自己還有未理解的地方，直到真正明白原因。那時再去改變架構(gòu)、調(diào)整抽象層。真正理解并帶著這種謙遜去做事，是決定成敗的關(guān)鍵因素。

二、部分科研算力被調(diào)給產(chǎn)品，OpenAI有時不得不“抵押未來”

主持人：我們來談?wù)凮penAI最近的一些重大發(fā)布，也分享幾個有趣的故事。其中一個特別值得一提的，是關(guān)于擴展性的問題——在不同數(shù)量級上，一切都有可能崩潰。

ChatGPT發(fā)布時，僅用五天就吸引了100萬用戶；而今年4.0版本的ImageGen發(fā)布后，同樣在五天內(nèi)，用戶數(shù)便突破了1億。這兩個階段相比，有哪些不同之處？

Greg Brockman：它們在很多方面都很相似。ChatGPT原本只是一次低調(diào)的研究預(yù)覽，我們悄悄發(fā)布，卻很快出現(xiàn)了系統(tǒng)崩潰的情況。

我們預(yù)料它會受歡迎，但當(dāng)時認為需要等到GPT-4才能真正達到這種熱度。內(nèi)部同事早已接觸過它，所以并不覺得驚艷。

這也是該領(lǐng)域的一個特點——更新節(jié)奏很快。你可能剛剛看到“這是我見過的最神奇的東西”，下一刻就會想：“為什么它不能一次合并10個PR（拉取請求）呢？”ImageGen的情況與之類似，發(fā)布后極受歡迎，傳播速度和用戶增長都令人難以置信。

為了支撐這兩次發(fā)布，我們甚至打破慣例，從研究中抽調(diào)部分計算資源用于產(chǎn)品上線。這相當(dāng)于“抵押未來”，以使系統(tǒng)正常工作，但如果能按時交付并滿足需求，讓更多人體驗到技術(shù)的魔力，這種取舍是值得的。

我們始終堅持同樣的理念——為用戶提供最佳體驗，推動技術(shù)發(fā)展，創(chuàng)造前所未有的成果，并盡全力將它們推向世界，取得成功。

三、AI編程不止“炫技”，正向嚴肅軟件工程轉(zhuǎn)型

主持人：“氛圍編程”（vibe coding）現(xiàn)在這已經(jīng)成為了一種現(xiàn)象。你對它有什么看法？

Greg Brockman：氛圍編程作為一種賦能機制，非常神奇，也體現(xiàn)了未來的發(fā)展趨勢。它的具體形式會隨著時間推移不斷變化。

即使是像Codex這樣的技術(shù)，我們的愿景也是：當(dāng)這些Agent真正投入使用時，不僅僅是一個或十個副本，而是可以同時運行成百上千、甚至十萬的Agent。

你會希望像對待同事一樣與它們協(xié)作——它們在云端運行，能連接到各種系統(tǒng)。即使你睡覺、筆記本電腦關(guān)機，它們?nèi)阅芾^續(xù)工作。

目前，人們普遍將氛圍編程視為一種交互式循環(huán)，但這種形態(tài)將會改變。未來的交互會越來越多，同時Agentic AI將介入并超越這種模式，從而推動更多系統(tǒng)的構(gòu)建。

一個有趣的現(xiàn)象是，許多氛圍編程的演示都集中在制作有趣的應(yīng)用或惡搞網(wǎng)站等“酷炫”項目上，但真正新穎且具有變革性的是，AI已經(jīng)開始能夠改造和深入現(xiàn)有應(yīng)用。

許多公司在處理遺留代碼庫時，需要遷移、更新庫、將COBOL等舊語言轉(zhuǎn)換為現(xiàn)代語言，這既困難又乏味，而AI正逐步解決這些問題。

氛圍編程的起點是“做一些很酷的應(yīng)用”，而它正在向嚴肅的軟件工程演進——尤其是在深入現(xiàn)有系統(tǒng)并進行改進的能力上。這將讓企業(yè)更快發(fā)展，而這正是我們的前進方向。

主持人：我聽說Codex對你來說有點像“親手養(yǎng)大的孩子”。你從一開始就強調(diào)要讓它模塊化、文檔完善。你認為Codex會怎樣改變我們的編程方式？

Greg Brockman：說它是我的“孩子”有點言過其實。我有一個非常出色的團隊，一直在努力支持他們及其愿景。這個方向既令人著迷，又充滿潛力。

最有趣的一點是，代碼庫的結(jié)構(gòu)，決定了能從Codex中獲得多少價值。

現(xiàn)有代碼庫大多是為了發(fā)揮人類的優(yōu)勢而設(shè)計的，而模型更擅長處理多樣化的任務(wù)，不像人類那樣能深度連接概念。如果系統(tǒng)能更契合模型的特點，效果會更好。

理想的做法是：將代碼拆分成更小的模塊，編寫快速可運行的高質(zhì)量測試，然后由模型來填充細節(jié)。模型會自行運行測試并完成實現(xiàn)。組件之間的連接（架構(gòu)圖）相對容易構(gòu)建，而細節(jié)填充往往最困難。

這種方式聽起來像是良好的軟件工程實踐，但現(xiàn)實中，由于人類可以在腦中處理更復(fù)雜的概念抽象，往往會省略這一步。編寫和完善測試是一項繁重的任務(wù)，而模型可以比人類多運行100倍甚至1000倍的測試，從而承擔(dān)更多工作。

在某種意義上，我們希望構(gòu)建的代碼庫更像是為初級開發(fā)人員而設(shè)計的，以便最大化模型的價值。當(dāng)然，隨著模型能力的提升，這種結(jié)構(gòu)是否仍然最優(yōu)，將會是一個有趣的問題。

這一思路的好處在于，它與人類為了可維護性本應(yīng)遵循的實踐一致。軟件工程的未來可能需要重新引入那些我們?yōu)榱俗呓輳蕉艞壍淖龇ǎ瑥亩屜到y(tǒng)發(fā)揮最大價值。

四、訓(xùn)練系統(tǒng)愈加復(fù)雜，檢查點設(shè)計需同步更新

問：我們現(xiàn)在執(zhí)行的任務(wù)往往耗時更長、占用更多GPU，而且可靠性不高，經(jīng)常出現(xiàn)失敗，導(dǎo)致訓(xùn)練中斷。這一點眾所周知。

不過你提到過，可以重新啟動一次運行，這沒問題。但當(dāng)你需要訓(xùn)練具有長期軌跡的Agent時，該如何應(yīng)對？因為如果軌跡本身具有非確定性，且已經(jīng)進行到一半，就很難真正從頭重啟。

Greg Brockman：隨著模型能力的提升，你會不斷遇到新問題、解決問題、再遇到新的挑戰(zhàn)。

當(dāng)運行時間很短時，這些問題并不顯著；但如果任務(wù)需要運行幾天，就必須認真考慮如何保存狀態(tài)等細節(jié)。簡而言之，隨著訓(xùn)練系統(tǒng)復(fù)雜度增加，這類問題必須得到重視。

幾年前，我們主要關(guān)注傳統(tǒng)的無監(jiān)督訓(xùn)練，保存檢查點相對簡單，但即便如此，也并非易事。如果要從“偶爾保存檢查點”轉(zhuǎn)為“每一步都保存”，就必須嚴肅考慮如何避免數(shù)據(jù)復(fù)制、阻塞等問題。

在更復(fù)雜的強化學(xué)習(xí)系統(tǒng)中，檢查點仍然重要，比如保存緩存以避免重復(fù)計算。我們的系統(tǒng)有個優(yōu)勢：語言模型的狀態(tài)相對明確，易于存儲和處理。但如果連接的外部工具本身有狀態(tài)，就可能無法在中斷后順利恢復(fù)。

因此，需要端到端地規(guī)劃整個系統(tǒng)的檢查點機制?；蛟S在某些情況下，中斷并重啟系統(tǒng)、讓結(jié)果曲線出現(xiàn)一些波動是可以接受的，因為模型足夠智能，可以應(yīng)對這種情況。我們計劃推出的新功能，就是允許用戶接管虛擬機，保存其狀態(tài)后再恢復(fù)運行。

五、做AGI不僅是做軟件，還需同步打造超級計算機

黃仁勛：真希望我能在現(xiàn)場親自向你提問。在這個新的世界里，數(shù)據(jù)中心的工作負載和AI基礎(chǔ)設(shè)施將變得極其多樣化。一方面，有些Agent進行深度研究，負責(zé)思考、推理和規(guī)劃，并且需要大量內(nèi)存；另一方面，有些Agent需要盡可能快速地做出響應(yīng)。

如何構(gòu)建一個AI基礎(chǔ)設(shè)施，使其既能高效處理大量預(yù)填充任務(wù)、大量解碼任務(wù)以及介于兩者之間的工作負載，同時又能滿足那些需要低延遲、高性能的多模態(tài)視覺和語音AI的需求？這些AI就像你的R2-D2（星球大戰(zhàn)中的機器人），或你的隨時可用的伴侶。

這兩類工作負載截然不同：一種超級計算密集，可能運行很長時間；另一種要求低延遲。未來理想的AI基礎(chǔ)設(shè)施是什么樣的呢？

Greg Brockman：當(dāng)然，這需要大量的GPU。如果我要總結(jié)的話，老黃希望我告訴他應(yīng)該建造什么樣的硬件。

有兩類需求：一類是長期、大規(guī)模計算需求，另一類是實時、即時計算需求。這確實很難，因為這是一個復(fù)雜的協(xié)同設(shè)計問題。

我是做軟件出身的，我們最初以為只是在開發(fā)AGI（通用人工智能）軟件，但很快就意識到，要實現(xiàn)這些目標(biāo)，就必須建設(shè)大規(guī)模的基礎(chǔ)設(shè)施。

如果我們想打造真正改變世界的系統(tǒng)，可能需要建造人類歷史上最大的計算機，這在某種程度上是合理的。

一種簡單的做法是，確實需要兩類加速器：一種追求計算性能最大化，另一種追求極低延遲。在一類上堆疊大量高帶寬存儲器（HBM），另一類上堆疊大量計算單元，這樣就基本解決問題。真正難的是預(yù)測兩類需求的比例。如果平衡失誤，部分機群可能會變得無用，這聽起來很可怕。

不過，由于這個領(lǐng)域沒有固定規(guī)則和約束，主要是優(yōu)化問題，如果工程師資源配置出現(xiàn)偏差，我們通常也能找到辦法利用這些資源，盡管可能付出較大代價。

例如，整個行業(yè)都在轉(zhuǎn)向混合專家模型（Mixture-of-Experts）。某種程度上，這是因為部分DRAM被閑置了，我們就利用這些閑置資源增加模型參數(shù)，從而提高機器學(xué)習(xí)計算效率，而不會增加額外計算成本。所以，即使資源平衡出錯，也不至于造成災(zāi)難。

加速器的同質(zhì)化是一個良好的起點，但我認為，最終為特定用途定制加速器也是合理的。隨著基礎(chǔ)設(shè)施資本支出達到驚人的規(guī)模，對工作負載進行高度優(yōu)化也變得合理。

但業(yè)界還沒有定論，因為研究發(fā)展速度非?？欤@又在很大程度上主導(dǎo)了整個方向。

六、基礎(chǔ)研究正在回歸，算法取代數(shù)據(jù)、算力成為關(guān)鍵瓶頸

問：我本來沒有打算問這個問題，但你提到了研究。你能對GPT-6擴展過程中面臨的瓶頸進行排名嗎？計算、數(shù)據(jù)、算法、電力、資金。哪幾個是第一和第二？OpenAI最受限于哪一個？

Greg Brockman：我認為，我們現(xiàn)在正處于一個基礎(chǔ)研究回歸的時代，這令人非常興奮。曾經(jīng)有一段時間，人們的關(guān)注點是：我們有了Transformer，那就不斷擴展它。

在這些明確的問題中，主要任務(wù)只是提高指標(biāo)，這固然有趣，但在某種程度上也令人感到在智力上不夠具有挑戰(zhàn)性，不讓人滿足。生活中不應(yīng)只有“Attention is All You Need”原始論文的思路。

如今，我們看到的情況是，隨著算力和數(shù)據(jù)規(guī)模的快速擴展，算法的重要性再次凸顯，幾乎成為未來進步的關(guān)鍵瓶頸。

這些問題都是基礎(chǔ)而關(guān)鍵的環(huán)節(jié)，雖然在日常看起來可能有些不平衡，但從根本上，這些平衡必須保持?？吹綇娀瘜W(xué)習(xí)等范式的進展非常令人振奮，這也是我們多年來有意識投資的領(lǐng)域。

當(dāng)我們訓(xùn)練GPT-4時，第一次與它交互時，大家都會想：“這是AGI嗎？”顯然還不是AGI，但又很難明確說明為什么不是。它表現(xiàn)得非常流暢，但有時會走上錯誤的方向。

這說明可靠性仍是一個核心問題：它從未真正體驗過這個世界，更像是一個只讀過所有書籍或僅通過觀察世界來了解的人，與世界隔著一扇玻璃窗。

因此，我們意識到需要不同的范式，并持續(xù)推動改進，直到系統(tǒng)真正具備實際能力。我認為，這種情況至今仍然存在，還有許多明顯的能力缺口需要彌補。只要持續(xù)推進，我們終將達到目標(biāo)。

七、“多樣化模型庫”逐漸成形，未來經(jīng)濟將由AI驅(qū)動

黃仁勛：對于在場的AI原生工程師來說，他們可能在想，未來幾年，OpenAI將擁有AGI（通用人工智能），他們將在OpenAI的AGI之上構(gòu)建特定領(lǐng)域的Agent。隨著OpenAI的AGI變得越來越強大，他們的開發(fā)流程將如何改變？

Greg Brockman：我認為這是一個非常有趣的問題?？梢詮姆浅V泛的角度去看，觀點堅定但互不相同。我的看法是：首先，一切皆有可能。

也許未來AI會強大到我們只需讓它們編寫所有代碼；也許會有在云端運行的AI；也許會有許多特定領(lǐng)域的Agent，需要大量定制工作才能實現(xiàn)。

我認為趨勢正在向這種“多樣化模型庫”的方向發(fā)展，這非常令人興奮，因為不同模型有不同的推理成本，從系統(tǒng)角度來看，蒸餾技術(shù)發(fā)揮得很好。實際上，很多能力來自于一個模型能調(diào)用其他模型的能力。

這將創(chuàng)造大量機會，我們正走向一個由AI驅(qū)動的經(jīng)濟。雖然我們還未完全到達，但跡象已經(jīng)顯現(xiàn)。當(dāng)前在場的人正在構(gòu)建這一切。經(jīng)濟系統(tǒng)非常龐大、多樣且動態(tài)。