henry 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

為大模型開啟“下半場(chǎng)”的姚順雨，也開啟了個(gè)人AI的下半場(chǎng)。

就在最近，這位明星OpenAI華人研究員的動(dòng)態(tài)，開始被火熱關(guān)注。

之前有人說他出現(xiàn)在小扎的必挖名單上，也有人最近爆料他即將加盟其他的巨頭——而且是中國科技巨頭，“轉(zhuǎn)會(huì)費(fèi)”也有了驚人傳聞。以及還有一種說法，姚順雨選擇個(gè)人創(chuàng)業(yè)……

姚順雨去哪兒？還不知道。

但姚順雨離職OpenAI，得到了不同渠道的證實(shí)，只差個(gè)人官宣。

他似乎就此要開啟個(gè)人AI的下半場(chǎng)了。

這個(gè)剛剛29歲的年輕人，合肥一中畢業(yè)、NOI奧賽銀牌、高考704分以安徽探花進(jìn)入清華姚班，最后在普林斯頓獲得計(jì)算機(jī)博士（語言和強(qiáng)化學(xué)習(xí)方向），畢業(yè)就加入了OpenAI……

而且更早之前，姚順雨就有著突出而知名的科研成果，比如：

思維樹（Tree of Thoughts）：讓LLM反復(fù)思考，大幅提高推理能力SWE-bench：一個(gè)大模型能力評(píng)估數(shù)據(jù)集。SWE-agent：一個(gè)開源AI程序員。ReAct…

甚至還有超越年齡的哲思，一篇“AI下半場(chǎng)”的博文，在AI圈內(nèi)外洛陽紙貴。

所以姚順雨，究竟是一個(gè)怎樣的年輕人？

姚順雨成長之路

在2024年剛加入OpenAI不久，姚順雨在一次采訪中推薦了一本書——《哥德爾、艾舍爾、巴赫：集異璧之大成》。

這部由人工智能先驅(qū)侯世達(dá)撰寫的經(jīng)典著作，將哥德爾的不完備定理、艾舍爾的錯(cuò)覺繪畫和巴赫的復(fù)調(diào)卡農(nóng)巧妙融匯，展現(xiàn)了這些看似無關(guān)的元素如何在計(jì)算機(jī)的通用遞歸系統(tǒng)中彼此呼應(yīng)，并留下了一句意味深長的話：覓之，便有所獲

正如這本書所啟發(fā)的那樣，跨學(xué)科的眼光與對(duì)復(fù)雜信息的開放態(tài)度，似乎貫穿著姚順雨的整個(gè)求學(xué)生涯，并逐漸形成一種個(gè)人的風(fēng)格特質(zhì)。

和所有的學(xué)霸一樣，姚順雨初中就讀于合肥最好的學(xué)校之一——合肥45中（2009—2012），初中畢業(yè)后升入合肥市第一中學(xué)

2014 年，他在全國信息學(xué)奧林匹克競(jìng)賽（NOI）中以495分?jǐn)孬@銀牌；次年高考以理科704分的成績(jī)位列安徽省第三，進(jìn)入清華交叉信息研究院姚班，主修計(jì)算機(jī)科學(xué)。

而這看似“標(biāo)準(zhǔn)學(xué)霸”的開局背后，其實(shí)孕育著一顆不太一樣，甚至稍有反叛的氣質(zhì)。

△來自清小華

姚順雨在采訪中透露，相較其他清華姚班的同學(xué)專注于一點(diǎn)，不斷深挖的品質(zhì)，他更愛看很多數(shù)學(xué)，歷史，乃至種各樣亂七八糟的東西。

而他對(duì)嘻哈音樂的熱愛，也早已不是什么新聞。

艾米納姆、蛋堡、熱狗、Jcole等說唱歌手伴隨著他的初高中，而在清華他還是清華大學(xué)學(xué)生說唱社聯(lián)合創(chuàng)始人。

值得一提的是，在清華大學(xué)2019年各類型自主選拔復(fù)試的開營儀式上，姚順雨就給未來的學(xué)弟學(xué)妹們甩出了一句堪稱“freestyle”的理由，解釋自己為什么選清華：

但是對(duì)于我來說，選擇清華、北大并不是問題，因?yàn)楸贝鬀]有我姓氏命名的班級(jí)。

除了擔(dān)任說唱社聯(lián)合創(chuàng)始人外，姚順雨還擔(dān)任清華的招生志愿者和姚班聯(lián)席會(huì)主席。在談及姚班對(duì)他的影響時(shí)，他提到：

姚班很注重理論基礎(chǔ)課程的學(xué)習(xí)，像操作系統(tǒng)或電路設(shè)計(jì)相關(guān)的課，看上去和科研好像沒有任何關(guān)系，但是現(xiàn)在看來還是有些幫助的。它能使你對(duì)計(jì)算機(jī)科學(xué)的全貌有基本了解。

△（姚班合影，清華招生公眾號(hào)）

這種兼容各類信息、涉獵不同學(xué)科并從中尋找樂趣的跨界氣質(zhì)，在姚順雨身上表現(xiàn)得尤為明顯。用以賽亞·伯林的話來說，他更像是一只“狐貍”，而不是一只“刺猬”，而這也體現(xiàn)在他后續(xù)的研究中。

（注：柏林的“刺猬”比喻那些專注于單一核心理念的人，他們把所有經(jīng)驗(yàn)都套用到這個(gè)中心觀點(diǎn)上；而“狐貍”則指那些涉獵廣泛、善于靈活應(yīng)對(duì)不同問題的人，更依賴多樣化的策略和視角）

讓人頗感驚訝的是，在大三下學(xué)期之前，姚順雨既沒有接觸過AI，甚至連科研也沒有做過。

一次交換的機(jī)會(huì)讓他去了MIT，在此之后，他才開始跟著吳佳俊做一些計(jì)算機(jī)、視覺以及認(rèn)知科學(xué)的研究。

姚順雨表示，在跟隨吳佳俊和學(xué)長Jun-Yan Zhu學(xué)習(xí)時(shí)，他不僅掌握了實(shí)驗(yàn)、匯報(bào)等研究入門的基本功，更受到思想上的深刻影響，他由此認(rèn)識(shí)到心理學(xué)與人工智能的交叉，學(xué)會(huì)了從更高維度和整體框架去思考問題。

結(jié)束姚班四年的學(xué)習(xí)后，2019年，他正式前往普林斯頓攻讀博士，跨界氣質(zhì)再次顯現(xiàn)。

本科階段他主要研究計(jì)算機(jī)視覺，而博士階段，本來被計(jì)算機(jī)視覺方向錄取的他，卻因?yàn)榕d趣轉(zhuǎn)向，自行聯(lián)系了自然語言處理（NLP）領(lǐng)域的導(dǎo)師。最終，他因機(jī)緣巧合加入了Karthik Narasimhan的團(tuán)隊(duì)，開始從事自然語言處理與強(qiáng)化學(xué)習(xí)的研究。

這等于是從視覺轉(zhuǎn)到了語言，但“覓之，便有所獲”。姚順雨在事后回想到，這種跨界也是他的幸運(yùn)之處，因?yàn)楸藭r(shí)正逢GPT-2興起。因此，在博士的第一年，他就已經(jīng)開始想著如何讓language model變成Agent.

而對(duì)（通用）Agent的關(guān)注貫穿著他的研究。

姚順雨博士生涯的第一個(gè)工作叫CALM（2020），研究如何用語言模型來作為Agent來玩語言游戲。

在CALM 中，語言就像媒介：它把人類經(jīng)驗(yàn)和語義模式轉(zhuǎn)化為可操作的動(dòng)作候選，同時(shí)承載上下文信息，使智能體在龐大的動(dòng)作空間中高效決策。

姚順雨表示，雖然這篇工作并不像swebench、ReAct或思維樹那么有名，但對(duì)他來說具有重要意義。

在張小珺的對(duì)談中，我們發(fā)現(xiàn)姚順雨對(duì)語言的關(guān)注早在這篇5年前的論文中就已萌芽。

語言是人為了實(shí)現(xiàn)泛化而發(fā)明出來的工具，這一點(diǎn)比其他東西更本質(zhì)。

換句話說，用語言來玩游戲是無限的，Agent可以憑借語言進(jìn)行推理和組合，在不同的上下文中找到合適的動(dòng)作，泛化就由此而來。

換句話說，Agent也需要具備“跨界”能力，而語言則是絕佳的媒介。

然而，姚順雨也意識(shí)到，如果沒有一個(gè)好的任務(wù)或環(huán)境，即使把“游戲”玩得再高分，也毫無意義。

基于這一思考，他的第二篇工作WebShop構(gòu)建了一個(gè)大規(guī)模模擬電商環(huán)境，使智能體通過理解復(fù)雜文本指令，在網(wǎng)頁中進(jìn)行導(dǎo)航和操作，從而推動(dòng)語言理解與決策能力在真實(shí)世界任務(wù)中的應(yīng)用與驗(yàn)證。

同樣的，后來的經(jīng)典工作SWE-BenchSWE-agent也是針對(duì)一個(gè)有意義的任務(wù)（現(xiàn)實(shí)編程）展開對(duì)Agent能力的驗(yàn)證。

而當(dāng)時(shí)間到了2022 年，GPT-3.5的出現(xiàn)改變了一切。

眾所周知，讓一張白紙反復(fù)試錯(cuò)的效率極低，而在傳統(tǒng)強(qiáng)化學(xué)習(xí)中，這種低效嘗試卻屢見不鮮：智能體通常要么被限制只做單一任務(wù)，比如下圍棋，要么在龐大的動(dòng)作空間中盲目探索。

GPT-3.5 讓人們意識(shí)到，之前缺失的是先驗(yàn)知識(shí)：通過強(qiáng)大的語言預(yù)訓(xùn)練，將常識(shí)和語言知識(shí)融入模型，再通過微調(diào)，它才能成為具備跨界氣質(zhì)、擁有泛化能力的Agent。

正如姚順雨所說：如果你的Pre-Training（預(yù)訓(xùn)練）已經(jīng)包含了所有事情，那么RL（強(qiáng)化學(xué)習(xí)）只是激發(fā)出這些能力的skill（技能）。

在受到GPT-3.5的啟發(fā)后，姚順雨就做了ReAct（ReAct: Synergizing Reasoning and Acting in Language Models），讓大語言模型在與外部環(huán)境交互時(shí)，同時(shí)進(jìn)行“推理”和“行動(dòng)”。

姚順雨后來評(píng)價(jià)到這是他最喜歡的工作（也是他目前被引次數(shù)最高的工作）。基于此，他的研究逐漸轉(zhuǎn)向于兩個(gè)核心，一是怎么去做一些有價(jià)值、和現(xiàn)實(shí)世界更相關(guān)的任務(wù)和環(huán)境；二是怎么去做一些簡(jiǎn)單、但又通用的方法。

不過，為了實(shí)現(xiàn)通用，泛化，必須學(xué)會(huì)推理。而語言模型剛好提供了一個(gè)足夠強(qiáng)的先驗(yàn)（prior），這個(gè)先驗(yàn)讓你可以推理，而推理又能在不同的環(huán)境間泛化。

于是，在GPT、思維鏈等工作的基礎(chǔ)上，思維樹（Tree of Thoughts, ToT）讓語言模型通過多路徑探索和自我評(píng)估，從而實(shí)現(xiàn)比傳統(tǒng)左到右推理更高效的復(fù)雜問題解決能力。

回顧姚順雨的求學(xué)與研究，不難發(fā)現(xiàn)，無論是他對(duì)通用智能體的追求，還是對(duì)語言作為認(rèn)知與決策媒介的熱忱，都是對(duì)跨界思維與泛化能力的持續(xù)探索。

28歲的九局下半

相比于熱狗的23歲，28歲博士畢業(yè)進(jìn)入OpenAI的姚順雨，才真正迎來自己的的“九局下半”。

2024年8月1日，姚順雨宣布加入OpenAI，一時(shí)間，說是萬眾矚目也毫不為過。

PS：在說到姚順雨與OpenAI的淵源時(shí)，一個(gè)不太冷的冷知識(shí)是姚順雨的導(dǎo)師Karthik Narasimhan是GPT?1第二作者。

在加入OpenAI的一年多時(shí)間，姚順雨最出圈的莫過于今年4月發(fā)表的博文《The Second Half》，宣告AI主線程的游戲已進(jìn)入下半場(chǎng)。

（是的，AI也迎來了自己的九局下半）

姚順雨表示：AI發(fā)展分為上下兩階段。上半場(chǎng)以模型和方法為中心，核心構(gòu)建了模型和訓(xùn)練方法；隨著AI技術(shù)成熟，下半場(chǎng)的重點(diǎn)轉(zhuǎn)向如何定義有現(xiàn)實(shí)意義的任務(wù)、如何有效評(píng)估AI系統(tǒng)的表現(xiàn)。

新的評(píng)估應(yīng)該貼近現(xiàn)實(shí)世界任務(wù)、優(yōu)化模型配方解決任務(wù)，形成新的正向循環(huán)。

在這，我們不難看出姚順雨姿態(tài)的轉(zhuǎn)變：從專注求解的科研工作者，逐漸成長為善于發(fā)現(xiàn)需求的“產(chǎn)品經(jīng)理”。

據(jù)剛剛曝光的一次與張小珺的訪談中，姚順雨也談到了創(chuàng)業(yè)的底層邏輯：

畢業(yè)前我想得多的是，怎么創(chuàng)造一個(gè)愛因斯坦？我那時(shí)是比較academia（學(xué)院派）的人——你在普林斯頓，你的偶像是馮諾依曼、愛因斯坦——很自然，能想到最有意思的任務(wù)是，我能不能發(fā)現(xiàn)下一個(gè)相對(duì)論？這毫無疑問能標(biāo)志，AGI或ASI（超人工智能）實(shí)現(xiàn)了。后來，我到了硅谷，到了加州，進(jìn)入公司之后，我發(fā)現(xiàn)人類的組織也是一個(gè)有意思的事情。如果能創(chuàng)造一家新的公司，創(chuàng)造一個(gè)one trillion dollar（一萬億美元）、基于Agent的公司，是很有意思的。而當(dāng)談到是否會(huì)出去創(chuàng)業(yè)時(shí)，姚順雨更是坦率地表示：OpenAI大多數(shù)人都會(huì)考慮創(chuàng)業(yè)。他需要去做更有挑戰(zhàn)的事情，去創(chuàng)業(yè)是很自然的。當(dāng)然，還是應(yīng)該找到一個(gè)好的事情。他喜歡把事情想得清楚一點(diǎn)再去做。

當(dāng)然，從OpenAI離職也不一定非得創(chuàng)業(yè)，比如姚順雨的導(dǎo)師Karthik Narasimhan，就在OpenAI呆了一年后，選擇了離開，并去普林斯頓繼續(xù)象牙塔科研了。

如今，姚順雨加入OpenAI也過了整整一個(gè)年頭。

有爆料說“姚順雨上億薪資入職騰訊”，但被騰訊官方對(duì)外辟謠否認(rèn)了。

還有一家全新的創(chuàng)業(yè)公司剛剛被注冊(cè)，法人代表正是“姚順雨”——

但目前依然難以確定這個(gè)“姚順雨”是不是就是我們談?wù)摰囊樣辏吘菇小皥蛩从怼边@種好名字的，僅僅AI領(lǐng)域，不止一位…

總之，祝福姚順雨開啟下半場(chǎng)。

[1]https://openreview.net/profile?id=~Shunyu_Yao1&utm_source=chatgpt.com
[2]https://ysymyth.github.io/?utm_source=chatgpt.com
[3]https://x.com/shunyuyao12?lang=en&utm_source=chatgpt.com