Datawhale分享

最新：姚順雨，編輯：量子位

為大模型開啟“下半場”的 姚順雨，也開啟了個人AI的下半場。

就在最近，這位明星OpenAI華人研究員的動態(tài)，開始被火熱關(guān)注。

之前有人說他出現(xiàn)在小扎的必挖名單上，也有人最近爆料他即將加盟其他的巨頭——而且是中國科技巨頭，“轉(zhuǎn)會費”也有了驚人傳聞。以及還有一種說法，姚順雨選擇個人創(chuàng)業(yè)……

姚順雨去哪兒？還不知道。

但姚順雨離職OpenAI，得到了不同渠道的證實，只差個人官宣。

他似乎就此要開啟個人AI的下半場了。

這個剛剛29歲的年輕人， 合肥一中畢業(yè)、NOI奧賽銀牌、高考704分以安徽探花進入清華姚班，最后在普林斯頓獲得計算機博士（語言和強化學習方向），畢業(yè)就加入了OpenAI……

而且更早之前，姚順雨就有著突出而知名的科研成果，比如：

思維樹（Tree of Thoughts）：讓LLM反復(fù)思考，大幅提高推理能力

SWE-bench：一個大模型能力評估數(shù)據(jù)集。

SWE-agent：一個開源AI程序員。

ReAct…

甚至還有超越年齡的哲思，一篇“AI下半場”的博文，在AI圈內(nèi)外洛陽紙貴。

所以姚順雨，究竟是一個怎樣的年輕人？

姚順雨成長之路

在2024年剛加入OpenAI不久，姚順雨在一次采訪中推薦了一本書——《哥德爾、艾舍爾、巴赫：集異璧之大成》。

這部由人工智能先驅(qū)侯世達撰寫的經(jīng)典著作，將哥德爾的不完備定理、艾舍爾的錯覺繪畫和巴赫的復(fù)調(diào)卡農(nóng)巧妙融匯，展現(xiàn)了這些看似無關(guān)的元素如何在計算機的通用遞歸系統(tǒng)中彼此呼應(yīng)，并留下了一句意味深長的話：覓之，便有所獲。

正如這本書所啟發(fā)的那樣，跨學科的眼光與對復(fù)雜信息的開放態(tài)度，似乎貫穿著姚順雨的整個求學生涯，并逐漸形成一種個人的風格特質(zhì)。

和所有的學霸一樣，姚順雨初中就讀于合肥最好的學校之一——合肥45中（2009—2012），初中畢業(yè)后升入合肥市第一中學。

2014 年，他在全國信息學奧林匹克競賽（NOI）中以495分斬獲銀牌；次年高考以理科704分的成績位列安徽省第三，進入清華交叉信息研究院姚班，主修計算機科學。

而這看似“標準學霸”的開局背后，其實孕育著一顆不太一樣，甚至稍有反叛的氣質(zhì)。

△來自清小華

姚順雨在采訪中透露，相較其他清華姚班的同學專注于一點，不斷深挖的品質(zhì)，他更愛看很多數(shù)學，歷史，乃至種各樣亂七八糟的東西。

而他對嘻哈音樂的熱愛，也早已不是什么新聞。

艾米納姆、蛋堡、熱狗、Jcole等說唱歌手伴隨著他的初高中，而在清華他還是清華大學學生說唱社聯(lián)合創(chuàng)始人。

值得一提的是，在清華大學2019年各類型自主選拔復(fù)試的開營儀式上，姚順雨就給未來的學弟學妹們甩出了一句堪稱“freestyle”的理由，解釋自己為什么選清華：

但是對于我來說，選擇清華、北大并不是問題，因為北大沒有我姓氏命名的班級。

除了擔任說唱社聯(lián)合創(chuàng)始人外，姚順雨還擔任清華的招生志愿者和姚班聯(lián)席會主席。在談及姚班對他的影響時，他提到：

姚班很注重理論基礎(chǔ)課程的學習，像操作系統(tǒng)或電路設(shè)計相關(guān)的課，看上去和科研好像沒有任何關(guān)系，但是現(xiàn)在看來還是有些幫助的。它能使你對計算機科學的全貌有基本了解。

△（姚班合影，清華招生公眾號）

這種兼容各類信息、涉獵不同學科并從中尋找樂趣的跨界氣質(zhì)，在姚順雨身上表現(xiàn)得尤為明顯。用以賽亞·伯林的話來說，他更像是一只“狐貍”，而不是一只“刺猬”，而這也體現(xiàn)在他后續(xù)的研究中。

（注：柏林的“刺猬”比喻那些專注于單一核心理念的人，他們把所有經(jīng)驗都套用到這個中心觀點上；而“狐貍”則指那些涉獵廣泛、善于靈活應(yīng)對不同問題的人，更依賴多樣化的策略和視角）

讓人頗感驚訝的是，在大三下學期之前，姚順雨既沒有接觸過AI，甚至連科研也沒有做過。

一次交換的機會讓他去了MIT，在此之后，他才開始跟著吳佳俊做一些計算機、視覺以及認知科學的研究。

姚順雨表示，在跟隨吳佳俊和學長Jun-Yan Zhu學習時，他不僅掌握了實驗、匯報等研究入門的基本功，更受到思想上的深刻影響，他由此認識到心理學與人工智能的交叉，學會了從更高維度和整體框架去思考問題。

結(jié)束姚班四年的學習后，2019年，他正式前往普林斯頓攻讀博士，跨界氣質(zhì)再次顯現(xiàn)。

本科階段他主要研究計算機視覺，而博士階段，本來被計算機視覺方向錄取的他，卻因為興趣轉(zhuǎn)向，自行聯(lián)系了自然語言處理（NLP）領(lǐng)域的導(dǎo)師。最終，他因機緣巧合加入了Karthik Narasimhan的團隊，開始從事自然語言處理與強化學習的研究。

這等于是從視覺轉(zhuǎn)到了語言，但“覓之，便有所獲”。姚順雨在事后回想到，這種跨界也是他的幸運之處，因為彼時正逢GPT-2興起。因此，在博士的第一年，他就已經(jīng)開始想著如何讓language model變成Agent.

而對（通用）Agent的關(guān)注貫穿著他的研究。

姚順雨博士生涯的第一個工作叫CALM（2020），研究如何用語言模型來作為Agent來玩語言游戲。

在CALM 中，語言就像媒介：它把人類經(jīng)驗和語義模式轉(zhuǎn)化為可操作的動作候選，同時承載上下文信息，使智能體在龐大的動作空間中高效決策。

姚順雨表示，雖然這篇工作并不像swebench、ReAct或思維樹那么有名，但對他來說具有重要意義。

在張小珺的對談中，我們發(fā)現(xiàn)姚順雨對語言的關(guān)注早在這篇5年前的論文中就已萌芽。

語言是人為了實現(xiàn)泛化而發(fā)明出來的工具，這一點比其他東西更本質(zhì)。

換句話說，用語言來玩游戲是無限的，Agent可以憑借語言進行推理和組合，在不同的上下文中找到合適的動作，泛化就由此而來。

換句話說，Agent也需要具備“跨界”能力，而語言則是絕佳的媒介。

然而，姚順雨也意識到，如果沒有一個好的任務(wù)或環(huán)境，即使把“游戲”玩得再高分，也毫無意義。

基于這一思考，他的第二篇工作WebShop構(gòu)建了一個大規(guī)模模擬電商環(huán)境，使智能體通過理解復(fù)雜文本指令，在網(wǎng)頁中進行導(dǎo)航和操作，從而推動語言理解與決策能力在真實世界任務(wù)中的應(yīng)用與驗證。

同樣的，后來的經(jīng)典工作SWE-Bench和SWE-agent也是針對一個有意義的任務(wù)（現(xiàn)實編程）展開對Agent能力的驗證。

而當時間到了2022 年，GPT-3.5的出現(xiàn)改變了一切。

眾所周知，讓一張白紙反復(fù)試錯的效率極低，而在傳統(tǒng)強化學習中，這種低效嘗試卻屢見不鮮：智能體通常要么被限制只做單一任務(wù)，比如下圍棋，要么在龐大的動作空間中盲目探索。

GPT-3.5 讓人們意識到，之前缺失的是先驗知識：通過強大的語言預(yù)訓練，將常識和語言知識融入模型，再通過微調(diào)，它才能成為具備跨界氣質(zhì)、擁有泛化能力的Agent。

正如姚順雨所說：如果你的Pre-Training（預(yù)訓練）已經(jīng)包含了所有事情，那么RL（強化學習）只是激發(fā)出這些能力的skill（技能）。

在受到GPT-3.5的啟發(fā)后，姚順雨就做了ReAct（ReAct: Synergizing Reasoning and Acting in Language Models），讓大語言模型在與外部環(huán)境交互時，同時進行“推理”和“行動”。

姚順雨后來評價到這是他最喜歡的工作（也是他目前被引次數(shù)最高的工作）。基于此，他的研究逐漸轉(zhuǎn)向于兩個核心，一是怎么去做一些有價值、和現(xiàn)實世界更相關(guān)的任務(wù)和環(huán)境；二是怎么去做一些簡單、但又通用的方法。

不過，為了實現(xiàn)通用，泛化，必須學會推理。而語言模型剛好提供了一個足夠強的先驗（prior），這個先驗讓你可以推理，而推理又能在不同的環(huán)境間泛化。

于是，在GPT、思維鏈等工作的基礎(chǔ)上，思維樹（Tree of Thoughts, ToT）讓語言模型通過多路徑探索和自我評估，從而實現(xiàn)比傳統(tǒng)左到右推理更高效的復(fù)雜問題解決能力。

回顧姚順雨的求學與研究，不難發(fā)現(xiàn)，無論是他對通用智能體的追求，還是對語言作為認知與決策媒介的熱忱，都是對跨界思維與泛化能力的持續(xù)探索。

28歲的九局下半

相比于熱狗的23歲，28歲博士畢業(yè)進入OpenAI的姚順雨，才真正迎來自己的的“九局下半”。

2024年8月1日，姚順雨宣布加入OpenAI，一時間，說是萬眾矚目也毫不為過。

PS：在說到姚順雨與OpenAI的淵源時，一個不太冷的冷知識是姚順雨的導(dǎo)師Karthik Narasimhan是GPT?1第二作者。

在加入OpenAI的一年多時間，姚順雨最出圈的莫過于今年4月發(fā)表的博文《The Second Half》，宣告AI主線程的游戲已進入下半場。

（是的，AI也迎來了自己的九局下半）

姚順雨表示：AI發(fā)展分為上下兩階段。上半場以模型和方法為中心，核心構(gòu)建了模型和訓練方法；隨著AI技術(shù)成熟，下半場的重點轉(zhuǎn)向如何定義有現(xiàn)實意義的任務(wù)、如何有效評估AI系統(tǒng)的表現(xiàn)。

新的評估應(yīng)該貼近現(xiàn)實世界任務(wù)、優(yōu)化模型配方解決任務(wù)，形成新的正向循環(huán)。

在這，我們不難看出姚順雨姿態(tài)的轉(zhuǎn)變：從專注求解的科研工作者，逐漸成長為善于發(fā)現(xiàn)需求的“產(chǎn)品經(jīng)理”。

據(jù)剛剛曝光的一次與張小珺的訪談中，姚順雨也談到了創(chuàng)業(yè)的底層邏輯：

畢業(yè)前我想得多的是，怎么創(chuàng)造一個愛因斯坦？我那時是比較academia（學院派）的人——你在普林斯頓，你的偶像是馮諾依曼、愛因斯坦——很自然，能想到最有意思的任務(wù)是，我能不能發(fā)現(xiàn)下一個相對論？這毫無疑問能標志，AGI或ASI（超人工智能）實現(xiàn)了。后來，我到了硅谷，到了加州，進入公司之后，我發(fā)現(xiàn)人類的組織也是一個有意思的事情。如果能創(chuàng)造一家新的公司，創(chuàng)造一個one trillion dollar（一萬億美元）、基于Agent的公司，是很有意思的。

而當談到是否會出去創(chuàng)業(yè)時，姚順雨更是坦率地表示：OpenAI大多數(shù)人都會考慮創(chuàng)業(yè)。他需要去做更有挑戰(zhàn)的事情，去創(chuàng)業(yè)是很自然的。當然，還是應(yīng)該找到一個好的事情。他喜歡把事情想得清楚一點再去做。

當然，從OpenAI離職也不一定非得創(chuàng)業(yè)，比如姚順雨的導(dǎo)師Karthik Narasimhan，就在OpenAI呆了一年后，選擇了離開，并去普林斯頓繼續(xù)象牙塔科研了。

如今，姚順雨加入OpenAI也過了整整一個年頭。

有爆料說“姚順雨上億薪資入職騰訊”，但被騰訊官方對外辟謠否認了。

還有一家全新的創(chuàng)業(yè)公司剛剛被注冊，法人代表正是“姚順雨”——

但目前依然難以確定這個“姚順雨”是不是就是我們談?wù)摰囊樣辏吘菇小皥蛩从怼边@種好名字的，僅僅AI領(lǐng)域，不止一位…

總之，祝福姚順雨開啟下半場。

參考鏈接

[1]https://openreview.net/profile?id=~Shunyu_Yao1&utm_source=chatgpt.com

[2]https://ysymyth.github.io/?utm_source=chatgpt.com

[3]https://x.com/shunyuyao12?lang=en&utm_source=chatgpt.com