亚洲狼人综合干_国产成人自拍网_97久草视频_日韩欧美在线网站_国产福利精品av综合导导航_粉嫩13p一区二区三区_成年人视频网站免费观看_国产亚洲综合久久_秋霞精品一区二区三区_国产精品99久久久久久久久_美女日韩在线中文字幕_久久免费在线观看

當前位置: 首頁 ? 資訊 ? 新科技 ? 正文

大模型“想太多”怎么解?這位碩士生用強化學習為模型減負提效

IP屬地 中國·北京 編輯:任飛揚 DeepTech深科技 時間:2025-08-11 20:17:52

Next Gen

歡迎來到“Next Gen”。人工智能的邊界每日都在被拓展,一群富有遠見卓識的青年學者正站在浪潮之巔。我們追蹤并報道這些 AI 領域最具潛力的明日之星,展現他們在科研前沿的突破性工作,以及對未來智能時代的獨到見解。他們是誰?他們如何思考?他們又將把 AI 帶向何方?與我們一同發現那些正在定義未來的 AI 新生代。

易景陽是一名來自湖南的 00 后,目前在美國芝加哥大學數據科學專業攻讀碩士學位。與其他同齡人相比,他的學術背景頗具特色——本科畢業于中國人民大學金融專業,而后跨界進入人工智能領域深造。這一跨學科的背景為他當前的研究提供了獨特的視角。

最近,他和所在團隊為解決大模型“過度思考”的問題,提出了一種簡單而有效的方法 ShorterBetter[1]。該方法本質上是一個基于強化學習的公開模型,核心創新點在于通過特別設計的獎勵函數,讓推理模型能夠在沒有人工監督的情況下,自主尋找最佳思維鏈長度。

實驗結果表明,這一方法能在復雜問題上將模型的輸出長度顯著縮短 50% 至 80%,同時保持較高的準確性,為解決大模型生成冗長內容的問題提供了一種實用且高效的思路。

易景陽對 DeepTech 表示:“ShorterBetter 方法的優勢在于輕量級的設計,不僅簡單,而且對算力的要求較低。研究人員或企業可以將這種方法用于后訓練(post-training)的一個步驟,通過對模型輸出進行修剪,從而有效減少無用的輸出長度。”


圖丨易景陽(易景陽)



見證“ChatGPT 時刻”后,他決定到 AI 專業“折騰折騰”

易景陽自認為是一個喜歡瞎“折騰”的人,這種特質體現在他敢于放下已有成果、不斷探索新領域的勇氣上。這種性格特質源于他與生俱來的好奇心,以及對新事物持續燃燒的激情。

回顧他的成長歷程,這種特質早有端倪——盡管從小成績優異,高中時還參加過化學競賽,但他很快意識到理科競賽并不適合自己,于是果斷轉向更感興趣的文科領域。憑借出色的高考成績,他順利進入中國人民大學攻讀金融學專業,并在本科期間創建了一個專注于社會科學研究的學術社團,定期組織開展相關研究和討論活動。

2022 年年底,OpenAI 推出了 ChatGPT。當時,本來就密切關注 AI 動態的易景陽用了一個晚上的時間與 GPT 進行交流,探索它能否幫助執行一個復雜的任務——制作電子書閱讀器。

那時,他幾乎沒有計算機科學或 Python 等編程語言的經驗。結果 GPT 做出來的閱讀器不僅可以閱讀電子書,而且還能全文翻譯。“這對我產生了巨大的震撼,我意識到大語言模型可能會徹底改變人們的工作、學習和生活方式,至少可以極大地提升學習效率。”易景陽回憶道。

2023 年上半年,在美團工作期間,易景陽對 AI 技術和商業應用的關注達到了新高度。隨著對行業理解的深入,他內心要出去“折騰”的聲音越來越強烈,最終匯聚成一個明確的職業轉向決心——“我要去 AI 專業學習”。

他在咨詢意見的過程中收到了不同反饋,甚至很多人勸他放棄這個想法。一位在硅谷工作的工程師對他直言:“AI 領域太卷了,科班出身的人都不好找工作,你就不要瞎折騰了!”

但是,易景陽還是堅持了自己的想法,他的父母也給予了無條件支持。“他們相信我的判斷,還會去體驗了 AI 產品,這也給了我莫大的動力。”易景陽說。

而他的初心是希望結合在金融領域的累積,做出一些跨學科的原創性工作。基于對技術發展趨勢的判斷,他認為 AI 基礎知識將在未來十年內成為大學通識教育的重要組成部分。

恰逢芝加哥大學新成立數據科學研究所(Data Science Institute)——這個融合計算機科學與統計學、專注于 AI 前沿研究的學術機構為他提供了理想的發展平臺。在這里,他先就讀于經濟學專業,從事勞動經濟學研究,隨后轉入數據科學專業,師從譚宸浩教授。

這種獨特的跨學科背景不僅賦予易景陽理解 AI 技術社會影響的獨特視角,更使他能夠創造性地融合經濟學與社會科學研究方法。例如,在評估 AI 創業項目時,他會系統分析產品功能、用戶需求和成本結構等多維因素,形成更全面的商業判斷。

今年暑假,易景陽還參與了一個面向留學申請的創業項目,該項目通過智能 agent 技術整合全球高校研究生項目信息,為 DIY 申請者提供高效的信息服務。他進一步說道:“這個項目是把高校各種研究生項目的信息聚合起來,通過 agent 讓用戶能夠更好地交互和了解信息。以前,學生可能需要和中介老師聊天來獲取這些信息,但現在可以通過 agent 來實現。”



讓模型“少想”卻更聰明

今年 1 月,DeepSeek-R1 一經發布就受到了全球的矚目。與此同時,也掀起了學術界對其性能特點的研究熱潮。起初,騰訊團隊發現推理模型在得到正確答案后,會進行不必要的反復驗證[2]。

之后不久,易景陽與所在團隊也在研究中發現了一種普遍的現象——盡管以 DeepSeek-R1 為代表的大模型推理能力很強,但輸出效率存在明顯不足。

這種低效性在簡單問題的處理上表現得尤為突出。例如,當被提問“2+3 等于多少”這類基礎算術問題時,模型會用非常冗長的思考過程來回答:先從“2+1+2,2+1+1+1”開始,然后還會經過“wait,let me check again”自我驗證,最后以“let's finally verify the answer”結束。整個過程大概產生一兩百個 token,才得出“等于 5”的答案。

這種過度思考的現象雖然與模型的訓練機制有關,但對于簡單問題而言顯然是不必要的冗余。易景陽從系統設計的角度深入分析了這個問題的嚴重性:“在構建多模型 agent 系統時,如果單個模型的輸出過于冗長,這些冗余內容會成為其他模型的輸入上下文,從而在整個工作流中引入大量噪聲。隨著上下文窗口的快速膨脹,系統的整體性能將顯著下降。”

研究初期,團隊嘗試過多種直觀的解決方案,包括使用提示工程(prompt engineering)直接要求模型簡潔回答,例如明確指令“直接給出答案,不要多想”。然而這些嘗試均告失敗,因為模型的推理模式是通過強化學習深度訓練形成的,很難通過簡單的表層指令改變其底層行為模式。

這一研究困境在美國斯坦福大學李飛飛教授團隊的重要發現后出現了轉機 [3]。該團隊提出預算強制(Budget Forcing)方法,通過控制模型推理時的計算量(例如,在模型輸出末尾添加“wait,let me think again”的提示),就能有效延長思維鏈并提升推理能力。

這一發現啟發了易景陽的逆向思考:是否可以通過干預機制來抑制模型的重復驗證行為?但實驗證明,這種直接干預輸出過程的方法會嚴重損害模型的原有能力。

真正的突破來自對美國卡耐基梅隆大學團隊研究的借鑒,其提出可以使用強化學習來優化模型的輸出長度[4]。在深入研讀相關文獻后,易景陽決定調整研究方向,采用強化學習訓練模型自主探索最優輸出長度。


(arXiv)

他們首先提出了“樣本最優長度”(SOL,Sample Optimal Length)的理論框架:對于給定的任何問題(無論它是奧林匹克競賽難度的題,還是“2+3=5”這種簡單題),在給定模型能力的情況下,總有一個最佳的輸出長度區間。比如,難題的輸出長度可能是 1000 個 token 的詳細推導,而簡單題可能是 10 個 token 的直接回答。

SOL 的核心挑戰在于:一方面,人工標注所有問題的最優長度完全不現實;另一方面,人類專家實際上也無法準確預判每個問題的最優輸出長度。

針對上述挑戰,易景陽設計了一套創新的采樣方法:對同一問題生成多個正確回答(如 10 個),從中選取最短的正確回答作為臨時最優長度目標,再通過強化學習不斷迭代優化。

這種方法形成了一個高效的遞歸訓練循環——雖然每次只采樣有限數量的輸出,但經過 100-200 步的迭代訓練后,模型的輸出長度就能快速收斂到理想狀態。


圖丨更優、更短流程的流程圖(arXiv)

實驗數據表明,以 DeepSeek-Distill-Owen-1.5B/7B 為基礎模型時,ShorterBetter 方法在保持準確率不變的前提下,在領域內外各類推理任務中實現了最高 80% 的輸出長度壓縮。

這一發現挑戰了此前業界的普遍假設——更長的思維鏈必然帶來更高的正確率。值得注意的是,ShorterBetter 的實現并不需要大量計算資源,其本質是優化了模型的表達方式而非增強其核心能力。

易景陽用生動的比喻解釋道:“這就像幫助一個有口吃問題的天才改善表達方式。我們的方法沒有改變模型的智能水平,只是讓它能夠更簡潔流暢地表達思想。目前,我們正在通過更多實驗來驗證這些理論假設。”


表丨7B 模型在多樣化任務中的性能比較(arXiv)

日前,相關論文以《ShorterBetter:引導推理模型尋找最優推理長度以實現高效推理》(ShorterBetter: Guiding Reasoning Models to Find Optimal Inference Length for Efficient Reasoning)為題發表在預印本網站arXiv[1]。論文作者包括易景陽、芝加哥大學碩士生王家錚和博士生李思達。


圖丨相關論文(arXiv)

在易景陽看來,AI 技術正在以驚人的速度更新迭代,但同時技術同質化問題也日益嚴重。他以今年 3 月推出的 Manus 產品為例:雖然該產品最初憑借創新性獲得廣泛關注,但在短短幾個月內,科技巨頭們就迅速推出了功能相似甚至更強大的免費替代品。

這種現象揭示了 AI 行業的一個基本現實——在通用 agent 領域,頭部科技公司憑借其龐大的資源儲備和廣泛的用戶基礎,能夠以免費策略迅速占領市場,這使得初創企業幾乎難以與之抗衡。

易景陽認為,這種市場格局對初創企業提出了嚴峻挑戰。由于需要支付高昂的 API 使用費用,初創公司在開發通用 AI 產品時面臨著巨大的成本壓力,這種商業模式在長期競爭中明顯不具備可持續性。因此,他認為初創公司應該避開與科技巨頭在通用平臺層面的直接競爭,轉而深耕需要專業領域知識的垂直應用場景。

展望未來,易景陽表示,將持續關注那些兼具技術創新性和實際商業價值的 AI 發展方向。尤其是關注那些能夠將前沿技術與具體行業需求緊密結合的應用場景,他認為這將是初創企業在 AI 時代實現突破的關鍵路徑。

參考資料:

1.https://arxiv.org/pdf/2504.21370

2.https://arxiv.org/html/2412.21187v2

3.https://arxiv.org/abs/2501.19393

4.https://arxiv.org/abs/2503.04697

免責聲明:本網信息來自于互聯網,目的在于傳遞更多信息,并不代表本網贊同其觀點。其內容真實性、完整性不作任何保證或承諾。如若本網有任何內容侵犯您的權益,請及時聯系我們,本站將會在24小時內處理完畢。

久久人人爽人人| 香蕉视频网站在线| 天堂久久久久va久久久久| 精品一区在线看| 国产日韩欧美不卡| 色婷婷综合久久久中文字幕| 欧美mv和日韩mv的网站| 欧美第一黄色网| 粉嫩精品一区二区三区在线观看 | 国产91国语对白在线| 天堂成人在线视频| 久久久无码精品亚洲日韩按摩| 天天影视涩香欲综合网| 亚洲电影免费观看高清完整版在线| 欧美成人午夜视频| 国产精品99久久久久| 国产成人综合亚洲| 一区二区三区自拍| 午夜视黄欧洲亚洲| 亚洲国产精品人人爽夜夜爽| 海角国产乱辈乱精品视频| 古典武侠综合av第一页| 热99这里只有精品| 韩国无码一区二区三区精品| 天天综合天天干| 久久久久久穴| 国产精品久久三| 日韩午夜在线影院| 国内精品久久久| 欧美日本亚洲| av中文字幕网址| 欧美成人黄色网| 无码精品人妻一区二区| 欧美高清在线精品一区| 欧美高清你懂得| 欧美精品久久一区二区| 欧美日韩另类综合| 亚洲综合欧美在线| 久久免费少妇高潮99精品| 天天干天天干天天干| 中文字幕第一页久久| 91麻豆精品国产91久久久久久久久 | 欧美激情免费看| 久草热久草热线频97精品| 国产三级日本三级在线播放| 澳门黄色一级片| 久久看片网站| 一区二区三区不卡在线观看| 亚洲欧美精品在线| 亚洲a中文字幕| 日本福利视频在线| 成年人午夜剧场| 久久精品卡一| 一区二区视频免费在线观看| 国产亚洲精品久久久久久777 | 少妇性l交大片7724com| 久草手机在线观看| 国产精品一二二区| 色成人在线视频| 欧美大成色www永久网站婷| 久久久久资源| 被黑人猛躁10次高潮视频| www五月天com| 成人免费观看男女羞羞视频| 欧美日韩国产一级二级| 26uuu国产精品视频| 妞干网这里只有精品| 天天躁日日躁aaaxxⅹ | 精品美女永久免费视频| 久久夜精品香蕉| 欧美在线3区| 性猛交╳xxx乱大交| 在线免费看91| 中文一区在线播放| 亚洲男女性事视频| 国产一区二区视频在线免费观看| 久久久久久久高清| 久久这里只有精品9| 2020国产精品自拍| 亚洲成人精品在线| 97人人做人人人难人人做| 日韩av资源在线| 自拍偷拍欧美亚洲| av网站一区二区三区| 日韩欧美中文字幕一区| 国产欧美精品久久久| 91激情视频在线| 六月丁香婷婷综合| 94色蜜桃网一区二区三区| 欧美日韩精品欧美日韩精品一| 久久久精品网| 91网上在线视频| 精品少妇一区二区三区| 91中文在线观看| 看看黄色一级片| 亚洲中文字幕一区二区| 中日韩免费视频中文字幕| 亚洲色图狂野欧美| 欧美在线视频二区| 欧美激情亚洲色图| 久久激情五月婷婷| 在线成人小视频| 成人羞羞国产免费| 亚洲高清在线不卡| av中文字幕播放| 亚洲综合一区二区| 韩国三级电影久久久久久| 日韩av新片网| 91精品国产乱码在线观看| 91在线视频观看| 亚洲精品视频免费| 日韩和欧美的一区二区| 日本污视频网站| 国产在线观看免费一区| 日韩三级视频在线观看| 国产精品日韩一区二区免费视频| 亚洲色图欧美日韩| 高h震动喷水双性1v1| 日韩欧美一区视频| 国产精品久久久久久亚洲调教| the porn av| 国产口爆吞精一区二区| 亚洲一区二区三区美女| 538国产精品视频一区二区| 无码人妻丰满熟妇区五十路百度| 免费观看成人毛片| 日韩毛片精品高清免费| 欧美激情视频网站| 国产三区在线视频| 亚洲综合精品在线| 亚洲福利视频导航| 日韩免费观看av| 国产乱女淫av麻豆国产| 亚洲精品久久久久久久久久 | 一区二区三区在线观看国产| 国模gogo一区二区大胆私拍| 日韩欧美xxxx| 99国产精品欲| 欧美性猛交xxxx富婆| 日本高清视频一区| 欧美激情第3页| 日本黄色免费视频| 欧美军同video69gay| 国产一区高清视频| 欧美日韩国产一二三区| 成人性生交大片免费看中文| 亚洲丝袜av一区| 欧美交换配乱吟粗大25p| 欧美三日本三级少妇99| 日韩理论片在线| 91超碰中文字幕久久精品| 亚欧美在线观看| 老熟妇高潮一区二区高清视频| 欧美日韩在线播放三区四区| 国产精品一区视频网站| 国产午夜精品福利视频| 99久精品国产| 欧美成人免费全部| 好男人www社区| 成人免费视频国产免费麻豆| 欧美精品99久久久**| 久久人人97超碰人人澡爱香蕉| 国产高潮流白浆| 国产日韩欧美一区二区三区综合| 欧美日韩国产成人高清视频| 日日噜噜噜噜久久久精品毛片| 囯产精品一品二区三区| 91精品国产色综合久久ai换脸 | 免费在线视频观看| 国产精品美女久久久久av爽李琼| 97热在线精品视频在线观看| 四虎成人在线播放| 美国av一区二区| 亚洲剧情一区二区| 欧美无砖专区免费| 国产视频在线观看视频| 欧美日韩在线三区| 日韩精品一区二区三区丰满| 欧美福利视频一区二区| 亚洲第一狼人社区| 亚洲在线第一页| 5566中文字幕| 国产精品国产自产拍高清av王其| 日本中文字幕成人| 亚洲精品女人久久久| 成人国产精品免费观看动漫| 久久国产精品久久国产精品| 亚洲欧美激情网| 日本免费新一区视频| 亚洲免费高清视频| 777精品久无码人妻蜜桃| 亚洲第一黄色片| 精品久久久久99| 精品国产一区二区三区在线| 91 中文字幕| 3d动漫精品啪啪一区二区竹菊| 亚洲高清乱码| 国产精品露脸视频| 欧美日韩国产大片| 在线观看日韩片| 一级片aaaa| 91精品国产日韩91久久久久久| 制服国产精品| 国产精品玖玖玖| 日韩三级在线观看| 国产xxxx振车| 欧美一级片免费| 日韩精品在线观看视频| 69堂免费视频| 日韩成人精品在线观看| 中文字幕av一区二区| 婷婷丁香激情网| 久久国产精品99精品国产| 色婷婷**av毛片一区| 毛片毛片毛片毛| 国产传媒久久文化传媒| 久久久久久国产精品美女| 男人网站在线观看| 久久久久久免费网| 国产精品旅馆在线| 婷婷激情四射网| 亚洲福利国产精品| 欧美精品七区| 中文字幕在线播出| 日韩欧美一级精品久久| 国产精品网站免费| 日本视频中文字幕一区二区三区 | 国精产品一区一区二区三区mba| 亚洲美女在线国产| 1卡2卡3卡精品视频| 中文在线观看免费网站| 91久久精品国产91性色tv| 亚洲一区二区三区精品视频| av网站在线观看免费| 亚洲国产天堂久久综合网| 国产第一页视频| 国产一二三精品| 8x海外华人永久免费日韩内陆视频 | 精品国产乱码久久久久夜深人妻| 99国产精品视频免费观看| 国产激情999| 日韩三级在线观看视频| 欧美日韩国产精品一区二区不卡中文 | 中文字幕在线观看2018| 黄网动漫久久久| 亚洲欧美日韩国产成人综合一二三区| 国产老妇伦国产熟女老妇视频| 日韩国产在线看| 天堂av8在线| 好吊色欧美一区二区三区视频| 欧美激情精品久久久久久大尺度 | 在线观看你懂的视频| 色偷偷久久人人79超碰人人澡| 成人综合婷婷国产精品久久免费| 久久久久女人精品毛片九一| 亚洲影院在线播放| 亚洲黄色免费观看| 这里只有精品国产| 免费人成网站在线观看欧美高清| 午夜av入18在线| 日韩在线观看视频一区二区三区 | 一区二区三区av在线| 日韩a级黄色片| 日韩国产精品一区二区| 久久免费视频1| 国产精品国模大尺度私拍| 裸体裸乳免费看| 国产裸体视频网站| 日韩黄色三级视频| 黄色污污网站在线观看| 韩国av在线免费观看| 秋霞成人午夜伦在线观看| 97超碰欧美中文字幕| 久久精品国产免费| 久久精品人人做人人综合 | 中文字幕观看视频| 日韩黄色小视频| 久久久精品国产免大香伊| 亚洲一区二区偷拍精品| 亚洲视频小说图片| 欧美性猛交xxxx黑人| 狠狠色狠狠色综合日日五| 91麻豆精品国产自产在线观看一区| 91麻豆精品国产自产在线| 日韩精品免费电影| 精品久久久久av影院 | 日韩av不卡在线观看| 一区二区三区中文字幕在线观看| 亚洲新声在线观看| 国产精品女视频| 91天堂在线视频| 在线国产精品网| 五月婷婷激情久久| 非洲一级黄色片| 一区二区精品免费| 亚洲天堂视频一区| 在线免费观看污视频| 日本黄色免费片| 91看片在线播放| 日本欧美一区二区在线观看| 欧美日韩国产中文精品字幕自在自线| 在线观看免费高清视频97| 一区二区精品在线| 欧美a在线视频| 亚洲成人av影片| 99在线精品观看| 69成人精品免费视频| 欧美高清视频一区二区| 国产综合动作在线观看| 欧美性受黑人性爽| 国内精品久久99人妻无码| 日本综合在线观看| 国内精品久久久久久久久久久 | 精品欧美日韩在线| 小说区图片区图片区另类灬| 国产网站免费在线观看| 影音先锋黄色资源| 日韩综合在线观看| 久久精品国产第一区二区三区| 午夜精品久久久久| 国语自产偷拍精品视频偷| 国产婷婷一区二区三区| 亚洲成人黄色av| 黄色在线视频网址| 国产精品一区二区在线看| 91久久免费观看| 97精品在线观看| 成人av电影天堂| 亚洲激情图片| 波多野结衣 在线| 日本女优爱爱视频| 亚洲自拍偷拍精品| 超碰在线97观看| 国产精品视频一二三区| 亚洲人成在线播放| 欧美一区二区综合| 久久久久久综合网| 国产一级免费视频| 26uuu色噜噜精品一区二区| 在线精品亚洲一区二区不卡| 性金发美女69hd大尺寸| 日韩国产精品毛片| 久久性爱视频网站| 不卡视频在线播放| 久久蜜桃香蕉精品一区二区三区| 午夜久久久久久久久| 久久在线精品视频| 亚洲日本精品国产第一区| 91精品人妻一区二区三区蜜桃欧美| 国产三级第一页| 成人av电影在线| 日韩精品综合一本久道在线视频| 午夜欧美大片免费观看| 日韩欧美精品一区二区三区经典| 久久精品一区二| av在线播放中文字幕| 99久久精品国产色欲| av午夜精品一区二区三区| 欧美日韩精品二区| 国产午夜一区二区| 国产精品视频男人的天堂| 一区二区欧美日韩| 久久久久xxxx| 免费av网站在线| 成人av在线资源网站| 色8久久精品久久久久久蜜| 中文字幕在线视频日韩| 午夜啪啪福利视频| 国产亚洲精品女人久久久久久| 99久久精品费精品国产一区二区| 欧美日韩精品一区二区三区四区| 久久久久国产精品一区| 国内精品视频免费| 9.1在线观看免费| 亚洲精品免费在线观看视频| 欧美日韩免费在线观看| 2018日韩中文字幕| 亚洲熟妇av一区二区三区| 久久精品国产亚洲AV无码男同| 狠狠色狠狠色综合日日91app| 欧美性极品xxxx娇小| 国产精品极品美女在线观看免费 | 日韩欧美亚洲精品| 亚洲一区二区三区四区精品| 91尤物国产福利在线观看| 91福利精品第一导航| 亚洲欧洲一区二区| 国产尤物视频在线观看| 在线视频综合导航| 亚洲v欧美v另类v综合v日韩v| 91国内精品视频| 欧美精品一区二区三区很污很色的| 国产在线拍揄自揄拍无码| 亚洲国产精品久久人人爱潘金莲| 亚洲国产私拍精品国模在线观看| 青青在线免费视频| 黄页网站免费观看| 国产精品久久久久久久久果冻传媒| 日韩免费在线看| 天天操天天干天天做| 性欧美videos另类hd| 一本一本久久a久久精品综合麻豆 一本一道波多野结衣一区二区 | 亚洲综合免费观看高清完整版 | 风间由美久久久| 一级特级黄色片| 久久www免费人成看片高清| 欧美一区二区播放| 麻豆亚洲一区| 精品99在线观看| 国产精品你懂的在线欣赏|