這項由Allen AI人工智能研究所聯(lián)合佐治亞理工大學(xué)SHI實驗室、華盛頓大學(xué)等多家頂尖機構(gòu)共同完成的研究，發(fā)表于2025年12月的arXiv預(yù)印本平臺（論文編號：arXiv:2512.13874v1），首次讓機器學(xué)會了像人類一樣靈活地觀看視頻并進行推理。

說起看視頻，我們?nèi)祟惼鋵嵱袀€很神奇的能力：當(dāng)我們想快速了解一個短視頻的內(nèi)容時，會從頭到尾仔細觀看；但面對一部兩小時的電影時，我們會根據(jù)需要選擇快進、跳躍或者重點觀看某些片段。然而，目前的人工智能系統(tǒng)卻做不到這一點——它們要么一股腦地處理完整個視頻，要么只能看固定長度的片段，完全沒有這種"因材施看"的智慧。

Allen AI的研究團隊發(fā)現(xiàn)了這個問題，于是開發(fā)出了一個叫做SAGE的智能系統(tǒng)。SAGE的全稱是"Smart Any-horizon aGEnt"，翻譯過來就是"智能任意時長代理"。這個系統(tǒng)最厲害的地方在于，它能夠根據(jù)問題的復(fù)雜程度自動決定是需要深入分析整個視頻，還是只看關(guān)鍵片段就夠了。

更有意思的是，研究團隊還創(chuàng)建了一個專門的評估平臺SAGE-Bench，里面包含了1744個來自真實娛樂視頻的問題，平均每個視頻長達727秒（超過12分鐘）。這些問題就像普通觀眾在看YouTube視頻時可能產(chǎn)生的疑問一樣自然真實。

一、突破傳統(tǒng)局限：從"一刀切"到"量體裁衣"的視頻理解

傳統(tǒng)的視頻AI系統(tǒng)就像一個只會按部就班工作的機器人。無論你給它一個30秒的搞笑短視頻，還是一部90分鐘的紀錄片，它都會用同樣的方式處理：要么把整個視頻的每一幀都仔細分析一遍，要么隨機采樣一些片段來看。這種方法不僅效率低下，而且經(jīng)常會錯過關(guān)鍵信息或者浪費大量時間在無關(guān)緊要的內(nèi)容上。

SAGE系統(tǒng)的創(chuàng)新之處在于引入了"任意時長推理"的概念。它就像一個經(jīng)驗豐富的視頻編輯師，能夠根據(jù)任務(wù)的需要靈活調(diào)整觀看策略。當(dāng)面對簡單問題時，比如"這個視頻里的人穿的是什么顏色的衣服"，SAGE會快速瀏覽一下就給出答案。但如果問題比較復(fù)雜，比如"請分析這場F1比賽中法拉利車隊的戰(zhàn)術(shù)變化"，SAGE就會啟動多輪深度分析模式，先搜索相關(guān)背景信息，然后定位關(guān)鍵時間段，最后綜合分析得出結(jié)論。

研究團隊在設(shè)計SAGE時，特別注重模擬人類的觀看習(xí)慣。我們在看長視頻時，往往會結(jié)合自己的背景知識，有選擇性地關(guān)注某些片段，甚至?xí)和Ｈゲ殚喯嚓P(guān)資料。SAGE也具備了這些能力：它不僅能夠分析視頻內(nèi)容，還能進行網(wǎng)絡(luò)搜索來獲取背景信息，甚至可以提取視頻中的語音內(nèi)容進行分析。

這種靈活性帶來的好處是顯而易見的。在實際測試中，SAGE在處理長于10分鐘的視頻時，準確率比傳統(tǒng)方法提升了8.2%，而在處理開放式問題時的提升幅度更是達到了6.1%。更重要的是，SAGE的處理速度也大大提升了，因為它不再需要對每個視頻都進行全面的"地毯式"分析。

二、智能工具箱：給AI配備"瑞士軍刀"般的分析能力

SAGE系統(tǒng)的另一個創(chuàng)新點在于它配備了一套完整的"智能工具箱"。傳統(tǒng)的視頻AI系統(tǒng)通常只依賴一種分析方法，就像只有一把錘子的工人，看什么都像釘子。而SAGE擁有六種不同的分析工具，每一種都有其獨特的用途。

首先是網(wǎng)絡(luò)搜索工具。當(dāng)SAGE遇到需要背景知識才能回答的問題時，它會自動在網(wǎng)上搜索相關(guān)信息。比如在分析一段F1比賽視頻時，如果問題涉及到車隊的歷史戰(zhàn)績，SAGE會先搜索最新的積分榜和比賽結(jié)果，這樣它就能更準確地理解視頻中發(fā)生的事情。

第二個工具是網(wǎng)頁解析功能。找到相關(guān)網(wǎng)頁后，SAGE能夠自動提取其中的有用信息，就像一個高效的研究助手，能夠快速從復(fù)雜的網(wǎng)頁中找到關(guān)鍵數(shù)據(jù)。

語音轉(zhuǎn)寫工具則讓SAGE能夠"聽懂"視頻中的對話和旁白。這個功能特別有用，因為很多視頻的關(guān)鍵信息都隱藏在語音中。比如在分析一段新聞視頻時，主播的解說往往包含了比畫面更豐富的信息。

事件定位工具幫助SAGE在長視頻中快速找到特定的時間段。與傳統(tǒng)系統(tǒng)不同，SAGE不會試圖在整個兩小時的視頻中搜索一個10秒鐘的片段，而是會智能地縮小搜索范圍，通常在10分鐘的時間窗口內(nèi)進行精確定位。

視頻片段提取工具可以從指定的時間段中提取關(guān)鍵幀或視頻片段，為進一步分析做準備。最后，分析工具負責(zé)對提取的內(nèi)容進行深度理解和推理。

這些工具的協(xié)同工作就像一個訓(xùn)練有素的團隊。SAGE會根據(jù)問題的特點和復(fù)雜程度，自動選擇合適的工具組合，有時只需要用到一兩個工具，有時則需要所有工具輪番上陣。這種靈活性使得SAGE能夠處理各種類型的視頻分析任務(wù)，從簡單的視覺識別到復(fù)雜的邏輯推理都游刃有余。

三、數(shù)據(jù)創(chuàng)新：用AI訓(xùn)練AI的巧妙策略

訓(xùn)練像SAGE這樣復(fù)雜的AI系統(tǒng)需要大量高質(zhì)量的數(shù)據(jù)，但獲取長視頻的標注數(shù)據(jù)一直是個難題。人工標注一個一小時長的視頻可能需要花費30美元，而且標注質(zhì)量難以保證。研究團隊想出了一個巧妙的解決方案：利用先進的AI模型來生成訓(xùn)練數(shù)據(jù)。

他們使用了Gemini-2.5-Flash這個強大的AI模型作為"數(shù)據(jù)生產(chǎn)工廠"。這個過程就像讓一個有經(jīng)驗的老師為學(xué)生出題一樣：Gemini-2.5-Flash會仔細觀看每個視頻，然后針對不同的時間段和內(nèi)容特點生成10到20個問題和答案對。

為了確保生成的問題覆蓋整個視頻的內(nèi)容，研究團隊設(shè)計了一個巧妙的機制：要求AI模型預(yù)測每個問題覆蓋了視頻的百分比。比如一個問題可能只涉及視頻前半部分的內(nèi)容（覆蓋率50%），而另一個問題可能需要綜合全片信息才能回答（覆蓋率100%）。通過這種方式，他們確保了生成的問題既有局部細節(jié)的考查，也有全局理解的檢驗。

更令人印象深刻的是這種方法的效率。傳統(tǒng)的人工標注不僅成本高昂，而且速度緩慢，標注一個小時的視頻可能需要好幾天時間。而使用AI生成數(shù)據(jù)的方法在成本上節(jié)省了近100倍，在時間上節(jié)省了10倍，同時質(zhì)量檢驗顯示錯誤率僅有5%左右。

研究團隊總共處理了超過6600個視頻，生成了99,000多個問題答案對，涵蓋了從體育賽事到科普教育，從美食制作到旅行記錄等各種類型的內(nèi)容。這些數(shù)據(jù)不僅數(shù)量龐大，而且質(zhì)量很高，為SAGE的訓(xùn)練提供了堅實的基礎(chǔ)。

除了問題答案對，研究團隊還生成了40多萬個工具調(diào)用軌跡，這些軌跡記錄了SAGE在處理不同類型問題時應(yīng)該如何選擇和使用各種工具。這就像為SAGE提供了一本詳細的"操作手冊"，告訴它在什么情況下該使用哪些工具，以什么順序使用它們。

四、強化學(xué)習(xí)：讓AI學(xué)會"舉一反三"的智慧

僅僅有大量的訓(xùn)練數(shù)據(jù)還不夠，SAGE還需要學(xué)會如何靈活運用這些知識。研究團隊采用了強化學(xué)習(xí)技術(shù)，這種方法就像教孩子做作業(yè)時給予及時的獎勵和糾正一樣，能夠讓AI系統(tǒng)不斷改進自己的表現(xiàn)。

傳統(tǒng)的強化學(xué)習(xí)通常只關(guān)注最終結(jié)果的對錯，但SAGE的學(xué)習(xí)過程更加精細化。研究團隊設(shè)計了一套多維度的獎勵機制，不僅會獎勵正確的最終答案，還會獎勵A(yù)I在解決問題過程中的每一個合理步驟。

具體來說，當(dāng)SAGE能夠產(chǎn)生格式正確的輸出時會獲得獎勵，當(dāng)它選擇了合理的工具時也會獲得獎勵，當(dāng)它避免重復(fù)使用同樣的工具時同樣會得到正面反饋。最重要的是，當(dāng)SAGE能夠在簡單問題上直接給出答案，在復(fù)雜問題上進行多輪推理時，會獲得額外的獎勵。這種設(shè)計鼓勵SAGE學(xué)會"因題制宜"的策略選擇。

為了評估SAGE推理過程的合理性，研究團隊還引入了GPT-4o作為"裁判"。就像請一位經(jīng)驗豐富的老師來評估學(xué)生的解題思路是否合理一樣，GPT-4o會判斷SAGE在每一步推理中的工具選擇是否恰當(dāng)，邏輯鏈條是否清晰。

這種訓(xùn)練方法的效果非常明顯。經(jīng)過強化學(xué)習(xí)訓(xùn)練后的SAGE在各種測試中的表現(xiàn)都有了顯著提升，特別是在處理開放性問題時，準確率提升了4.1%。更重要的是，SAGE學(xué)會了自適應(yīng)的推理策略：對于簡單問題，它傾向于快速直接回答；對于復(fù)雜問題，它會自動啟動多輪深度分析模式。

五、實戰(zhàn)檢驗：娛樂視頻中的真實挑戰(zhàn)

為了真正檢驗SAGE的能力，研究團隊創(chuàng)建了一個名為SAGE-Bench的專門測試平臺。與以往大多數(shù)學(xué)術(shù)測試不同，SAGE-Bench專門關(guān)注娛樂類視頻的理解，因為這類視頻更貼近普通用戶的實際使用場景。

SAGE-Bench包含了來自13個熱門YouTube頻道的視頻，涵蓋了體育比賽、美食制作、喜劇表演、科普教育和旅行記錄等多個領(lǐng)域。平均每個視頻長度超過12分鐘，最長的甚至達到了40分鐘以上。更重要的是，其中54%的問題都是開放性的，需要AI進行復(fù)雜的理解和推理，而不是簡單的選擇題。

在這個測試平臺上，SAGE展現(xiàn)出了令人印象深刻的表現(xiàn)。整體準確率達到了68%，在處理超過10分鐘的長視頻時表現(xiàn)尤為突出，相比傳統(tǒng)方法提升了8.2%。特別值得一提的是，SAGE在處理需要視覺信息的問題時準確率達到了64%，在處理需要語音信息的問題時準確率更是高達82.8%。

更有趣的發(fā)現(xiàn)是，SAGE表現(xiàn)出了明顯的"智能分配"特征。面對簡單問題時，SAGE平均只需要1.7輪推理就能給出答案，而面對復(fù)雜問題時，它會自動增加到2.8輪推理。這種自適應(yīng)行為恰恰反映了人類處理問題時的策略選擇：簡單問題快速處理，復(fù)雜問題深入思考。

與其他現(xiàn)有的視頻AI系統(tǒng)相比，SAGE的優(yōu)勢更加明顯。許多傳統(tǒng)系統(tǒng)在處理開放性問題時表現(xiàn)較差，準確率往往在30-40%之間，而SAGE能夠達到55.6%。這個差距的背后反映的是兩種不同設(shè)計理念的區(qū)別：傳統(tǒng)系統(tǒng)追求"一招鮮吃遍天"，而SAGE追求"因材施教"的靈活性。

六、技術(shù)深度：多輪推理的藝術(shù)與科學(xué)

SAGE的核心技術(shù)創(chuàng)新在于它的兩階段工作模式。第一階段稱為"情境理解階段"，SAGE會像一個初次接觸視頻的觀眾一樣，快速瀏覽視頻內(nèi)容，理解基本情況，并判斷問題的復(fù)雜程度。如果問題相對簡單，SAGE就會直接給出答案；如果問題比較復(fù)雜，它就會制定一個詳細的分析計劃。

第二階段是"迭代推理階段"，SAGE會根據(jù)第一階段制定的計劃，逐步使用各種工具來收集和分析信息。這個過程就像偵探破案一樣，每收集到一條線索，就會重新評估案情，決定下一步該往哪個方向調(diào)查。SAGE會持續(xù)這個過程，直到收集到足夠的信息來回答原始問題。

在技術(shù)實現(xiàn)上，SAGE采用了一種叫做"狀態(tài)-動作對"的表示方法。每一個推理步驟都被看作是從當(dāng)前狀態(tài)到下一個狀態(tài)的轉(zhuǎn)換，而工具的選擇和使用就是這個轉(zhuǎn)換過程中的"動作"。這種表示方法使得SAGE能夠?qū)W會復(fù)雜的推理策略，并且能夠根據(jù)不同的問題類型自動調(diào)整自己的行為模式。

為了處理視頻的時序特性，SAGE引入了一種智能的時間窗口機制。與傳統(tǒng)方法試圖在整個視頻中搜索特定事件不同，SAGE會根據(jù)已有信息智能地估算可能的時間范圍，然后在這個較小的窗口內(nèi)進行精確搜索。這種方法不僅提高了搜索效率，還減少了誤匹配的可能性。

SAGE的另一個技術(shù)亮點是它的"工具編排"能力。它不是簡單地按照固定順序使用工具，而是會根據(jù)問題的特點和當(dāng)前收集到的信息動態(tài)決定下一步該使用哪個工具。有時它會先搜索背景信息再分析視頻內(nèi)容，有時它會先定位關(guān)鍵時間段再提取詳細信息，這種靈活性使得SAGE能夠高效地處理各種類型的視頻分析任務(wù)。

七、性能對比：效率與準確性的雙重突破

在與現(xiàn)有技術(shù)的對比中，SAGE展現(xiàn)出了全面的優(yōu)勢。研究團隊將SAGE與市面上最先進的視頻AI系統(tǒng)進行了詳細對比，包括Video-R1、VideoRFT、LongVILA-R1等知名系統(tǒng)。結(jié)果顯示，SAGE不僅在準確率上領(lǐng)先，在處理效率上也有顯著優(yōu)勢。

從準確率角度看，SAGE在SAGE-Bench測試集上的整體表現(xiàn)達到了68%，而最接近的競爭對手VideoChat-R1.5的準確率僅為54.8%。在處理開放性問題時，這個差距更加明顯：SAGE達到了55.6%，而大多數(shù)傳統(tǒng)系統(tǒng)的準確率都在40%以下。這個差距反映了SAGE在理解復(fù)雜視頻內(nèi)容方面的顯著優(yōu)勢。

從效率角度看，SAGE的表現(xiàn)同樣令人印象深刻。雖然SAGE使用了多種工具進行分析，但由于其智能的任務(wù)分配機制，平均處理時間僅為8.6秒每樣本，比某些傳統(tǒng)系統(tǒng)還要快。相比之下，一些現(xiàn)有的智能體系統(tǒng)如VideoAgent平均需要1445秒才能處理一個樣本，效率差距高達168倍。

特別值得注意的是SAGE在不同視頻長度上的表現(xiàn)差異。對于1小時以上的超長視頻，SAGE的準確率提升幅度達到了14.6%，這個數(shù)字遠超其在短視頻上的提升幅度。這個現(xiàn)象說明，SAGE的"任意時長推理"能力在處理復(fù)雜長視頻時發(fā)揮了更大的作用。

研究團隊還發(fā)現(xiàn)了一個有趣的現(xiàn)象：SAGE表現(xiàn)出了明顯的"學(xué)習(xí)曲線"效應(yīng)。隨著訓(xùn)練數(shù)據(jù)的增加和強化學(xué)習(xí)的深入，SAGE不僅在準確率上穩(wěn)步提升，在推理效率上也在不斷優(yōu)化。它學(xué)會了更精確地判斷問題的復(fù)雜程度，能夠更準確地決定是否需要啟動多輪推理模式。

八、實際應(yīng)用前景：從實驗室到日常生活的跨越

SAGE的成功不僅僅是一項學(xué)術(shù)成就，更重要的是它為視頻AI技術(shù)的實際應(yīng)用開辟了新的可能性。目前的視頻AI系統(tǒng)大多只能處理標準化的任務(wù)，而SAGE的靈活性使它能夠適應(yīng)更多樣化的實際應(yīng)用場景。

在教育領(lǐng)域，SAGE可以成為一個智能的視頻學(xué)習(xí)助手。學(xué)生觀看在線課程時，可以隨時向SAGE提問，無論是關(guān)于某個具體概念的解釋，還是關(guān)于整節(jié)課內(nèi)容的總結(jié)，SAGE都能給出準確的回答。更重要的是，SAGE能夠根據(jù)問題的復(fù)雜程度自動調(diào)整分析深度，既能快速回答簡單問題，也能進行深入的概念分析。

在娛樂行業(yè)，SAGE可以為視頻平臺提供更智能的內(nèi)容理解和推薦服務(wù)。它不僅能夠理解視頻的表面內(nèi)容，還能深入分析視頻的情感色彩、主題內(nèi)容和藝術(shù)風(fēng)格，從而為用戶提供更精準的個性化推薦。同時，SAGE還可以幫助內(nèi)容創(chuàng)作者快速分析自己作品的效果，識別觀眾最感興趣的片段。

在新聞和媒體領(lǐng)域，SAGE可以成為記者和編輯的得力助手。面對大量的視頻素材，記者可以快速詢問關(guān)鍵信息，比如"這段采訪中政治家的主要觀點是什么"或者"這場比賽的轉(zhuǎn)折點在哪里"。SAGE能夠快速定位關(guān)鍵片段并提供準確的分析，大大提高新聞制作的效率。

在安防和監(jiān)控領(lǐng)域，SAGE的應(yīng)用前景同樣廣闊。傳統(tǒng)的監(jiān)控系統(tǒng)只能進行基礎(chǔ)的目標檢測，而SAGE可以理解復(fù)雜的行為模式和事件序列。它能夠回答"在過去一小時內(nèi)是否有異常行為發(fā)生"這樣的復(fù)雜查詢，并且能夠準確定位相關(guān)的時間段。

研究團隊特別強調(diào)，SAGE的設(shè)計理念是"以用戶為中心"的。與傳統(tǒng)的AI系統(tǒng)不同，SAGE不是要求用戶適應(yīng)系統(tǒng)的局限性，而是讓系統(tǒng)適應(yīng)用戶的實際需求。用戶可以用自然語言提出各種類型的問題，SAGE會自動判斷如何最有效地回答這些問題。

說到底，SAGE代表的是視頻AI技術(shù)發(fā)展的一個重要轉(zhuǎn)折點。它從根本上改變了我們對視頻AI能力的認知：AI系統(tǒng)不再是只能按部就班工作的"笨機器"，而是具備了類似人類的靈活思維能力。SAGE能夠根據(jù)任務(wù)的復(fù)雜程度自主決定分析策略，這種"智能分工"的能力使它在處理各種實際問題時都能游刃有余。

更令人興奮的是，SAGE的成功為整個AI領(lǐng)域提供了重要啟示：真正實用的AI系統(tǒng)需要具備"任意時長推理"的能力，也就是能夠根據(jù)問題的特點靈活調(diào)整自己的工作方式。這種理念不僅適用于視頻分析，也可能推廣到語音理解、文檔分析等其他AI應(yīng)用領(lǐng)域。

當(dāng)然，SAGE目前還只是一個研究原型，距離大規(guī)模商業(yè)應(yīng)用還有一定距離。研究團隊也坦誠地指出了系統(tǒng)的一些局限性，比如對某些專業(yè)領(lǐng)域知識的理解還不夠深入，處理極其復(fù)雜的推理任務(wù)時偶爾還會出現(xiàn)錯誤等。但是，SAGE所展現(xiàn)的技術(shù)方向和巨大潛力已經(jīng)讓整個AI界為之振奮。

隨著技術(shù)的不斷完善和數(shù)據(jù)的持續(xù)積累，我們有理由相信，像SAGE這樣的智能視頻分析系統(tǒng)將很快走出實驗室，成為我們?nèi)粘Ｉ钪胁豢苫蛉钡闹悄苤帧５侥菚r，與視頻內(nèi)容的交互將變得和與人對話一樣自然流暢，我們將真正進入一個"視頻即對話"的全新時代。

Q&A

Q1：SAGE系統(tǒng)是什么，它有什么特殊能力？

A：SAGE是由Allen AI研究所開發(fā)的智能視頻分析系統(tǒng)，全稱"Smart Any-horizon aGEnt"。它的特殊能力是能像人類一樣根據(jù)問題復(fù)雜程度靈活調(diào)整觀看策略：面對簡單問題時快速瀏覽給出答案，面對復(fù)雜問題時啟動多輪深度分析模式，甚至?xí)阉骶W(wǎng)絡(luò)獲取背景信息。這種"因材施看"的智慧使它在處理長視頻時比傳統(tǒng)方法準確率提升了8.2%。

Q2：SAGE如何解決傳統(tǒng)視頻AI系統(tǒng)效率低下的問題？

A：傳統(tǒng)視頻AI系統(tǒng)采用"一刀切"方式，無論視頻長短都用同樣方法處理，既浪費時間又容易出錯。SAGE配備了六種智能工具（網(wǎng)絡(luò)搜索、網(wǎng)頁解析、語音轉(zhuǎn)寫、事件定位、視頻片段提取、深度分析），會根據(jù)問題特點自動選擇合適的工具組合。它不會對每個視頻進行"地毯式"全面分析，而是智能縮小搜索范圍，在10分鐘窗口內(nèi)精確定位關(guān)鍵片段，處理效率比某些傳統(tǒng)系統(tǒng)快168倍。

Q3：SAGE的訓(xùn)練數(shù)據(jù)是怎么獲得的，質(zhì)量如何？

A：研究團隊采用了創(chuàng)新的"AI訓(xùn)練AI"策略，使用Gemini-2.5-Flash模型作為"數(shù)據(jù)生產(chǎn)工廠"，自動觀看視頻并生成問題答案對。這種方法成本節(jié)省近100倍，時間節(jié)省10倍，錯誤率僅5%左右。團隊總共處理了超過6600個來自熱門YouTube頻道的視頻，生成了99000多個問題答案對和40多萬個工具調(diào)用軌跡，涵蓋體育、美食、教育、旅行等多個領(lǐng)域。