在學術界，寫一篇高質量的綜述論文就像是給一個復雜領域繪制一幅完整的地圖——你需要收集海量文獻，梳理清楚各種理論和方法的來龍去脈，還要用清晰的邏輯把它們串聯起來。這個過程通常需要專家花費數月甚至一年的時間。然而，隨著人工智能技術的發展，一個有趣的問題出現了：AI能否代替人類完成這項復雜的學術工作？

這項由上海交通大學的孫兆君、朱旭舟、周軒和、童鑫、吳帆教授團隊，聯合清華大學的王碩、李國良、劉知遠教授，以及上海AI實驗室的符杰研究員共同完成的研究，發表于2025年10月的arXiv預印本平臺（論文編號arXiv:2510.03120v2），首次系統性地回答了這個問題。研究團隊就像是給AI寫論文這件事做了一場"期末考試"，開發了一套名為SurveyBench的評估體系，專門用來檢驗AI是否真的能寫出符合人類學者標準的學術綜述。

這項研究的意義遠超學術圈本身。設想一下，如果AI真的能夠快速生成高質量的綜述論文，那么科研人員就能從繁重的文獻整理工作中解脫出來，將更多精力投入到創新性研究中。對于剛入門的研究生來說，這更像是有了一位博學的導師，能夠快速為他們梳理某個領域的全貌。而對于普通人來說，這意味著復雜的科學知識可能會以更易懂的方式呈現出來。

研究團隊發現了一個讓人意外的現象：雖然目前的AI系統確實能夠生成看起來很專業的綜述論文，表面上讀起來很流暢，邏輯也算清晰，但仔細檢驗后發現，這些AI生成的綜述在深度和準確性方面與人類專家撰寫的綜述相比，仍然存在顯著差距。這就好比一個學生背誦了教科書的內容，能夠流利地復述，但當老師深入提問時，就暴露出理解不夠深入的問題。

為了得出這個結論，研究團隊做了大量細致的工作。他們收集了11343篇最新的arXiv論文和4947篇高質量的人類撰寫綜述，涵蓋了計算機科學的主要分支，從人工智能到數據庫管理，從圖像識別到自然語言處理。這就像是建立了一個巨大的"標準答案庫"，用來檢驗AI的表現。

一、AI寫綜述的現狀：表面功夫做得不錯，深入考查就露餡

當前的AI寫綜述主要有兩大類型。第一類是通用型AI助手，比如OpenAI的DeepResearch、Google的Gemini等，它們就像是博學的萬能助手，什么領域都能聊兩句，但往往不夠專業。第二類是專門為學術綜述寫作設計的AI系統，如AutoSurvey、SurveyForge、LLM×MapReduce-V2等，它們就像是專門訓練的學術寫手，對論文格式、引用規范等都很熟悉。

這些AI系統寫綜述的過程很像人類學者的工作流程。首先是大海撈針般地搜集相關論文，就像在圖書館里翻找資料一樣。接著是給這些論文分門別類，制定一個清晰的大綱框架。最后是將內容填充進去，形成完整的綜述文章。從表面看，這個過程與人類專家的工作方式非常相似。

然而，當研究團隊深入檢驗這些AI生成的綜述時，問題就暴露出來了。就像一個廚師做菜，表面看起來色香味俱全，但仔細品嘗卻發現調料搭配不當，火候掌握不準。AI生成的綜述雖然結構完整，語言流暢，但在技術細節的準確性、對不同方法優缺點的深入分析、以及對未來發展趨勢的預測等方面，都顯得力不從心。

具體來說，AI寫的綜述容易出現幾個典型問題。第一是"蜻蜓點水"，對每個技術方法都有提及，但缺乏深入的分析和比較。第二是"生搬硬套"，經常直接摘抄原論文的內容，缺乏自己的理解和綜合。第三是"見木不見林"，雖然羅列了很多方法，但缺乏對整個領域發展脈絡的宏觀把握。

二、SurveyBench：給AI寫綜述來一場全方位體檢

為了科學地評估AI寫綜述的能力，研究團隊開發了SurveyBench這套評估體系，就像是為AI設計了一場既有筆試又有口試的綜合考試。這套體系的創新之處在于，它不僅僅看AI寫出來的文章表面質量如何，更重要的是測試這些綜述是否真正有用——讀者能否從中獲得有價值的信息。

傳統的評估方法就像只看作文的語法和用詞是否正確，而SurveyBench則更進一步，還要檢驗文章的內容是否準確、邏輯是否嚴密、信息是否完整。研究團隊設計了兩套互補的評估方法：一套是"對比評估"，將AI寫的綜述與人類專家寫的綜述進行詳細對比；另一套是"問答測試"，通過設計各種問題來檢驗綜述的實際價值。

在"對比評估"環節，研究團隊從多個維度來打分。在大綱質量方面，他們檢查AI是否全面覆蓋了該領域的主要內容、是否與主題相關、結構是否清晰合理。在內容質量方面，他們考察每個章節是否包含了關鍵知識點、分析是否深入、主題是否聚焦、邏輯是否連貫、語言是否流暢。此外，他們還特別關注綜述中是否包含圖表、公式等非文字元素，因為這些往往能讓復雜概念更容易理解。

"問答測試"環節更像是給綜述做實用性檢驗。研究團隊設計了兩類問題：一類是通用問題，比如"這個領域的核心概念是什么？""主要方法有哪些分類？""未來發展趨勢如何？"等等。另一類是針對具體技術細節的專業問題，需要綜述提供準確、詳細的信息才能回答。這就好比一個學生不僅要能背誦課文，還要能運用所學知識解決實際問題。

為了確保評估的公平性，研究團隊精心選擇了20個具有代表性的研究主題，這些主題涵蓋了計算機科學的各個重要分支，既有傳統的機器學習、數據挖掘等領域，也有新興的大語言模型、多模態學習等熱門方向。每個主題都有對應的高質量人類綜述作為參照標準。

三、意想不到的評估結果：AI綜述看起來很美，實用性卻打折扣

當所有測試完成后，結果讓人既驚訝又深思。從表面指標來看，AI生成的綜述表現相當不錯。在語言流暢度、結構完整性等方面，AI的表現與人類專家相差不大，有些甚至能達到人類水平的90%以上。這就像是AI學會了寫作的"套路"，知道一篇好綜述應該包含哪些部分、應該用什么樣的學術語言。

然而，當研究團隊深入檢驗這些綜述的實際價值時，差距就顯現出來了。在內容深度評估中，AI綜述的平均得分比人類綜述低了大約21%。更重要的是，在問答測試環節，AI綜述的表現更是不盡如人意，特別是在回答需要深入理解和綜合分析的問題時。

具體分析這些差距，研究團隊發現了幾個有趣的現象。首先是"細節缺失"問題。AI綜述往往只能給出概念的表面解釋，缺乏深入的技術細節。比如在解釋一個算法時，人類專家會詳細說明算法的適用場景、優缺點、與其他算法的比較等，而AI往往只是簡單描述算法的基本原理。

其次是"關聯思維不足"。人類專家在寫綜述時，經常能發現不同技術方法之間的內在聯系，或者將某個領域的發展與相關領域進行類比。比如在討論圖像處理技術時，可能會聯系到信號處理的相關理論。而AI在這方面明顯不足，很難建立這種跨領域的知識連接。

第三是"抽象能力有限"。優秀的綜述不僅要羅列各種方法，更要能夠提煉出該領域的核心思想和發展規律。人類專家能夠站在更高的角度，總結出一些具有指導意義的觀點和結論。而AI往往停留在對具體方法的描述上，缺乏這種高層次的抽象和總結能力。

有趣的是，研究團隊還發現了一個意外現象。在前瞻性內容方面，AI的表現竟然相當不錯。幾乎所有的AI綜述都包含了對未來發展趨勢的預測和討論，而且這些預測往往還比較合理。這可能是因為AI在訓練過程中學到了綜述寫作的"模板"，知道一篇完整的綜述應該包含對未來的展望。

四、不同AI系統的"個性"分析：各有千秋但都不完美

在測試的四個AI系統中，每個都表現出了不同的"個性"特征，就像不同性格的學生在同一場考試中的表現。

OpenAI的DeepResearch表現最為均衡，在技術細節描述和結構分類方面表現出色，就像一個善于整理資料的學霸。但它也有明顯的短板：生成的綜述往往比較簡潔，缺乏詳細的層次結構，有時會遺漏一些重要的子話題。這可能與其設計理念有關——追求精煉而非全面。

AutoSurvey在某些方面表現不錯，但在技術相關內容的處理上存在明顯不足。就像一個文科生寫理科論文，雖然語言表達沒問題，但對專業概念的理解和闡述就顯得力不從心了。特別是在回答需要深入技術知識的問題時，AutoSurvey經常無法提供準確的答案。

SurveyForge和LLM×MapReduce-V2在很多方面表現相似，這表明它們可能采用了類似的技術路線。有趣的是，LLM×MapReduce-V2在生成圖表和表格方面表現突出，平均每篇綜述包含約11個表格，遠超人類綜述的5.45個。但由于其生成的內容過于冗長，整體的"性價比"反而不高。

研究團隊還注意到一個有趣現象：AI系統在處理熟悉領域和陌生領域時表現差異明顯。對于訓練數據中較常見的傳統領域，如機器學習、數據挖掘等，AI的表現相對較好。而對于新興的、文獻相對較少的領域，AI的表現就明顯下降。這就像學生對熟悉的考試題型應對自如，遇到新題型就手忙腳亂。

在計算資源消耗方面，不同系統的差異也很大。OpenAI DeepResearch最為高效，消耗的計算資源最少，但生成的內容也相對簡潔。LLM×MapReduce-V2消耗的資源最多，比前者多出33.7%，但生成的內容更加詳細，包含更多的結構化元素。

五、深入案例分析：強化學習綜述的人機對決

為了更直觀地展示人類綜述與AI綜述的差異，研究團隊選擇了強化學習這個熱門領域進行詳細的案例分析。就像是讓兩個學生針對同一個話題寫作文，然后逐句比較他們的表現。

在大綱結構方面，人類專家撰寫的綜述呈現出精細的層次化組織。就像一棵枝繁葉茂的大樹，主干清晰，分支合理，每個小節都有明確的主題和內容范圍。而AutoSurvey生成的綜述結構相對粗糙，就像用粗線條勾勒的草圖，雖然大致輪廓正確，但缺乏細節和深度。

在內容深度方面，差異更加明顯。人類專家在解釋強化學習的核心概念時，不僅會給出定義，還會詳細闡述概念的來源、發展歷程、與其他概念的關系等。比如在討論"價值函數"這個概念時，人類專家會解釋它在不同算法中的具體應用、計算方法的演進、存在的理論問題等。而AI往往只是給出簡單的定義，缺乏這種深層次的分析。

在內容覆蓋方面，人類綜述表現出更強的全面性和平衡性。人類專家能夠識別出哪些是該領域的核心內容，哪些是重要但不那么關鍵的內容，并相應地分配篇幅。而AI往往在內容選擇上缺乏判斷力，可能對某些次要內容過度著墨，而對關鍵內容一筆帶過。

最有趣的是，在回答具體問題時，兩者的差異最為突出。比如當問到"強化學習中的探索與利用平衡問題有哪些主要解決方案"時，人類綜述能夠提供詳細、準確的答案，包括具體的算法名稱、工作原理、適用場景等。而AI綜述往往只能給出模糊、籠統的回答，缺乏具體的技術細節。

六、AI寫綜述面臨的三大挑戰

通過大量的測試和分析，研究團隊總結出AI在寫學術綜述時面臨的三大核心挑戰，這些挑戰就像是橫在AI面前的三座大山。

第一座大山是"深度理解能力不足"。AI雖然能夠處理大量文獻，快速提取關鍵信息，但往往停留在表面層次，缺乏對技術原理的深入理解。這就好比一個學生能夠快速背誦教科書的內容，但無法真正理解其中的道理。當遇到需要深入分析或比較的問題時，AI就顯得力不從心。

第二座大山是"缺乏關聯思維"。優秀的學術綜述不僅要介紹各種方法和技術，更要能夠發現它們之間的內在聯系，建立起知識網絡。人類專家能夠憑借豐富的經驗和直覺，發現不同研究之間的隱性關聯，或者從一個領域的發展中獲得啟發，應用到另一個領域。而AI在這方面明顯不足，往往只能進行機械式的信息整合。

第三座大山是"抽象總結能力有限"。真正有價值的綜述不僅要詳細介紹各種具體技術，更要能夠從更高的角度總結出該領域的發展規律、核心思想和未來趨勢。這需要很強的抽象能力和洞察力。雖然AI能夠識別出一些表面的模式和趨勢，但缺乏那種能夠"透過現象看本質"的深度思考能力。

這些挑戰的根源在于，當前的AI系統主要依靠統計學習方法，通過大量數據訓練來學習模式和規律。雖然這種方法在很多任務上表現出色，但在需要深度理解、創新思維和抽象總結的任務上，仍然存在明顯局限。

七、未來展望：AI與人類的協作之路

盡管發現了AI在寫綜述方面的諸多不足，但研究團隊并沒有完全否定AI的價值。相反，他們提出了一個更加現實和平衡的觀點：在可預見的未來，AI不太可能完全替代人類專家寫綜述，但可以成為非常有價值的助手。

這種協作模式就像醫生使用各種高科技設備輔助診斷一樣。AI可以承擔一些重復性、基礎性的工作，比如文獻搜集、初步分類、格式整理等，讓人類專家能夠將更多精力投入到需要創造性思維的工作上，如深度分析、創新觀點提出、前瞻性判斷等。

具體來說，AI可以在以下幾個方面發揮重要作用。首先是"信息助手"，幫助研究人員快速搜集和整理相關文獻，提供基礎的分類和摘要。其次是"寫作助手"，協助完成綜述的初稿撰寫，處理格式規范、引用管理等技術性工作。最后是"質量檢查員"，幫助發現綜述中的遺漏、錯誤或不一致之處。

同時，這項研究也為AI技術的改進指明了方向。未來的AI系統需要在以下幾個方面取得突破：加強對專業知識的深度理解，而不僅僅是表面的模式匹配；提升跨領域知識整合能力，能夠建立不同概念之間的有意義聯系；增強抽象思維能力，能夠從具體事實中提煉出一般性規律和洞察。

研究團隊還指出，隨著AI技術的不斷發展，特別是在推理能力、知識整合能力等方面的進步，AI寫綜述的質量將會逐步提升。但這是一個漸進的過程，需要技術突破、大量數據積累和方法創新的共同推進。

說到底，這項研究為我們揭示了AI在學術寫作領域的真實現狀：既不是萬能的神器，也不是無用的擺設，而是一個有潛力但尚需完善的工具。對于學術界來說，關鍵是要客觀認識AI的能力邊界，既充分利用其優勢，又清楚其局限性。

對于普通人來說，這項研究的意義在于讓我們更好地理解AI技術的發展水平。當我們看到AI生成的各種文章和報告時，需要保持理性的判斷，既欣賞其便利性，也意識到其可能存在的不足。畢竟，真正有價值的知識創造仍然需要人類的智慧、經驗和創造力。

這項研究最終告訴我們，在人工智能快速發展的時代，人類的獨特價值并沒有因此而降低，反而更加凸顯。AI可以成為我們的得力助手，但無法替代我們進行深度思考和創新。未來最理想的狀態可能是人機協作，各自發揮所長，共同推進知識的創造和傳播。

有興趣深入了解這項研究細節的讀者，可以通過論文編號arXiv:2510.03120v2在arXiv平臺上查詢完整論文。

Q&A

Q1：SurveyBench是什么？它是如何評估AI寫綜述能力的？

A：SurveyBench是由上海交大團隊開發的AI學術綜述寫作評估體系，它通過兩套方法來檢驗AI寫的綜述質量：一套是"對比評估"，將AI綜述與人類專家綜述進行詳細對比打分；另一套是"問答測試"，通過設計各種問題來檢驗綜述的實際價值。就像給AI設計了一場既有筆試又有口試的綜合考試，不僅看表面質量，更測試實用性。

Q2：目前的AI寫綜述水平如何？能替代人類專家嗎？

A：目前AI寫綜述在表面指標上表現不錯，語言流暢度、結構完整性能達到人類水平的90%左右，但在內容深度方面比人類綜述低約21%。AI存在細節缺失、關聯思維不足、抽象能力有限等問題，暫時無法完全替代人類專家，更適合作為輔助工具來承擔基礎性工作。

Q3：不同AI系統在寫綜述方面有什么特點？

A：研究測試的四個AI系統各有特色：OpenAI DeepResearch最均衡但內容簡潔；AutoSurvey在技術內容處理上較弱；SurveyForge和LLM×MapReduce-V2表現相似；LLM×MapReduce-V2善于生成圖表但內容冗長。所有AI系統在處理熟悉領域時表現更好，遇到新興領域就明顯下降。