出品｜虎嗅科技組

作者｜宋思杭

編輯｜苗正卿

頭圖｜AI生成

距離唐劍離開學術界，已經過去七年。這七年里，他曾在自動駕駛的一線摸爬滾打，也親眼見證了AI從“認知”走向“行動”的關鍵轉折。和許多從自動駕駛跨入具身智能的學者與工程師一樣，唐劍的軌跡也并不意外。

唐劍曾是美國雪城大學的終身教授，研究方向是“AI驅動的系統控制”。但在產業化的過程中，他逐漸意識到：無論是自動駕駛還是人形機器人，要想在真實復雜的環境中真正落地，傳統的基于數學建模的方法可能無法實現，基于AI的經驗驅動的控制更有希望成功，就像游泳運動員學游泳是一種基于經驗的訓練，而不是先去學流體動力學。

在學術界浸淫多年的唐劍，盡管離開學術界多年，也依然保持著嚴謹的風格。在對話前，他特地召集團隊的技術成員，一起推敲了幾個問題——確認表述是否足夠準確。在對話中，他時常用“程度副詞”精確地界定自己的觀點。

唐劍看似學術派，卻不晦澀。他談世界模型，談DeepSeek，談具身智能的未來，邏輯清晰、語氣平和，甚至帶著一點克制的興奮。

“我并沒有說具身智能已經實現了智能涌現，”唐劍多次強調，“我只是類比DeepSeek的低成本復現與獎勵機制帶來的自我學習閉環，并在具身智能機器人領域達到SOTA水平?！彼嬖V虎嗅，他們的世界模型也同樣引入了獎勵機制和基于強化學習的微調，讓機器人逐步具備自我優化與認知能力——但同時，他也坦誠，“我們還在路上，還有架構和算法需要繼續迭代升級?！?/p>

與此同時，他也認同王興興說的具身智能還沒有達到Scaling law，在他看來，除了數據遠遠不夠，也因為模型架構沒有收斂。他認為目前的底層架構存在問題。唐劍說，“未來我們可能還會迭代底層架構。”

如今，唐劍所在的北京人形機器人創新中心，公司一層是一個寬闊的機器人展廳，展廳布局更像一個具身智能的“群英薈”。走到一半時，尚未見到“天工”機器人的身影——它似乎被刻意“留到后面”作為重頭戲。

繼續往前，是一面展示機器人發展歷程的長墻；對面則是整齊排列的玻璃展柜，里面陳列著當下海內外最具代表性的四款人形機器人，從左到右分別是特斯拉、Figure、宇樹和智元。

而唐劍帶領的團隊，則在思考另一個問題——在那些光鮮的“形體”背后，怎樣構建出一個真正理解世界的“心智系統”。

以下為虎嗅與北京人形機器人創新中心CTO唐劍的對話實錄，有精簡：

從AI控制到具身智能的起點

虎嗅：從2018年回國至今，你已經在產業界工作了七年多。過去你先后在滴滴、美的等企業任職，經歷了從學術界到產業界的轉變。你長期研究的“AI驅動的系統控制”，在這些不同領域中有哪些共通之處？

唐劍：這其實是我當初回國的一個主要初衷——希望能把AI驅動的系統控制真正用在產業里。這個方向也可以被稱作“數據驅動”，但我更愿意叫它“經驗驅動”的控制方式。傳統的系統控制，需要先對復雜系統做出精確的數學建模；但在很多實際情況下，系統太復雜，很難建立一個足夠準確的數學模型。經驗驅動的思路不同，它通過歷史數據和經驗來學習控制規律，從而在缺乏精確模型的情況下，也能實現高效的控制。

后來，我在美國拿到終身教授之后，就開始醉心于“經驗控制”的方式。

舉個最簡單的例子，比如游泳運動員潘展樂。他能游得快，不是因為他精通流體力學，而是通過反復訓練積累經驗，知道怎樣動作更高效、怎樣會“嗆水”。同樣的道理，AI控制系統通過大量數據積累“經驗”，從而學會在復雜環境下的最佳決策，而不需要先寫出精確的數學公式。

虎嗅：這種“經驗驅動”的理念，在你后續進入自動駕駛、機器人控制時是否也沿用了？

唐劍：是的。比如自動駕駛中的“端到端控制”，就是典型的經驗驅動思路。它將感知、規劃、控制三個模塊合并，由模型直接從數據中學習整個決策鏈條的優化。特斯拉從FSD 12.0版本開始，就采用這種端到端控制架構。這種方式相比傳統基于規則與數學建模的方案，雖然確定性略低，但在復雜場景下的泛化能力更強，也更接近人類的學習模式。

虎嗅：你此前在自動駕駛領域積累了豐富經驗，為什么后來會把研究重心轉向具身智能？

唐劍：自動駕駛是經驗驅動控制的一個非常典型的應用場景，而具身智能則是一個更高維度、更復雜的延伸。相比之下，機器人控制的自由度要高得多，一個機器人往往需要同時控制幾十個關節，還要應對更加復雜和動態的環境。自動駕駛有一定規則可循，比如駕駛需要遵循交通規則，；而機器人工作在更開放更復雜的場景和環境，很多任務沒有規則可循，任務類型繁雜，對理解能力、泛化能力的要求極高，可以說是智能系統的“天花板級”挑戰。

虎嗅：具身智能的復雜度比自動駕駛更高，那么它的“泛化能力”提升會是怎樣一個過程？

唐劍：這個問題很難回答。大家都在期待具身智能出現類似ChatGPT的“突破時刻”，但目前還沒到來。具身智能的數據主要是軌跡數據，和語言模型的訓練語料完全不同，數據量級、采集難度和成本都要高得多。這決定了它的進化會更慢、更依賴長期積累。

世界模型有望帶來具身智能的“DeepSeek時刻”

虎嗅：你說現在具身智能沒有出現ChatGPT時刻，但卻將世界模型類比為具身智能的“DeepSeek時刻”是為什么？

唐劍：現在無論是具身智能還是世界模型，都還沒有出現類似ChatGPT那樣的“時刻”。我們提到“DeepSeek時刻”，更多是一種類比。主要是有三點相似的地方：

第一，它在極為有限的資源下（包括算力和數據）取得了超越SOTA性能。我們團隊的思路也是這樣，用有限資源（比如“百卡級”算力）訓練出2B、7B、14B規模的世界模型，其性能在多項主要指標上超過SOTA，比如英偉達的開源模型Cosmos Predict 2。

第二，DeepSeek雖然在在訓練范式上有突破。比如引入獎勵機制，形成自我優化的訓練閉環。我們現在的世界模型同樣采用“雙模驅動”結構——世界模型與VLM（多模態大模型）相互幫助、相互促進。在訓練中，VLM會為世界模型提供“獎勵反饋”，讓它生成的內容更符合物理規律和因果一致性。

第三，我們堅持開源。DeepSeek在開源條件下實現了可比的性能，證明了低資源條件下的潛力。我們也希望通過開源，讓更多研究者參與改進，從而推動整個領域的演進。

虎嗅：DeepSeek比較驚艷的一點在于它的獎勵機制，你們的世界模型也提出了SOPHIA自我優化框架，這兩者有相似之處嗎？

唐劍：核心就是一個自我優化閉環，本質屬于獎勵機制：由VLM來判定世界模型的生成是否合理，然后反思—調整—再生成。比如更改提示詞（prompt）或中間策略，形成“評估—修正—再評估”的循環，直到結果在物理一致性與任務可行性上達到預期為止。

簡單來說，當我在訓練世界模型時，會引入一個閉環機制，讓模型生成的視頻越來越逼真、越來越符合物理規律。這一過程里，VLM會對世界模型提供反饋和獎勵，從而幫助它不斷改進。與此同時，世界模型也會反過來幫助VLM提升能力。

另一方面，我們今年在NeuRIPS上發表了一篇論文，里面介紹了如何通過世界模型訓練助力機器人大腦的多模態大模型加速進化，。我們整體的架構是一個Agent體系，VLM在其中是“大腦”的核心，負責兩件事：空間理解與任務規劃。也就是說，當機器人接收到任務時，大腦要知道該怎么做。

舉個例子，假設任務是“加熱一塊面包”。機器人可以用微波爐，也可以用烤箱，這兩種方案都可行。我們用蒙特卡洛樹搜索（Monte Carlo Tree Search）的方式，讓系統自動生成多種執行路徑，世界模型會對每一種方案進行仿真和模擬，再結合獎勵模型對這些方案打分，最后選出最優解。

這個過程中生成的全部數據，會用類似DeepSeek的GRPO算法來微調VLM，使得VLM在空間理解和任務規劃上越來越強。

虎嗅：所以你們的世界模型本身也使用了GRPO機制？

唐劍：對。我們在訓練VLM時也引入了GRPO機制。我們很快會開源新的VLM模型，代號叫Pelican（天鶘），目前已經發布，接下來會開放。它的訓練過程就結合了世界模型與GRPO機制，實現了一個更緊密的認知與物理交互閉環。

虎嗅：你覺得如果基于世界模型的這種“雙模驅動”的邏輯，需要多少數據量才能達到智能涌現？或者說達到智能涌現的這個“臨界點”在哪？

唐劍：這個問題得分兩方面看。首先，是問“怎樣才能達到涌現”，還是“什么時候會達到涌現”。這兩點現在都沒有明確答案。到目前為止，沒有人能準確給出具身智能的“Scaling Law”——也就是智能能力隨數據、算力、算法增長的規律。它是否存在、呈現怎樣的曲線，都是未知數。

虎嗅：你認為世界模型未來會成為具身智能行業里的主要分歧點嗎？比如像自動駕駛對激光雷達的討論一樣。

唐劍：我覺得和激光雷達還不太一樣。激光雷達or視覺對于很多廠商來說只是兩個版本。這類分歧更多是技術路線選擇的問題。但世界模型不一樣——對于具身智能來說，它是繞不過去的。

因為世界模型的核心作用是幫助機器人理解世界。人形機器人要實現的不僅僅是“像人”，更要在認知上接近人，能理解、能預判、能在物理世界中行動。沒有世界模型的支撐，這一步是做不到的。

舉個例子，最簡單的機器人操作是“抓取”。現在的機器人抓取主要還是針對剛性物體，比如盒子、瓶子這類，柔性物體幾乎無法精準操作。而人類在抓取不同物體時，會根據之前的經驗與知識，自然調整力道與角度——抓絲綢、拿瓶子、掰煎餅里的薄脆，每種動作都不同。

要讓機器人理解這種差異，它必須先有一個世界模型——也就是一個能理解、能預測、能模擬世界的系統。否則，它在開放世界中的行動是不可能真正可靠的。世界模型有時也被稱為“世界模擬器”，在機器人訓練中尤其是大腦訓練階段，是不可或缺的一環。

世界模型的進化：從視頻生成到物理理解

虎嗅：我可以理解為世界模型是具身智能的“必選項”嗎？是否只有世界模型才能讓機器人真正理解世界，其他模型不行？

唐劍：這個問題問得很好?，F在大家提到“世界模型”，往往會自然聯想到視頻生成類模型，但我認為這只是它的一種形式。世界模型的本質，是讓AI理解世界的模型，不局限于某種算法。

每家企業都可以用不同方式來構建和使用世界模型。目前看世界模型主要有三種用途：

第一種，是讓世界模型與機器人大腦（多模態大模型）形成閉環，互相促進。它幫助機器人大腦自主學習、自主探索——比如當機器人接到同一任務，但處于不同環境時，執行路徑都不一樣，世界模型能幫助它“在腦中”提前模擬出多種方案，最后選擇最優路徑。我們自己使用了類似蒙特卡洛樹搜索的算法，讓模型在虛擬世界中多次嘗試，再決定最佳行動規劃。

第二種，是讓世界模型直接生成軌跡數據。如果模型足夠成熟，它可以自己生成機器人訓練所需的行為數據，這樣不必完全依賴真實采集。

第三種，是將世界模型作為機器人操作模型（VLA）的一部分，即模型本身就具備物理理解與控制能力。這樣機器人在執行任務時，能直接利用物理規律指導操作——比如它會知道“薄脆”該怎么抓，柔性物體該怎么拿。

虎嗅：所以其實現在行業里對“世界模型”還沒有統一的定義？

唐劍：對，目前確實沒有。很多人提到“世界模型”，腦子里想到的都是視頻生成模型。其實那類更多面向內容生成，比如服務影視或娛樂行業。而我們所做的，是面向機器人操作的模型——主要基于機器人第一人稱視角，內容也圍繞操作任務展開。

虎嗅：那視頻生成類的世界模型，和具身智能領域所說的世界模型，最大的區別是什么？是數據嗎？

唐劍：主要是對物理規律和時空一致性的遵循。視頻生成模型追求畫面的美感或藝術效果，它可以在不符合物理規律的情況下生成炫酷畫面。比如手碰到杯子，杯子沒動、手卻穿過去——在視頻里如果有幾幀，可能沒人注意，但在機器人訓練中這是不可接受的。

機器人必須準確預測“杯子會不會倒”“物體會不會移動”，否則下一步動作就完全錯了。因此，具身智能的世界模型要求嚴格的物理一致性和因果邏輯。

同時，時空一致性也很重要。比如在一個視頻生成模型中，鏡頭轉動后物體可能“變形”或“漂移”，但在機器人世界模型中，這種不一致會導致控制邏輯失效。只有保證時間、空間、物理規律的一致性，機器人才能真正理解并操作現實世界。

虎嗅：雖然視頻生成模型對時空一致性和物理規律的要求沒有具身智能世界模型那么高，但它們在技術路線上的本質是不是一樣的？

唐劍：目前來說，我們的具身世界模型的底座（base model）確實也是基于視頻生成的DiT架構。我們當前版本最大的特點是引入了VLM（多模態大模型）形成“雙模驅動”，并通過類似DeepSeek那種帶有獎勵機制的方式形成閉環。同時在訓練中引入了類似“反思”的機制，讓生成結果越來越符合物理規律。不過，從長遠來看，我們的下一個版本很可能會采用一個全新的架構。

虎嗅：是因為它所使用的數據都是視頻數據嗎？

唐劍：這可能是一方面的原因，但更深層次的問題在于架構本身。它并不能真正捕捉到物理規律。現在AI界的一個熱點問題，就是如何把物理約束，比如牛頓定律、能量守恒等物理規律，有效地注入到世界模型中。我們現在的做法是讓VLM在訓練中對生成結果進行判斷與獎勵，這相當于一種強化學習式的約束機制我們會嘗試更多新的方法。。

虎嗅：回到行業的角度，你認為現在為什么具身智能行業需要世界模型？是不是因為行業急需讓機器人具備更強的泛化能力？還是說算法和數據的積累已經到了一定量級？哪個因素的權重更高？

唐劍：權重更高的是第一個。我們常說人形機器人落地分為三個階段：工業場景—商業場景—家庭生活場景。后兩者對泛化能力的要求極高，因為環境復雜多變，這就必須依靠世界模型來指導機器人“怎么做”。我們內部也把體系分為“大小腦”：大腦負責思考和決策——接到任務后決定如何執行；小腦負責動作控制，也就是執行層。

虎嗅：之前我們聊到，世界模型早期多應用于視頻生成。在具身智能領域，這個應用算是剛剛開始嗎？

唐劍：對，相對較新。英偉達之前在推動，最近智元也在做。其實現在行業里普遍關注這一方向。世界模型的核心應用之一就是機器人訓練——可以生成數據，也能模擬機器人在虛擬場景中完成任務。

虎嗅：那是否存在某些世界模型更適合工業場景，另一些更適合生活或商業場景？

唐劍：不會。差異主要在機器人本身，而不是世界模型。比如Figure03更偏向生活與商務場景，強調擬人與柔順性；而工業機器人更粗壯，追求負載、穩定性與耐用性。但世界模型的底層架構不會因此分叉，只要數據充分，模型通用性是一樣的。

虎嗅：所以，世界模型的核心目標就是提高機器人的泛化能力？

唐劍：正是如此。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4795971.html?f=wyxwapp