機器之心報道

編輯：澤南、冷貓

新方法大幅提升了具身智能的成功率、處理效率。

完全使用真實世界數據訓練的具身智能，具備什么級別的能力？

本周，美國具身智能創業公司 Physical Intelligence（簡稱 PI 或 π）發布了旗下的最新機器人基礎模型 π*0.6

PI 是一家總部位于舊金山的機器人與 AI 創業公司，其使命是將通用人工智能從數字世界帶入物理世界：他們的首個機器人通用基礎模型名為 π?，讓同一套軟件控制多種物理平臺執行各類任務。

在 2024 年，PI 獲得超過 4 億美元融資，估值突破 20 億美元，成為具身智能賽道最受矚目的玩家之一。

PI 的技術路線強調 「視覺 - 語言 - 動作」（VLA）模型，通過大規模機器人感知與動作數據訓練出具備泛化能力的策略，使機器人不再局限于預設動作，而能在未知環境中靈活執行。

機器學習與決策控制領域的知名專家、UC Berkeley 副教授、Physical Intelligence 聯合創始人 Sergey Levine 表示，搭載這個模型的機器人已經可以在公司的辦公室里為人們制作拿鐵、美式和意式咖啡了。

Sergey Levine 表示，通過對 π*0.6 模型進行微調，可以使其在多種任務上表現出色，除了處理衣物之外的任務都可以達到 90% 成功率，而且任務處理的效率也大大提升了。

在 Physical Intelligence 的一篇博客中，工程師們詳細介紹了 π*0.6 的機制與性能。

想一下，要組裝一個紙箱需要哪些步驟？

作為人類，想要快速高效地完成這個任務，首先你應該會請人教你一些基礎知識：哪些方法有效，常見的錯誤有哪些，以及正確的技巧是什么。其次，一位優秀的老師不僅會演示如何操作，還會指導你，糾正你自行操作時犯的錯誤。但是，僅僅依靠指導是不夠的：最終熟能生巧，成為紙箱組裝大師的第三步是反復練習，直到熟練掌握，成為一種本能反應。

過去一年，我們在機器人學習領域看到的許多令人矚目的成果，都僅僅使用了第一步 —— 通過人提供的演示來訓練機器人。僅憑這一步，讓機器人成功完成一半的任務并不難，但要讓它每次都成功卻非常困難，更不用說在復雜的實際任務中達到人類水平的效率了。這是一個很大的問題，因為實際的機器人任務需要一個能夠可靠且快速運行的系統。

基于這樣的思考，Physical Intelligence 開發了一種名為Recap（基于優勢條件策略的經驗與糾錯強化學習）的方法，它實現了所有三個步驟：通過演示訓練機器人、通過糾錯指導機器人，并使其能夠從自主經驗中改進。作者使用 Recap 改進了最新版本的視覺 - 語言 - 動作 (VLA) 模型 π(0.6)，使其能夠穩健高效地執行復雜任務，例如制作意式濃縮咖啡、組裝紙箱和折疊各種衣物。

這款經過強化學習訓練后的模型稱為 π*(0.6)，利用 Recap 在自主經驗上訓練 π*(0.6) 可以將一些最困難任務的吞吐量提高一倍以上，并將失敗率降低 2 倍或更多。這使得 π*(0.6) 達到了實際應用所需的魯棒性水平：它能夠連續運行一整天制作意式濃縮咖啡，在新家中連續數小時不間斷地折疊各種衣物，以及組裝工廠實際包裝所需的紙箱。

模仿是遠遠不夠的

我們可能會想，為什么 VLA 僅依靠監督學習（即模仿）時難以持續取得成功，而監督學習在 LLMs 和其他機器學習系統中卻效果很好。這個問題的原因實際上已經被很好地理解了，不過此前一直缺乏實用的解決方案。

當一個通過模仿訓練的 VLA 控制機器人時，它會像任何模型一樣犯一些小錯誤 —— 它可能把夾爪放在略微錯誤的位置、抓取失敗，或撞倒一個物體。

由于機器人在真實的物理環境中進行交互，這些錯誤會產生與訓練數據略有不同的情境，而在這些情境中，錯誤是會累積的。機器人更可能犯下另一個更大的錯誤，小錯誤是可以修復的，但累積錯誤會導致失敗。

對于產生靜態輸出的 AI 系統（例如 LLMs）來說，這并不是一個大問題；但在模型作為一個持續與外部環境互動的控制策略時（例如現實世界中的機器人），這就是一個特定的問題。實際上，這意味著，雖然讓 VLA 偶爾完成某項任務相對容易，但讓它們可靠，穩定的實現成功卻非常困難。

如果我們使用來自 VLA 自身行為的額外數據，本質上讓它在真實世界中糾正它實際犯下的錯誤，就像人類可以通過練習在某項任務上不斷提高一樣，通過允許 VLA 反復練習，就可以解決累積錯誤的問題。

但對于這種類型的經驗，能用什么作為真實標簽？如果我們訓練策略只是去復制它之前做過的事情，那我們只是教會它繼續犯相同的錯誤。讓模型能夠從經驗中學習的關鍵，是從糟糕的經驗數據中提取出良好的訓練信號。

糾正式指導與強化學習

Recap 使我們能夠從「質量較差」的經驗數據中獲得良好的訓練信號，途徑包括兩種：

糾正式指導（coaching with corrections）：由專家展示機器人如何修復錯誤或做得更好；強化學習（reinforcement learning）：機器人依據整個任務過程的最終結果自行判斷哪些行為更好或更差，并通過迭代學習強化好的行為、避免不好的行為。

糾正式指導要發揮作用，專家遠程操作人員需要提供糾正信號，展示如何從機器人在真實世界中實際犯下的錯誤中恢復。

實踐中，這意味著運行當前最強的策略，并在機器人出錯時通過手動遠程接管（teleoperation）控制。這種干預可以作為監督信號使用，但與用于訓練原始策略的演示不同，該干預針對的正是策略實際將機器人帶入的那些狀態，從而解決錯誤累積的問題。

然而，僅依靠糾正式指導是有限的：這類監督的質量受制于人類是否能及時判斷應當介入以及是否能提供高質量的糾正。對于明顯或嚴重的錯誤，這種方式可以奏效，但若想獲得最佳性能 —— 即快速、可靠且一致地完成任務 —— 機器人必須能夠自主學習。

從任務結果中通過強化學習進行學習的核心挑戰在于信用分配（credit assignment）：即理解機器人執行的哪些動作導致了好的結果，哪些導致了壞的結果。

如果機器人以錯誤的方式抓起意式咖啡機的手柄（portafilter），它在插入時可能會遇到困難。錯誤并不發生在插入階段，而是在最初的抓取動作上。一個正確的信用分配方法應當將該失敗歸因于抓取錯誤，即使失敗只是在之后的步驟中表現出來。

僅通過模仿學習訓練的基礎模型在將手柄插入意式咖啡機時會遇到困難。導致失敗的錯誤可能發生在更早的階段。

信用分配是強化學習中的一個關鍵挑戰。Recap 通過訓練一個價值函數來解決這一問題。

舉例來說，在象棋這類游戲中，智能體只有在贏得比賽時才會獲得獎勵，那么價值函數就會根據當前棋局預測智能體獲勝的概率。使價值函數上升的動作是應該被鼓勵的好動作；而使價值函數下降的動作則應被抑制。

下圖展示了價值函數在任務執行過程中所做的預測。

在一個回合中不同時間點的值函數預測。這個值函數預測完成任務的（負）步數。請注意，當機器人取得進展時預測會增加，而當進展很小時預測會保持平穩。

在訓練好價值函數之后，我們需要利用它來得到一個更好的策略。實現這一點的方法有多種，但我們需要的是一種可擴展、并且能夠與大型 VLA 模型結合使用的方法。

在 Recap 中，Physical Intelligence 將 VLA 在價值變化上調整：使用所有訓練數據（包括好的和不好的動作），同時告訴 VLA 哪些動作是好是壞。由于模型在擁有大量數據時通常具有最佳的泛化能力，在訓練中保留全部數據并僅僅將價值變化注釋作為輸入，是一個非常具有吸引力的選擇。

在強化學習中，這種「價值變化」被稱為優勢（advantage）。在執行階段，我們只需讓這個按優勢條件化的 VLA 去選擇高優勢的動作，從而得到一個比訓練數據本身更優的策略。

面向真實世界任務

Physical Intelligence 使用 Recap 來訓練 π*(0.6) 模型，使其能夠執行多項真實世界應用。π*(0.6) 是基于 π(0.6) 模型訓練得到的，而 π(0.6) 則是早期 π(0.5) 模型的改進版本。

它采用了稍大一些的骨干網絡，并能夠處理更加異質化的提示與條件信息，如下圖所示。關于 π(0.6) 模型架構的更詳細描述，請參閱模型卡。

https://website.pi-asset.com/pi06star/PI06_model_card.pdf

Physical Intelligence 研究了三個應用場景：制作意式咖啡飲品、折疊多種類型的衣物，以及組裝包裝用的紙盒。Recap 的第一階段，是使用離線強化學習（offline RL）對 π*(0.6) 模型進行預訓練，這與基礎 π(0.6) 和 π(0.5) VLA 所采用的標準監督學習方法形成對比。在此基礎上，再通過示范數據對 π*(0.6) 進行任務級微調，隨后利用機器人在真實環境中收集的額外數據繼續通過強化學習進行訓練，其中包括專家提供的糾正（用于修復大的錯誤）以及來自獎勵的反饋（用于根據自主經驗進一步改進）。

下方的圖表對比了不同階段模型的性能：監督學習訓練的基礎 π(0.6) 模型；使用離線強化學習預訓練的基礎 π*(0.6) 模型（即 Recap 的第一階段）；通過示范對每個任務微調后的 π*(0.6) 模型；以及結合機器人真實執行經驗進行微調后的最終 π*(0.6) 模型。對每個任務，Physical Intelligence 測量了吞吐量（每小時成功完成任務的次數）以及成功率。

值得注意的是，對于一些最困難的任務（如制作意式咖啡），加入機器人真實執行經驗后，吞吐量和成功率都提升了超過兩倍

Recap 在所有任務中都顯著提升了吞吐量，并且通常還能帶來成功率的大幅提升。

從質量上看，最終的 π*(0.6) 模型在結合示范數據和機器人自身經驗學習后，能夠熟練掌握每個應用任務。下面的視頻展示了這些任務的一些評估亮點。

π*(0.6) 在每項真實世界任務中的質性示例。π*(0.6) 能夠應對多種條件，并從錯誤中恢復。

每一項任務都包含許多挑戰，使得實現高吞吐量的自主執行變得困難。

箱子組裝任務需要執行高度復雜的物理操作 —— 在保持箱體結構的同時折疊箱蓋。此外，該任務需要反復執行并處理各種邊緣情況，正如上方視頻中所示：有時扁平的紙箱會粘在一起，導致機器人一次抓起多個箱子，此時它必須將多余的箱子放回去；有時在出現錯誤后還需要重新折疊箱子。

衣物折疊任務則需要處理高度的多樣性，并在不同初始條件和不同衣物種類之間實現泛化。這非常困難，因為不僅不同的衣物需要不同的折疊策略，不同材質的布料也具有不同的動力學特性。

最后，意式咖啡制作任務需要處理一個跨度非常長的操作序列，新模型使用了類似于之前 π(0.5) 模型的高層語言策略。該任務還涉及倒液體、判斷咖啡研磨機和意式咖啡機何時完成工作、以及在制作結束后用布巾清潔機器。

這些步驟對當前最先進的 VLA 模型來說都極具挑戰性，而π*(0.6) 能夠以超過 90% 的成功率完成這些任務

下一步？

目前，機器人基礎模型主要依賴人為收集的示范數據（例如通過遠程操作）。這種方式使訓練過程簡單直接，但也帶來了一個嚴重的障礙：數據需要大量人工投入，模型的速度與可靠性受限于人類的操作水平，而機器人本身無法通過經驗不斷變得更好。像 Recap 這樣的方法在原理上能夠解決這些限制，因為它還能直接從機器人自身的經驗中學習。

隨著機器人在真實世界中的部署越來越廣泛，從經驗中學習可能會成為一種重要的數據來源，并成為實現高性能模型不可或缺的組成部分。

就像人類通過「指導 — 輔導 — 練習」的組合方式成長一樣，機器人同樣將從多種不同的數據來源中學習。但這些數據來源會承擔不同的角色：專家示范用于定義新的行為，糾正式指導用于改進策略，而自主經驗 —— 可能是規模最大的數據來源 —— 則用于打磨行為，使其最終有可能達到超越人類的表現。

https://www.pi.website/blog/pistar06#where-are-we-headed

文中視頻鏈接：

https://mp.weixin.qq.com/s/EVxkL1yX41fEUv0dBzFYeg