近日，Hugging Face 聯(lián)合英國(guó)牛津大學(xué)團(tuán)隊(duì)發(fā)布了 LeRobot，這是一個(gè)旨在與整個(gè)機(jī)器人技術(shù)棧實(shí)現(xiàn)端到端集成的開源庫，業(yè)內(nèi)將其稱為是「機(jī)器人界的 PyTorch」。LeRobot 支持機(jī)器人從大規(guī)模多模態(tài)數(shù)據(jù)比如文本、視頻和傳感器中學(xué)習(xí)，適配于多種硬件，助力于推動(dòng)機(jī)器人技術(shù)從方程控制面向數(shù)據(jù)驅(qū)動(dòng)泛化轉(zhuǎn)變。

圖 | 相關(guān)論文（https://arxiv.org/pdf/2510.12403）

LeRobot 支持多種公開可用的機(jī)器人平臺(tái)，能被用于機(jī)器人操控、運(yùn)動(dòng)和全身控制。它還實(shí)現(xiàn)了統(tǒng)一的底層讀寫機(jī)器人配置的方法，以便能以相對(duì)較低的成本拓展對(duì)于其他機(jī)器人平臺(tái)的支持。

LeRobot 還引入了 LeRobotDataset，后者是一種原生的機(jī)器人數(shù)據(jù)集格式，目前已被 AI 社區(qū)用于記錄數(shù)據(jù)和共享數(shù)據(jù)。LeRobotDataset 是 LeRobot 最重要的功能之一，之所以開發(fā)這一功能是因?yàn)闄C(jī)器人數(shù)據(jù)在機(jī)器人學(xué)習(xí)中變得日益重要。

因此，LeRobot 希望能夠定義一種標(biāo)準(zhǔn)化的數(shù)據(jù)集格式，從而滿足機(jī)器人學(xué)習(xí)的特定需求，以便為跨模態(tài)的機(jī)器人數(shù)據(jù)提供既統(tǒng)一又便捷的訪問。LeRobotDataset 還可被用于存儲(chǔ)所有關(guān)于所收集到的數(shù)據(jù)的通信信息，包括供操作員執(zhí)行任務(wù)的文本描述、所使用機(jī)器人的類型以及相關(guān)的測(cè)量細(xì)節(jié)，比如記錄圖像和機(jī)器人狀態(tài)流時(shí)的每秒幀數(shù)。

通過此，LeRobotDataset 能為處理多模態(tài)數(shù)據(jù)和時(shí)間序列數(shù)據(jù)提供一個(gè)統(tǒng)一的接口，并能與 PyTorch 以及 Hugging Face 生態(tài)系統(tǒng)實(shí)現(xiàn)無縫集成。同時(shí)，LeRobotDataset 還可以由用戶進(jìn)行自行擴(kuò)展和高度定制，也支持來自于 LeRobot 之中的各種機(jī)器人平臺(tái)的公開可用數(shù)據(jù)，范圍涵蓋 SO-100 機(jī)械臂以及 ALOHA-2 操作器等業(yè)內(nèi)已有的開源硬件，也涵蓋現(xiàn)實(shí)世界中的其他人形機(jī)器人手臂，以及涵蓋完全基于模擬的數(shù)據(jù)集和自動(dòng)駕駛汽車。這種數(shù)據(jù)集格式的好處在于，既可以實(shí)現(xiàn)機(jī)器人的高效訓(xùn)練，又能靈活適應(yīng)機(jī)器人遇到的各種數(shù)據(jù)類型。

LeRobot 還支持那些機(jī)器人在學(xué)習(xí)中所使用的算法，并在 PyTorch 中提供了高效的實(shí)現(xiàn)，也擴(kuò)展了對(duì)于實(shí)驗(yàn)開展和實(shí)驗(yàn)跟蹤的支持。同時(shí)，LeRobot 為機(jī)器人策略定義了一個(gè)定制化的推理?xiàng)＃軌驅(qū)?dòng)作規(guī)劃與動(dòng)作執(zhí)行解耦。

（https://arxiv.org/pdf/2510.12403）

LeRobot 的相關(guān)論文指出，當(dāng)前機(jī)器人學(xué)習(xí)正處于一個(gè)轉(zhuǎn)折點(diǎn)，而這主要得益于機(jī)器學(xué)習(xí)的快速進(jìn)步以及大規(guī)模機(jī)器人數(shù)據(jù)的日益普及。LeRobo 勾勒出了一條從強(qiáng)化學(xué)習(xí)和行為克隆的基礎(chǔ)原理、再到能夠跨不同任務(wù)乃至跨機(jī)器人平臺(tái)操作的通用性語言條件模型的發(fā)展路線。

（https://arxiv.org/pdf/2510.12403）

LeRobot 也描繪了機(jī)器人技術(shù)的范式轉(zhuǎn)變。原先的機(jī)器人主要采用結(jié)構(gòu)化的、基于模型的方法，而當(dāng)前的機(jī)器人開始轉(zhuǎn)向動(dòng)態(tài)數(shù)據(jù)驅(qū)動(dòng)的方法。這條進(jìn)展軌跡的起點(diǎn)始于強(qiáng)化學(xué)習(xí)。雖然強(qiáng)化學(xué)習(xí)提供了一個(gè)能夠通過交互進(jìn)行學(xué)習(xí)的強(qiáng)大范式，但是強(qiáng)化學(xué)習(xí)在機(jī)器人技術(shù)中的應(yīng)用存在樣本效率低、現(xiàn)實(shí)世界訓(xùn)練存在安全問題以及獎(jiǎng)勵(lì)設(shè)計(jì)復(fù)雜性等不足。正因此，類似于人工干預(yù)的強(qiáng)化學(xué)習(xí)（HIL-SERL，Human-in-the-Loop Reinforcement Learning）這樣的前沿方法通過融入訓(xùn)練時(shí)的人類指導(dǎo)、先前收集的數(shù)據(jù)集以及學(xué)習(xí)得到的獎(jiǎng)勵(lì)分類器，來讓現(xiàn)實(shí)世界的強(qiáng)化學(xué)習(xí)變得更加可行。

然而，強(qiáng)化學(xué)習(xí)所面臨的固有困難也推動(dòng)了基于模仿學(xué)習(xí)的方法的發(fā)展，基于模仿學(xué)習(xí)的方法能以較為安全的方式從數(shù)量有限的、無獎(jiǎng)勵(lì)的現(xiàn)實(shí)世界專家演示中學(xué)習(xí)。隨著模仿學(xué)習(xí)方法得到更加廣泛的采用，這也催生了單任務(wù)策略的發(fā)展。這些進(jìn)步為當(dāng)前機(jī)器人的發(fā)展奠定了基礎(chǔ)，即能夠針對(duì)各種不同的現(xiàn)實(shí)世界任務(wù)，讓少樣本和零樣本的通用型語言條件化的視覺-語言-動(dòng)作模型發(fā)揮作用。

據(jù)了解，通過利用預(yù)訓(xùn)練主干網(wǎng)絡(luò)和流匹配等生成方法，讓美國(guó)初創(chuàng)公司 Physical Intelligence 的π0 模型和 SmolVLA 等模型實(shí)現(xiàn)了跨不同任務(wù)、甚至跨機(jī)器人平臺(tái)泛化的飛躍。LeRobot 的相關(guān)論文指出，當(dāng)前機(jī)器人領(lǐng)域出現(xiàn)了大規(guī)模公開可用的數(shù)據(jù)集，也出現(xiàn)了標(biāo)準(zhǔn)化的穩(wěn)定易用的模型架構(gòu)，這與 LeRobot 這樣的開源平臺(tái)的出現(xiàn)密不可分。

論文還指出，LeRobot 這種面向開源機(jī)器人技術(shù)的匯聚不僅僅是一種趨勢(shì)，更是機(jī)器人領(lǐng)域?qū)崿F(xiàn)更好發(fā)展的根本性推動(dòng)力。總之，LeRobot 旨在打破機(jī)器人研發(fā)的高墻，讓機(jī)器人研發(fā)者減少重復(fù)造輪子，讓開發(fā)者只用幾行代碼即可調(diào)用 SOTA 模型，讓普通愛好者也能訓(xùn)練并部署自己的機(jī)器人策略，或許它將助力于時(shí)間讓機(jī)器人從專有走向通用、從昂貴走向普及的愿景。

參考資料：

https://arxiv.org/pdf/2510.12403

運(yùn)營(yíng)/排版：何晨龍