原標(biāo)題：字節(jié)跳動發(fā)布通用機(jī)器人模型 GR-3：配套設(shè)計(jì) ByteMini 機(jī)器人，支持高泛化、長程任務(wù)、柔性物體雙臂操作

IT之家 7 月 22 日消息，Seed GR-3 是字節(jié)跳動 Seed 團(tuán)隊(duì)提出的全新 Vision-Language-Action Model（VLA）模型，它具備泛化到新物體和新環(huán)境的能力，能理解包含抽象概念的語言指令，還能夠精細(xì)地操作柔性物體。

據(jù) Seed 介紹，與此前需要大量機(jī)器人軌跡訓(xùn)練的 VLA 模型不同，GR-3 通過少量的人類數(shù)據(jù)即可實(shí)現(xiàn)高效微調(diào)，從而快速且低成本地遷移至新任務(wù)，以及認(rèn)識新物體。

此外，得益于改進(jìn)的模型結(jié)構(gòu)，GR-3 能有效處理長程任務(wù)并能進(jìn)行高靈巧度的操作，包括雙手協(xié)同操作、柔性物體操作，以及融合底盤移動的全身操作等。

具體而言，這些能力是通過一種多樣的模型訓(xùn)練方法實(shí)現(xiàn)的：除遙操作機(jī)器人收集的高質(zhì)量真機(jī)數(shù)據(jù)外，團(tuán)隊(duì)還經(jīng)過用戶授權(quán)，征集了基于 VR 設(shè)備的人類軌跡數(shù)據(jù)，以及公開、可用的大規(guī)模視覺語言數(shù)據(jù)進(jìn)行聯(lián)合訓(xùn)練 —— 多樣性數(shù)據(jù)的融合是 GR-3 區(qū)別于現(xiàn)有 VLA 模型的亮點(diǎn)之一。

同時(shí)，字節(jié)跳動 Seed 團(tuán)隊(duì)還開發(fā)了一款具備高靈活性、高可靠性的通用雙臂移動機(jī)器人 ByteMini，相當(dāng)于是專為 GR-3 這顆“大腦”打造的“靈活軀體”。

ByteMini 具備 22 個全身自由度以及獨(dú)特的手腕球角設(shè)計(jì)，使它能夠像人類一樣靈活，在狹小空間中完成各種精細(xì)操作，攜帶 GR-3 模型這顆“機(jī)器人大腦”，可高效在真實(shí)環(huán)境中處理復(fù)雜任務(wù)。

GR-3 在各類任務(wù)中展現(xiàn)的特點(diǎn)包括：

“心靈”：GR-3 在超長序列 (子任務(wù)數(shù)≥ 10) 的餐桌整理任務(wù)中，可高魯棒性、高成功率地完成任務(wù)，并在過程中嚴(yán)格跟隨人類發(fā)出的分步指令；

“手巧”：GR-3 在復(fù)雜靈巧的掛衣服任務(wù)中，能夠控制雙臂協(xié)同操作可形變的柔性物體，甚至可以魯棒地識別并整理不同擺放方式的衣物；

泛化好：GR-3 在各類物體的抓取放置任務(wù)中，可以泛化到抓取未見過的物體，同時(shí)可理解包含復(fù)雜抽象概念的指令。

經(jīng)過團(tuán)隊(duì)上千次系統(tǒng)性實(shí)驗(yàn)測試，GR-3 表現(xiàn)超過業(yè)界此前可測試具體性能的 VLA 頭部模型 π0。未來，團(tuán)隊(duì)希望 GR-3 可以成為邁向通用機(jī)器人“大腦”的重要一步。

在基礎(chǔ)場景和新環(huán)境中，加入公開可用的圖文數(shù)據(jù)進(jìn)行訓(xùn)練不會帶來能力損失；在未見過的復(fù)雜指令和新物品任務(wù)中，這部分?jǐn)?shù)據(jù)分別能帶來 42.8% 和 33.4% 的成功率提升。

為持續(xù)提升 GR-3 應(yīng)對未見過物體的能力，團(tuán)隊(duì)利用 VR 設(shè)備采集了人類操作物體的數(shù)據(jù)，結(jié)果發(fā)現(xiàn)：只需要通過 VR 設(shè)備對相應(yīng)物品采集 10 條軌跡數(shù)據(jù)，就可以讓 GR-3 操作這些物體的成功率從不到 60% 提升到超過 80%。

團(tuán)隊(duì)還同時(shí)測試了 GR-3 跟隨分步指令的能力，結(jié)果發(fā)現(xiàn)：GR-3 在跟隨語言指令上，領(lǐng)先基準(zhǔn)模型，面對多件同類物品（如多個杯子），GR-3 能按指令將他們“全放進(jìn)垃圾桶”，若指令無效（如餐桌上沒有藍(lán)色的碗，指令為“把藍(lán)色碗放進(jìn)籃子”），GR-3 能準(zhǔn)確判斷并保持不動，而基準(zhǔn)模型則會隨機(jī)拿取物品。

此外，GR-3 還能泛化到機(jī)器人數(shù)據(jù)中未包含的衣服。例如，當(dāng)機(jī)器人數(shù)據(jù)中的衣服均為長袖款式時(shí)，GR-3 對短袖衣物同樣能有效處理。