精準操控、柔性互動、手部操作是智能體理解并改造世界的關鍵能力。然而,機器人在真實環境中復現人類操作仍面臨巨大挑戰。聚焦這一難題,由上海機器人產業技術研究院聯合復旦大學、上海交通大學、同濟大學共同研發的“靈巧手操作任務標準化數據集”于近日正式發布,旨在為機器人手部精細操作能力突破提供堅實支撐。
![]()
上海機器人產業技術研究院
作為國家機器人檢測與評定中心總部,當前全國超一半的機器人正在從位于普陀區武寧路上的上海機器人產業技術研究院“畢業”上崗。“我們將自身在檢測與評定中的經驗遷移到了此次數據集的研發上,形成算法工具,打造了一個對外服務的標準化數據平臺。”研究院智能創新技術研發中心主任熊學勝道出了數據集研發背后的核心。
![]()
![]()
數據集任務示意
此次“靈巧手操作任務標準化數據集”涵蓋了廚房、書房、實驗室、浴室4大典型交互場景,包含75類物體,共構建627條任務序列、超過400萬幀圖像,其中264條為復雜任務,可解析為1376個基元任務。通過融合多視角視覺、動捕系統和手部姿態信息,形成時空對齊的多模態數據庫,能夠為機器人多視角感知與動作建模提供豐富支持。
研發團隊還創新性提出的mf-mdm(動作-物體)雙階段架構,借助軌跡transformer和擴散模型實現動作-物體軌跡耦合,形成靈巧手動作生成模型,輸出標準化、長時序、多步驟操作單元,助力機器人拆分子任務、預測物體運動與學習本體操作。
標準化數據集全面對標即將發布的4項數據集行業標準,在數據采集、標注、格式、治理等關鍵環節進行了標準化治理,相關成果已發布高水平論文,不僅為機器人手部精細操作能力突破奠定基礎,更降低了技術產業化的門檻,讓科研成果從實驗室更快走向產業應用。研究院還將立足自身地理位置優勢,深化沿滬寧產業創新帶協同作用,將標準、認證體系轉化為產業協同的“通用語言”,串聯起更多上下游企業。
據悉,此次發布的靈巧手操作任務標準化數據集也將成為具身智能標準化數據集的重要組成部分,上海機器人產業技術研究院研發團隊正計劃于下半年發布具身智能標準化數據集平臺。“具身智能作為機器人產業發展的前沿陣地,我們希望通過數據集平臺實現‘數據采集-模型訓練-本體部署-功能驗證’的閉環流程,覆蓋感知、決策、執行等訓練需求,為智能體在復雜環境中的綜合操作能力提升提供更全面的支撐。”熊學勝表示。
記者:錢佳瑩
編輯:沈悅
數學基因激活產業動能,普陀主辦的這場重磅論壇即將揭幕
“暑”你精彩!普陀區愛心暑托班第一期結業
精準匹配,普陀區這里“點燃”你的職業夢想!
軌道交通20號線普陀段所涉征收地塊簽約均已達100%
滬港同心普陀優才實習計劃2025圓滿收官
上觀號作者:上海普陀





京公網安備 11011402013531號