該研究由小米具身智能團(tuán)隊(duì)（Xiaomi Embodied Intelligence Team）共同完成。由該團(tuán)隊(duì)的郝孝帥擔(dān)任核心貢獻(xiàn)第一作者，項(xiàng)目負(fù)責(zé)人則是小米智駕團(tuán)隊(duì)首席科學(xué)家陳龍。團(tuán)隊(duì)致力于打破單一領(lǐng)域的界限，構(gòu)建能夠同時(shí)理解物理世界并進(jìn)行復(fù)雜推理的通用智能體（模型），匯聚了自動(dòng)駕駛與具身智能領(lǐng)域的頂尖研究力量。

大語(yǔ)言模型（LLM）與多模態(tài)大語(yǔ)言模型（MLLM）的浪潮正以前所未有的速度席卷 AI 領(lǐng)域，但當(dāng)算法試圖走出數(shù)字世界，邁入物理實(shí)體時(shí)，卻遭遇了嚴(yán)重的“水土不服”。

在傳統(tǒng)的具身智能研發(fā)范式中，自動(dòng)駕駛（Autonomous Driving）與具身智能（Embodied AI）長(zhǎng)期被視為兩條平行線。前者在戶外高速動(dòng)態(tài)環(huán)境中，通過(guò)激光雷達(dá)與相機(jī)感知車流與紅綠燈；后者則在室內(nèi)靜態(tài)或低速環(huán)境中，依賴機(jī)器人本體進(jìn)行精細(xì)的導(dǎo)航和操作任務(wù)。

這種“各管一攤”的局面，導(dǎo)致了嚴(yán)重的領(lǐng)域割裂。現(xiàn)有的專用模型往往“偏科”嚴(yán)重：自動(dòng)駕駛模型（如 DriveLMM）缺乏對(duì)物體部件級(jí)的精細(xì)理解，而機(jī)器人模型（如 RoboBrain2.0）則難以應(yīng)對(duì)復(fù)雜的交通博弈與高動(dòng)態(tài)場(chǎng)景。

結(jié)果就是，我們始終缺乏一個(gè)能夠打通室內(nèi)外、融合動(dòng)靜態(tài)感知的統(tǒng)一“大腦”。

在11.21日發(fā)表的技術(shù)報(bào)告《MiMo-Embodied: X-Embodied Foundation Model》中，小米具身智能團(tuán)隊(duì)指出了這一痛點(diǎn)，并發(fā)布了MiMo-Embodied——這是首個(gè)開源的、成功融合了自動(dòng)駕駛與具身智能的跨域基座模型。

研究數(shù)據(jù)顯示，MiMo-Embodied 在17個(gè)具身智能基準(zhǔn)和12個(gè)自動(dòng)駕駛基準(zhǔn)上均刷新了記錄（SOTA），不僅大幅超越了開源基線，更在空間推理與規(guī)劃等關(guān)鍵指標(biāo)上擊敗了 GPT-4o、Gemini-Pro 等閉源模型，證明了跨域知識(shí)融合的巨大潛力。

論文題目：

MiMo-Embodied: X-Embodied Foundation Model

論文鏈接：

https://arxiv.org/abs/2511.16518

項(xiàng)目主頁(yè)：

https://github.com/XiaomiMiMo/MiMo-Embodied

統(tǒng)一物理世界的認(rèn)知基座

要解決領(lǐng)域割裂，不能簡(jiǎn)單地進(jìn)行模型拼接。MiMo-Embodied 的核心在于構(gòu)建了一個(gè)統(tǒng)一的感知與推理模型架構(gòu)。

該模型基于小米自研的MiMo-VL架構(gòu)（包含 Vision Transformer 視覺(jué)編碼器與 MLP 投影層），將物理世界的交互能力解構(gòu)為六大核心維度：

在自動(dòng)駕駛側(cè)，模型不僅要進(jìn)行環(huán)境感知（識(shí)別車道、障礙物），更需具備狀態(tài)預(yù)測(cè)（Status Prediction）與駕駛規(guī)劃（Driving Planning）能力——即像老司機(jī)一樣，預(yù)測(cè)旁車意圖，并生成符合交通規(guī)則的駕駛軌跡。

在具身智能側(cè)，模型重點(diǎn)攻克可供性預(yù)測(cè)（Affordance Prediction）與空間理解（Spatial Understanding）。這意味著模型不僅要識(shí)別物體，還要理解物體“哪里能抓”、“哪里能放”，并能解析復(fù)雜的空間介詞（如“在...左邊的物體，在...的前方區(qū)域”）。

四階段進(jìn)化：從“看懂”到“決策”

如何在單一模型中融合差異巨大的跨域數(shù)據(jù)，同時(shí)避免“災(zāi)難性遺忘”？小米團(tuán)隊(duì)設(shè)計(jì)了一套嚴(yán)謹(jǐn)?shù)?strong>四階段漸進(jìn)式訓(xùn)練策略（Progressive Four-stage Training Strategy），這也是該模型性能卓越的關(guān)鍵。

簡(jiǎn)單的混合訓(xùn)練往往會(huì)導(dǎo)致“災(zāi)難性遺忘”。團(tuán)隊(duì)首先利用海量通用數(shù)據(jù)與具身數(shù)據(jù)奠定基礎(chǔ)，建立模型對(duì)物體與空間的初級(jí)認(rèn)知；隨后引入大規(guī)模自動(dòng)駕駛數(shù)據(jù)，通過(guò)混合監(jiān)督學(xué)習(xí)，讓模型在掌握高速動(dòng)態(tài)感知的同時(shí)，保留對(duì)室內(nèi)精細(xì)操作的理解。

階段一：具身與通用知識(shí)奠基。這一階段類似于人類的“通識(shí)教育”。模型利用海量通用圖文數(shù)據(jù)（Visual Grounding、OCR）和具身智能數(shù)據(jù)（如 RoboRefIt、Cosmos-Reason1）進(jìn)行監(jiān)督微調(diào)。這建立了模型對(duì)細(xì)粒度物體部件的定位能力，以及對(duì)基礎(chǔ)空間關(guān)系的理解，使其學(xué)會(huì)“看懂”靜態(tài)物理世界。

階段二：自動(dòng)駕駛知識(shí)注入與混合監(jiān)督。模型隨后進(jìn)入“駕?！?。團(tuán)隊(duì)引入了包括 CODA-LM（長(zhǎng)尾場(chǎng)景）、nuScenes-QA 在內(nèi)的大規(guī)模自動(dòng)駕駛數(shù)據(jù)。關(guān)鍵創(chuàng)新在于混合監(jiān)督（Mixed Supervision）——在注入高速動(dòng)態(tài)駕駛知識(shí)的同時(shí)，保留部分具身數(shù)據(jù)。這確保模型在學(xué)習(xí)識(shí)別紅綠燈和車道線時(shí)，不會(huì)遺忘如何識(shí)別室內(nèi)的水杯和把手。

階段三：思維鏈推理（CoT）的邏輯升華。只會(huì)感知還不夠，智能體必須具備邏輯推理能力。團(tuán)隊(duì)構(gòu)建了包含顯式推理步驟（Rationale）的數(shù)據(jù)集，利用Chain-of-Thought (CoT)技術(shù)進(jìn)行微調(diào)。 例如，在面對(duì)“車輛是否應(yīng)該變道？”的問(wèn)題時(shí)，模型不再直接輸出“是/否”，而是生成一段完整的思考路徑：“檢測(cè)到前方擁堵 -> 左側(cè)車道空閑 -> 且后方無(wú)快速來(lái)車 -> 因此建議變道”。這種顯式的邏輯生成，極大提升了模型在長(zhǎng)尾復(fù)雜場(chǎng)景下的魯棒性與可解釋性。

階段四：強(qiáng)化學(xué)習(xí)（RL）的終極打磨。這是畫龍點(diǎn)睛的一筆。針對(duì)多模態(tài)模型常有的“幻覺(jué)”問(wèn)題（如生成的坐標(biāo)不準(zhǔn)確），團(tuán)隊(duì)利用GRPO算法。通過(guò)設(shè)計(jì)針對(duì)性的獎(jiǎng)勵(lì)函數(shù)，RL 算法迫使模型在面對(duì)同一個(gè)問(wèn)題時(shí)，從多個(gè)候選答案中收斂到邏輯更嚴(yán)密、坐標(biāo)更精準(zhǔn)的輸出。這就像是考前的“高強(qiáng)度刷題”，將模型的執(zhí)行精度推向了極致。

總體數(shù)據(jù)集規(guī)模與配置如下：

實(shí)驗(yàn)結(jié)果：正向遷移引發(fā)的性能躍升

這種“四步走”策略帶來(lái)的效果是結(jié)構(gòu)性的。實(shí)驗(yàn)表明，MiMo-Embodied 并非兩個(gè)領(lǐng)域的簡(jiǎn)單疊加，而是實(shí)現(xiàn)了正向遷移。

具身智能基準(zhǔn)測(cè)試：17項(xiàng)SOTA全面突破

在17個(gè)具身智能基準(zhǔn)測(cè)試中，MiMo-Embodied 在可供性預(yù)測(cè)（Affordance Prediction）、任務(wù)規(guī)劃（Task Planning）和空間理解（Spatial Understanding）三大核心能力上全面刷新記錄。

可供性預(yù)測(cè)能力

MiMo-Embodied 模型在 RoboRefIt、Where2Place、VABench-Point、Part-Afford 和 RoboAfford-eval 五個(gè)專業(yè)基準(zhǔn)上均達(dá)到最優(yōu)性能。特別值得注意的是，MiMo-Embodied 在 VABench-Point、Part-Afford 和 RoboAfford-eval 上大幅領(lǐng)先其他具身智能模型，展現(xiàn)出在精細(xì)可供性推理方面的強(qiáng)大能力。

任務(wù)規(guī)劃能力

MiMo-Embodied 在 RoboVQA 基準(zhǔn)上表現(xiàn)最優(yōu)，展示了在因果推理和目標(biāo)導(dǎo)向結(jié)果理解方面的卓越能力。在長(zhǎng)時(shí)規(guī)劃基準(zhǔn) EgoPlan2 上也取得了極具競(jìng)爭(zhēng)力的成績(jī)，充分證明了模型在長(zhǎng)時(shí)推理方面的有效性。

空間理解能力

MiMo-Embodied在綜合空間智能任務(wù) CV-Bench 上取得最優(yōu)結(jié)果，在空間關(guān)系推理的 RoboSpatial、RefSpatial-Bench 和 CRPE 關(guān)系子集上均領(lǐng)先。這些結(jié)果驗(yàn)證了 MiMo-Embodied 在物理世界具身推理方面的強(qiáng)大能力。

自動(dòng)駕駛基準(zhǔn)測(cè)試：12項(xiàng)指標(biāo)全面領(lǐng)先

MiMo-Embodied 在12個(gè)自動(dòng)駕駛基準(zhǔn)上表現(xiàn)卓越，涵蓋環(huán)境感知、狀態(tài)預(yù)測(cè)和駕駛規(guī)劃三大維度。

環(huán)境感知能力

在全景語(yǔ)義理解任務(wù)上展現(xiàn)最優(yōu)表現(xiàn)，在具有挑戰(zhàn)性的局部感知場(chǎng)景中也表現(xiàn)出卓越的魯棒性。實(shí)驗(yàn)結(jié)果令人信服地證明，MiMo-Embodied 具備多層次、高保真的環(huán)境感知能力。

狀態(tài)預(yù)測(cè)能力

在單圖像基準(zhǔn) MME-RealWorld 和多視圖圖像基準(zhǔn) DriveLM 上均取得強(qiáng)勁表現(xiàn)，準(zhǔn)確捕捉個(gè)體行為意圖并有效建模多智能體間的復(fù)雜交互。

駕駛規(guī)劃能力

在所有面向規(guī)劃的基準(zhǔn)測(cè)試中均表現(xiàn)突出。這種持續(xù)的優(yōu)越性充分說(shuō)明，模型不僅能生成準(zhǔn)確、符合情境的駕駛決策，還能產(chǎn)生與現(xiàn)實(shí)世界交通邏輯和駕駛規(guī)范相符的連貫、可解釋的推理過(guò)程。

真實(shí)世界場(chǎng)景驗(yàn)證：從仿真到實(shí)戰(zhàn)

具身導(dǎo)航與操作

團(tuán)隊(duì)在具身導(dǎo)航和操作兩個(gè)基礎(chǔ)下游應(yīng)用中驗(yàn)證了模型的實(shí)用性。在導(dǎo)航任務(wù)中，MiMo-Embodied 在四個(gè)家庭導(dǎo)航場(chǎng)景中表現(xiàn)優(yōu)異：定位臥室中的床、在餐廳找到吸塵器、在書房識(shí)別植物、在浴室定位馬桶。

在操作任務(wù)中，模型展現(xiàn)了出色的可供性預(yù)測(cè)和空間推理整合能力，在識(shí)別粉色勺子的可抓取把手、定位底排橙子之間的中間放置位置、選擇最左側(cè)面包等功能導(dǎo)向任務(wù)中均表現(xiàn)出色。

自動(dòng)駕駛軌跡規(guī)劃

公開基準(zhǔn)表現(xiàn)。在 NAVSIM 基準(zhǔn)上，MiMo-Embodied 顯著超越競(jìng)爭(zhēng)模型，在模仿學(xué)習(xí)（IL）階段和強(qiáng)化學(xué)習(xí)（RL）階段均取得最優(yōu)性能。

定性結(jié)果表明，MiMo-Embodied 能夠處理多樣化的自動(dòng)駕駛場(chǎng)景并完成具有挑戰(zhàn)性的任務(wù)，包括路口轉(zhuǎn)彎、彎道掉頭、跟車和變道超車。

專有數(shù)據(jù)集驗(yàn)證。在大規(guī)模專有數(shù)據(jù)集上的評(píng)估顯示，MiMo-Embodied 在所有評(píng)估類別中均顯著超越基線。特別值得注意的是，在復(fù)雜的交互任務(wù)（如轉(zhuǎn)彎、繞障和變道）中性能提升最為顯著。

這種在高復(fù)雜度場(chǎng)景中的大幅改進(jìn)，有力證明了具身訓(xùn)練范式賦予模型在復(fù)雜駕駛情境中更強(qiáng)的推理能力，并轉(zhuǎn)化為更準(zhǔn)確、更符合人類專家駕駛行為的軌跡生成。

消融實(shí)驗(yàn)：多階段策略的關(guān)鍵作用

為驗(yàn)證多階段訓(xùn)練策略的有效性，團(tuán)隊(duì)進(jìn)行了系統(tǒng)性消融實(shí)驗(yàn)。結(jié)果顯示：

僅使用具身數(shù)據(jù)訓(xùn)練的模型在兩個(gè)領(lǐng)域均表現(xiàn)強(qiáng)勁，但僅使用自動(dòng)駕駛數(shù)據(jù)訓(xùn)練的模型在具身任務(wù)上性能顯著下降直接混合訓(xùn)練兩個(gè)領(lǐng)域的數(shù)據(jù)，具身任務(wù)有所改進(jìn)，但自動(dòng)駕駛性能略有下降采用多階段訓(xùn)練策略的 MiMo-Embodied 在具身任務(wù)上平均達(dá)到62.4%（相比混合訓(xùn)練提升4%），在自動(dòng)駕駛?cè)蝿?wù)上達(dá)到最優(yōu)的63.3%（相比混合訓(xùn)練提升8.1%）

這充分證明，多階段訓(xùn)練策略能夠在不犧牲單一任務(wù)性能的前提下，實(shí)現(xiàn)具身智能和自動(dòng)駕駛能力的協(xié)同提升，為構(gòu)建統(tǒng)一的具身基座模型提供了有效的訓(xùn)練范式。

結(jié)語(yǔ)

MiMo-Embodied 的出現(xiàn)，標(biāo)志著具身智能研究進(jìn)入了一個(gè)新的階段。

它證明了物理世界的認(rèn)知邏輯是統(tǒng)一的——無(wú)論是控制機(jī)器人還是駕駛汽車，都依賴于對(duì)三維空間、因果關(guān)系及行為預(yù)測(cè)的深刻理解。小米具身智能團(tuán)隊(duì)通過(guò)構(gòu)建統(tǒng)一的跨域基座模型，成功打破了長(zhǎng)期以來(lái)的領(lǐng)域壁壘，讓數(shù)據(jù)在不同具身形態(tài)間產(chǎn)生了“化學(xué)反應(yīng)”。

這項(xiàng)工作不僅為構(gòu)建通用的VLA（Vision-Language-Action）模型提供了基礎(chǔ)，也讓“一個(gè)大腦，通用于百變機(jī)身”的未來(lái)愿景變得觸手可及。