本文第一作者為斯坦福大學研究生蔡聞驍，此前，他以績點第一名的成績在東南大學取得學士學位。他的研究興趣為多模態大模型、具身智能。此工作為其在上海交通大學訪問和北京智源人工智能研究院實習期間完成，導師為本文通訊作者趙波教授。
此前，李飛飛老師提出了空間智能 (Spatial Intelligence) 這一概念，作為回應，來自上交、斯坦福、智源、北大、牛津、東大的研究者提出了空間大模型 SpatialBot，并提出了訓練數據 SpatialQA 和測試榜單 SpatialBench， 嘗試讓多模態大模型在通用場景和具身場景下理解深度、理解空間。
在具身智能的 pick and place 任務中，需要判斷機械爪是否碰到了目標物體。如果碰到，則可以合上爪子抓取。然而，在這個 Berkerly UR5 Demonstration Dataset 場景中，即使是 GPT-4o 或人類，都無法從單張 RGB 圖像中判斷機械爪是否碰到了目標物體，比如借助深度信息，將深度圖直接給 GPT-4o 看的話，也無法判斷，因為它不能理解深度圖。
SpatialBot 通過對 RGB-Depth 的理解，可以準確獲得機械爪和目標物體的深度值，從而產生對空間概念的理解。
具身場景的 SpatialBot Demo：
1. 以人 (相機) 的視角，抓取右側的茶杯
2. 抓取最中間的茶杯
視頻鏈接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650929304&idx=4&sn=906cb76e1014596f6aede719086eba5d&chksm=84e43ce6b393b5f05c11dcd7bbd0fc5b0ab428af6e0c2ab8bbd7b212f281be3731895e2529e3&token=1689653070&lang=zh_CN#rd
作為走向具身智能的必要路徑，如何讓大模型理解空間？
點云比較貴，雙目相機在使用中需要經常校準。相比之下，深度相機價格可以接受、使用范圍廣。在通用場景中，即使沒有這樣的硬件設備，大規模無監督訓練過的深度估計模型已經可以提供較為準確的深度信息。因此，作者提出，使用 RGBD 作為空間大模型的輸入。
目前的技術路線存在什么問題？
現有模型無法直接理解深度圖輸入。比如，圖像編碼器 CLIP/SigLIP 在 RGB 圖像上訓練，沒有見過深度圖。現有大模型數據集，大多僅用 RGB 就可以分析、回答。因此，如果僅僅簡單的將現有數據改為 RGBD 輸入，模型不會主動到深度圖中索引知識。需要專門設計任務和 QA，引導模型理解深度圖、使用深度信息。
三個層次的 SpatialQA，逐步引導模型理解深度圖、使用深度信息
如何引導模型理解和使用深度信息，理解空間？
作者提出具有三個層次的 SpatialQA 數據集。
在 low level 引導模型理解深度圖，引導從深度圖直接獲取信息；在 middle level 讓模型將 depth 與 RGB 對齊；在 high level 設計多個深度相關任務，標注了 50k 的數據，讓模型在理解深度圖的基礎上，使用深度信息完成任務。任務包括：空間位置關系，物體大小，物體接觸與否，機器人場景理解等。
示例對話
SpatialBot 包含什么？
1. 借鑒 agent 中的思想，SpatialBot 在需要時，可以通過 API 獲取準確的深度信息。在深度信息獲取、遠近關系比較的任務上，可以達到 99%+ 的準確率。
2. 針對空間理解任務，作者公布了 SpatialBench 榜單。通過精心設計和標注 QA，測試模型深度理解能力。SpatialBot 在榜單上展示了和 GPT-4o 接近的能力。
模型如何理解深度圖？
1. 輸入模型的深度圖：為了兼顧室內室外任務，需要統一的深度圖編碼方式。室內的抓取、導航任務可能需要毫米級的精確度，室外的場景不需要這么精準，卻可能需要 100 米以上的深度值范圍。傳統視覺任務中會用 Ordinal Encoding 來編碼，但是 ordinal 的值無法進行加減運算。為了盡可能保留所有深度信息，SpatialBot 直接使用以毫米為單位的 metric depth，范圍為 1mm～131m，使用 uint24 或三通道的 uint8 來保留這些值。
2. 為了精準的獲取深度信息，借鑒 agents 中的思想，SpatialBot 在認為有必要的時候，會以點的形式調用 DepthAPI，獲取準確的深度值。若想獲取物體的深度，SpatialBot 會先思考物體的 bounding box 是什么，然后用 bounding box 的中心點調用 API。
3. SpatialBot 使用物體的中心點、深度平均、最大和最小四個值來描述深度。
SpatialBot 和 DepthAPI 架構
SpatialBot 在通用場景和具身場景效果如何？
1. SpatialBot 基于 3B 到 8B 的多個 base LLM。通過在 SpatialQA 中學習空間知識，SpatialBot 在常用 MLLM 數據集 (MME、MMBench 等) 上同樣展示了顯著的效果提升。
2. 在 Open X-Embodiment、作者收集的機器人抓取數據等具身任務上，SpatialBot 同樣展示了驚人效果。
SpatialBot 通用場景對比實驗
數據如何標注？
精心設計了關于空間理解的問題，比如深度、遠近關系、上下左右前后位置關系、大小關系，并且包含了具身中的重要問題，比如兩個物體是否接觸。
在測試集 SpatialBench 中，首先人工思考問題、選項和答案。為了擴大測試集大小，也使用 GPT 以同樣的流程標注。
訓練集 SpatialQA 包含三方面：
直接理解深度圖，讓模型看深度圖，分析深度的分布，猜測其中可能包含的物體； 空間關系理解和推理；機器人場景理解：描述 Open X-Embodiment 和本文收集的機器人數據中的場景、包含的物體、可能的任務，并人工標注物體、機器人的 bounding box。
空間關系理解
Open X-Embodiment 機器人場景理解
深度圖理解。在使用 GPT 標注這部分數據時，GPT 會先看到深度圖，描述深度圖、推理其中可能包含的場景和物體，然后看到 RGB 圖，篩選出正確的描述和推理。
京公網安備 11011402013531號