2 月 26 日消息，北京時間今日凌晨，微軟在官網開源了多模態 AI Agent 基礎模型 ——Magma。與傳統 Agent 相比，Magma 具備跨數字、物理世界的多模態能力，能自動處理圖像、視頻、文本等不同類型數據，此外，Magma 還能內置了心理預測功能，增強了對未來視頻幀中時空動態的理解能力，能夠準確推測視頻中人物或物體的意圖和未來行為。

用戶可以用 Magma 來自動下電商訂單、查詢天氣；也可以自動操作實體機器人，或者在下真實象棋時獲得幫助。

根據官方介紹，Magma 能夠幫助 AI 驅動的助手或機器人理解周圍環境并采取相應行動。例如，它可以幫助家用機器人學習如何整理以前從未見過的物品，或幫助虛擬助手為不熟悉的任務生成逐步的用戶界面導航說明。

Magma 是能夠適應數字和物理環境中新任務的 VLA（注：視覺語言動作）基礎模型之一，能夠有效地從海量的公開視覺和語言數據中學習知識，從而融合語言、空間和時間智能，應對數字和物理世界中的復雜任務和環境。

附開源鏈接：https://microsoft.github.io/Magma/