杭州“六小龍”之一的群核科技近日在GTC2025全球大會上低調(diào)開源了一款空間理解模型SpatialLM。

SpatialLM是一個(gè)基于大語言模型的3D場景語義生成框架。通過一段視頻輸入，就能準(zhǔn)確認(rèn)知和理解此視頻對應(yīng)的空間點(diǎn)云數(shù)據(jù)，并對點(diǎn)云數(shù)據(jù)進(jìn)行推理和場景描述，最終將提取的信息以自然語言的形式呈現(xiàn)。

SpatialLM運(yùn)行原理

這款中國公司低調(diào)開源的模型一經(jīng)推出，在國外linkedIn、Twitter和技術(shù)圈受到熱捧。在最新HuggingFace趨勢榜上，群核科技SpatialLM登上趨勢榜第二位，有意思的是趨勢榜前三家均是杭州公司，分別為Deepseek、群核科技SpatialLM、通義千問Qwen2.5-Omni，領(lǐng)先于英偉達(dá)、谷歌等公司模型。

HuggingFace趨勢榜

群核科技創(chuàng)始人黃曉煌接受國際媒體彭博社采訪時(shí)直言：“開源是為了推動(dòng)具身智能技術(shù)奇點(diǎn)到來。”

海外平臺用戶對SpatialLM的自發(fā)分享

不同于傳統(tǒng)大語言模型，SpatialLM突破了對物理世界幾何與空間關(guān)系的理解局限，賦予機(jī)器類人的空間認(rèn)知和解析能力。

目前，SpatialLM已在HuggingFace、GitHub、魔搭社區(qū)等平臺面向全球開發(fā)者開源。

雖然行業(yè)已有對圖像、視頻進(jìn)行參數(shù)化描述模型，比如meta此前發(fā)布的Scene模型。但SpatialLM的獨(dú)特之處在于：

1、相比meta需要依賴其眼鏡的定制化模式，SpatialLM設(shè)定于面向普通相機(jī)、手機(jī)的視頻作為輸入，因此更具通用性。

2、不同于傳感器對物理世界的感知，SpatialLM使用大語言模型，最終輸出是對3D場景的自然語言描述，未來還將支持原生自然語言與場景數(shù)據(jù)交互。

3、更重要的是，SpatialLM支持對物理世界中空間信息的認(rèn)知理解，和結(jié)構(gòu)化描述。群核科技本身便專注于物理空間模擬的技術(shù)場景，過去十余年中積累了海量的三維數(shù)據(jù)和空間認(rèn)知數(shù)據(jù)；基于此數(shù)據(jù)訓(xùn)練的模型，亦具備創(chuàng)建物理正確的空間場景的能力。

SpatialLM模型開源后，將為像具身智能領(lǐng)域的企業(yè)或機(jī)構(gòu)科研團(tuán)隊(duì)提供一個(gè)空間認(rèn)知理解的基礎(chǔ)訓(xùn)練框架。尤其是對那些不具備模型開發(fā)能力的具身智能企業(yè)，可以基于SpatialLM模型進(jìn)行微調(diào)，降低具身智能訓(xùn)練門檻。

同時(shí)，SpatialLM模型與去年群核科技發(fā)布的空間智能解決方案SpatialVerse之間，形成從空間認(rèn)知理解到空間行動(dòng)交互的具身智能訓(xùn)練閉環(huán)。SpatialLM模型負(fù)責(zé)空間認(rèn)知理解上的基礎(chǔ)訓(xùn)練，SpatialVerse負(fù)責(zé)機(jī)器人在仿真環(huán)境中的行動(dòng)交互訓(xùn)練。

另一方面，SpatialLM模型使SpatialVerse的數(shù)據(jù)來源更開放。通過從視頻到結(jié)構(gòu)化場景的轉(zhuǎn)化，將現(xiàn)實(shí)世界的數(shù)據(jù)轉(zhuǎn)化為虛擬環(huán)境中的豐富場景。而基于SpatialVerse的合成數(shù)據(jù)引擎，這些基于SpatialLM模型生成的一個(gè)個(gè)結(jié)構(gòu)化場景又可泛化生成億萬級新場景。相當(dāng)于形成一條 "現(xiàn)實(shí) - 虛擬 - 現(xiàn)實(shí)" 的閉環(huán)路徑，讓現(xiàn)實(shí)世界成為“數(shù)字道場”的原料來源，這不僅讓SpatialVerse的數(shù)據(jù)更多樣，同時(shí)還能縮小仿真與現(xiàn)實(shí)之間的“差距”。

鈦媒體App此前報(bào)道過，這家目前備受關(guān)注的空間智能公司，今年2月向港交所提交了上市申請，聯(lián)席保薦人為摩根大通、建銀國際。招股書顯示，群核科技營業(yè)收入由2022年的6億元增加10.5%至2023年的6.64億元；2024年前9個(gè)月經(jīng)調(diào)整凈虧損為9361萬元。

更早4個(gè)月前，群核科技對外公開兩大技術(shù)引擎：群核科技啟真（渲染）引擎和群核矩陣（CAD）引擎，并首次介紹其技術(shù)底層核心：基于GPU高性能計(jì)算的物理世界模擬器?，F(xiàn)場，群核科技還推出了群核空間智能平臺SpatialVerse，面向AIGC、具身智能、AR/VR 等企業(yè)開放物理正確的3D空間數(shù)據(jù)資產(chǎn)、空間認(rèn)知解決方案以及空間智能訓(xùn)練相關(guān)服務(wù)。

據(jù)悉，目前該平臺擁有全球最大的室內(nèi)場景認(rèn)知深度學(xué)習(xí)數(shù)據(jù)集，此前還與英特爾、慕尼黑工業(yè)大學(xué)推出全球首個(gè)高視覺與物理逼真度環(huán)境數(shù)據(jù)合成與訓(xùn)練仿真平臺SPEAR SIM。

群核科技聯(lián)合創(chuàng)始人兼CEO陳航表示，群核科技是一家以GPU集群和AI技術(shù)為底座的科技公司，在過去數(shù)年的技術(shù)沉淀中構(gòu)建了一套物理正確的世界模擬器，并將之運(yùn)用在基于空間的實(shí)時(shí)設(shè)計(jì)渲染、工業(yè)生產(chǎn)制造，以及虛擬物理世界訓(xùn)練等場景中。據(jù)悉，2024年群核科技全平臺平均月活躍訪客數(shù)為8630萬名，旗下酷家樂是全球最大的空間設(shè)計(jì)平臺，在十年發(fā)展中沉淀了超過3.6億的3D模型。（本文首發(fā)于，作者 | 秦聰慧）