本文的主要作者來自香港大學、VAST、哈爾濱工業(yè)大學及浙江大學。本文的第一作者為香港大學博士生楊運涵。本文的通訊作者為香港大學劉希慧教授與VAST 公司首席科學家曹炎培博士。

在3D內(nèi)容創(chuàng)作領域，如何像玩樂高一樣，自由生成、編輯和組合對象的各個部件，一直是一個核心挑戰(zhàn)。香港大學、VAST、哈爾濱工業(yè)大學及浙江大學的研究者們聯(lián)手，推出了一個名為 OmniPart 的全新框架，巧妙地解決了這一難題。該研究已被計算機圖形學頂會 SIGGRAPH Asia 2025 接收。

如今，從游戲、VR到數(shù)字孿生，高質量的3D世界構建變得至關重要 。盡管現(xiàn)有的AI模型能夠生成令人驚嘆的3D整體形狀，但它們大多是“一體式”的模型，缺乏內(nèi)在的部件結構。這種結構上的不透明性，極大地限制了模型在部件編輯、動畫制作、材質分配等關鍵應用中的價值 。

為了破解這一難題，研究者們提出了OmniPart，一個創(chuàng)新的“部件級別”3D生成框架。它的核心思想是將復雜的生成任務解耦為兩個協(xié)同工作的階段：“先規(guī)劃，后生成”，在保證部件之間高度獨立（語義解耦）的同時，也確保它們能完美地組合成一個整體。

論文題目：OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion項目主頁：https://omnipart.github.io/代碼下載：https://github.com/HKU-MMLab/OmniPartHuggingface demo:https://huggingface.co/spaces/omnipart/OmniPart

效果展示

OmniPart 以簡單的2D圖像（如圖中畫框所示）和掩碼為輸入，首先通過自回歸模型規(guī)劃出三維部件結構，然后同步生成所有高質量、帶紋理的獨立部件（如透明展柜中所示）。這些部件能夠無縫地融合成一個結構協(xié)調的完整對象，并提供了顯式的部件控制能力，從而極大地增強了后續(xù)的編輯、定制化和動畫制作效果。

方法介紹：兩階段“規(guī)劃-生成”策略

OmniPart 的流程優(yōu)雅而高效，它將復雜的部件生成任務分解為兩個核心模塊：可控的結構規(guī)劃（Controllable Structure Planning）和空間感知的部件生成（Spatially-Conditioned Part Synthesis)。

第一階段：基于2D掩碼的結構規(guī)劃

首先，模型需要規(guī)劃出3D對象的部件布局 。OmniPart 采用了一個自回歸Transformer模型，它會根據(jù)輸入的2D圖像，預測出一系列3D包圍盒（Bounding Boxes），每一個包圍盒都代表一個部件的空間位置和大小。

這里最巧妙的創(chuàng)新在于，用戶可以通過提供簡單、靈活的2D部件掩碼（Part Masks）來直觀地控制部件的分解粒度。這些掩碼無需與3D部件一一對應，也無需語義標簽，大大降低了控制的難度。例如，用戶可以決定機器人的手臂和手掌是一個部件還是兩個獨立的部件。

為了確保生成的包圍盒能完整地覆蓋對應部件，團隊還引入了一種新穎的“部件覆蓋損失”（Part Coverage Loss），鼓勵模型生成稍大一些的包圍盒，避免部件信息在后續(xù)階段丟失。

第二階段：空間感知的部件生成

有了部件的“空間藍圖”（包圍盒）后，第二階段的任務就是生成所有高質量的3D部件，并確保它們能無縫拼接。

該模塊基于一個強大的預訓練3D整體生成器（TRELLIS）進行高效微調。它將所有部件的潛在編碼（latent codes）進行并行聯(lián)合優(yōu)化，而不是孤立地生成每個部件。這種全局與局部信息結合的去噪過程，確保了最終部件之間的高度一致性。

此外，為了解決部件邊界處體素重疊和噪聲問題，OmniPart 提出了一種新穎的“體素丟棄機制”。該機制能精確判斷每個體素是否真正屬于其分配的部件，從而生成清晰的部件接口，讓組合后的整體更加完美。

實驗效果：質量與效率全面領先

生成質量對比

如下圖所示，與 Part123、PartGen 等現(xiàn)有方法相比，OmniPart 生成的3D部件在幾何細節(jié)、語義準確性和結構一致性上都表現(xiàn)出明顯優(yōu)勢。其他方法或只能生成表面分割，或幾何質量較差，而 OmniPart 則能生成結構完整、細節(jié)豐富且能完美組合的獨立部件。

2.生成效率

值得一提的是，OmniPart 的生成效率也實現(xiàn)了大幅提升。相較于需要復雜多視圖重建流程的 Part123（約15分鐘）和 PartGen（約5分鐘）

3.Huggingface demo 展示

豐富的下游應用

得益于其出色的部件可控性，OmniPart 自然地支持一系列激動人心的下游應用：

掩碼控制生成 (Mask-Controlled Generation)：用戶可通過編輯2D掩碼，精確指導3D部件的結構生成。多粒度生成 (Multi-Granularity Generation)：通過調整掩碼的精細程度，可以生成不同細節(jié)層次的部件組合。材質編輯 (Material Editing)：可以對特定部件（如企鵝的帽子、衣服）進行獨立的材質或紋理修改。幾何處理 (Geometry Processing)：生成的高質量部件有利于后續(xù)的網(wǎng)格重構（remeshing）等幾何處理，不會在部件連接處產(chǎn)生偽影。

總結

OmniPart 框架通過其創(chuàng)新的“規(guī)劃-生成”兩階段流程，并引入靈活的2D掩碼作為引導，成功地實現(xiàn)了高質量、可控的部件級3D內(nèi)容生成。它不僅在生成質量和效率上樹立了新的標桿，其強大的可編輯性和應用潛力也為游戲開發(fā)、動畫制作和虛擬現(xiàn)實等領域鋪平了道路，推動了可解釋、可編輯3D內(nèi)容的創(chuàng)作邊界。

值得一提的是，該團隊近期在3D部件領域已經(jīng)積累了多篇高質量的研究成果，形成了系統(tǒng)性的探索。其中包括專注3D部件分割的工作SAMPart3D(https://yhyang-myron.github.io/SAMPart3D-website/)，該研究旨在實現(xiàn)對任意3D物體進行精細化的部件分割。另一項相關研究HoloPart(https://vast-ai-research.github.io/HoloPart/) 則致力于解決從不完整的表面部件信息（Amodal Segmentation）中生成完整的3D部件幾何。從部件的分割 (SAMPart3D)、補全 (HoloPart)到如今的生成 (OmniPart)，這些工作共同構建了一個圍繞“部件級3D物體”的AIGC技術矩陣。