3DGS (3D Gaussian Splatting) 技術憑借在新視角合成與 3D 重建中實現(xiàn)的實時照片級真實感渲染，已成為研究熱點。然而，現(xiàn)有方法在建模含動態(tài)物體的場景時精度不足，常導致渲染圖像出現(xiàn)偽影。

在最近的一項研究中，來自中山大學、深圳市未來智聯(lián)網絡研究院、港中深的研究者提出魯棒性解決方案 RobustSplat，其核心設計包含兩點：一是首創(chuàng)延遲高斯生長策略，在允許高斯分裂 / 克隆前優(yōu)先優(yōu)化靜態(tài)場景結構，從而減少優(yōu)化初期對動態(tài)物體的過擬合；二是設計尺度級聯(lián)掩碼引導方法，先利用低分辨率特征相似度監(jiān)督進行可靠的初始動態(tài)掩碼估計（借助其更強的語義一致性與抗噪聲特性），再逐步過渡到高分辨率監(jiān)督，以實現(xiàn)更精準的掩碼預測。

論文標題：RobustSplat: Decoupling Densification and Dynamics for Transient-Free 3DGS論文鏈接https://arxiv.org/abs/2506.02751論文主頁https://fcyycf.github.io/RobustSplat代碼鏈接https://github.com/fcyycf/RobustSplat

研究動機

我們通過分析揭示了高斯致密化 (densification) 在 3D Gaussian Splatting 中的雙重作用機制。具體來說，致密化過程在增強場景細節(jié)表達方面具有顯著優(yōu)勢，但同時也會促使模型過早擬合動態(tài)區(qū)域，導致偽影和場景失真。這一發(fā)現(xiàn)表明，傳統(tǒng)的致密化策略在存在有動態(tài)物體的場景建模中存在依賴性風險，即其所帶來的細節(jié)提升可能以犧牲靜態(tài)區(qū)域的重建質量和引入偽影為代價。

因此，本文的研究動機源于對該分析的深入理解，意在通過調節(jié)致密化過程的引入時機，有效平衡場景的靜態(tài)結構表達與動態(tài)干擾的抑制。致密化既是優(yōu)化細節(jié)的關鍵因素，也是動態(tài)干擾的放大器，為此提出「延遲高斯生長」策略，通過延后致密化過程實現(xiàn)靜態(tài)部分的準確重建，同時結合多尺度掩碼引導，系統(tǒng)抑制動態(tài)偽影，推動在復雜場景中實現(xiàn)魯棒、細節(jié)豐富的 3D 場景重建。

方法

瞬態(tài)掩碼估計

網絡架構：采用含兩層線性層的 MLP (Mask MLP)，以圖像特征為輸入，通過 Sigmoid 函數(shù)輸出逐像素的瞬態(tài)掩碼Mt（取值范圍 [0, 1]，0 表示瞬態(tài)區(qū)域，1 表示靜態(tài)區(qū)域）。

特征選擇：選用 DINOv2 特征作為輸入，原因是其在語義一致性、抗噪性和計算效率間取得很好的平衡。對比之下，Stable Diffusion 特征語義信息更強但計算成本高，SAM 特征邊界精度高卻易漏檢瞬態(tài)物體的陰影區(qū)域，而 DINOv2 特征能穩(wěn)定支撐掩碼預測。

監(jiān)督設計：掩碼 MLP 的優(yōu)化結合了圖像殘差損失和特征余弦相似度損失：使用基于渲染圖像與真實圖像的光度差異，捕捉像素級動態(tài)干擾，作為基礎監(jiān)督信號。在此基礎上，將渲染圖像與真實圖像的 DINOv2 特征余弦相似度映射至 [0, 1] 范圍作為特征監(jiān)督，以增強語義級動態(tài)區(qū)域識別。

延遲高斯生增長策略

延遲高斯生長是 RobustSplat 針對 3DGS 優(yōu)化中瞬態(tài)物體過擬合問題設計的核心策略，其核心思想是推遲高斯致密化過程（分裂 / 克隆操作），優(yōu)先完成靜態(tài)場景結構的優(yōu)化，為掩碼學習提供更穩(wěn)定的基礎。

掩碼正則化：掩碼正則化是針對早期優(yōu)化階段掩碼估計不準確問題設計的關鍵策略，核心目標是減少靜態(tài)區(qū)域被誤分類為瞬態(tài)區(qū)域的風險，確保 3DGS 優(yōu)先優(yōu)化靜態(tài)場景結構。

掩碼學習的總損失：

尺度級聯(lián)掩碼引導

先利用低分辨率特征相似性監(jiān)督進行初始瞬態(tài)掩碼估計，借助其強語義一致性和抗噪性；再過渡到高分辨率監(jiān)督，實現(xiàn)更精確的掩碼預測，降低靜態(tài)區(qū)域誤分類。

實驗

下圖分別展示了在 NeRF On-the-go 和 RobustNeRF 數(shù)據(jù)集上的實驗結果。與 3DGS、SpotLessSplats、WildGaussians 等基線方法相比，RobustSplat 在 PSNR、SSIM、LPIPS 等指標上全面領先。

總結

通過實驗分析發(fā)現(xiàn)，高斯致密化過程雖然提升了場景細節(jié)的捕捉能力，但也會生成額外的高斯來建模瞬態(tài)干擾，從而無意中導致了渲染偽影的產生。

RobustSplat 通過延遲高斯生長策略和尺度級聯(lián)掩碼引導方法，優(yōu)化 3DGS 以減少瞬態(tài)物體導致的渲染偽影。

實驗表明該方法在 NeRF On-the-go 和 RobustNeRF 數(shù)據(jù)集上，相比現(xiàn)有基線方法在各項指標上全面領先，能處理含多樣瞬態(tài)物體的復雜場景并保留細節(jié)。