本論文是由中國科學院計算技術研究所、加州大學圣芭芭拉分校和KIRI Innovations的研究人員合作完成。
三維重建是計算機圖形學的經典任務，具有很強的使用價值。近年來，諸如神經輻射場的隱式場方法 [1][2][3][4] 正成為重建任務廣泛采用的表示。
這些方法能在不需要掩膜等額外輸入的情況下，對具有漫反射和光滑反射的場景進行重建。然而，對于具有折射或透明材質的，乃至出現嵌套現象（即透明物體內部還有其他物體，內部物體也可以是透明的）的場景的重建，無論是隱式場方法還是傳統方法都難以解決。
誠然，已經有一些工作對透明物體的重建進行探索 [5][6][7]，然而這些工作都不能重建嵌套物體，且他們需要額外的輸入信息以減少透明物體的二義性，如掩膜或要求場景在特殊的背景下進行拍攝等。
為解決此問題，中科院計算所高林老師團隊、加州大學圣芭芭拉分校閆令琪教授、3D 重建公司 KIRI Innovations 合作提出了一種通過對嵌套透明物體進行重建的方法 NU-NERFNU-NeRF: Neural Reconstruction of Nested Transparent Objects with Uncontrolled Capture Environment[8]。
該方法能在不需要額外輸入，也不需要特殊捕捉場景的情況下對嵌套透明物體進行重建。該項研究工作已經被 ACM TOG 錄用，并將在 SIGGRAPH Asia 2024 報告。
圖 1 和圖 2 即為 NU-NeRF 對實拍嵌套透明場景的重建效果展示。
圖 1. NU-NeRF 對實拍場景的重建和在新場景中的渲染
圖 2. NU-NeRF 對實拍場景與合成場景的重建和在新場景中的渲染
研究目標
塑料、玻璃等透明材質是日常生活中最為常見的材質之一，然而這些材質的重建任務十分具有挑戰性。其根本原因是光線在透明材質表面發生折射，從而產生高度不連續的表面顏色，且此顏色十分容易和背景混淆。
為解決此問題，已有工作的基本思路是對問題施加更多約束。早期方法 [9] 施加約束的方法是利用特殊的捕捉設備來捕捉光線的偏振和光程等信息，并利用確定性的算法來進行重建。也有基于計算機視覺和機器學習的方法 [6] 利用預先渲染的大量數據學習從圖像中預測透明物體的方法。
近年來基于神經輻射場的方法 [10] 通過在物體后面放置一個具有已知圖案的背景來直接得到光線經過折射之后的精確位置，從而利用此先驗設計損失函數，進行重建。
然而這些施加約束的方法有兩個限制：1）需要額外的捕捉設備、捕捉環境或輸入信息（如掩膜等），無法讓用戶在隨機的環境下進行拍攝重建；2）因為在使用先驗的過程中假設了光線在物體內部沒有遭到遮擋和反射，并只經過兩次折射，所以這些方法無法重建嵌套的物體。
針對以上問題，論文作者提出了 NU-NeRF 。它是一種新的嵌套透明物體重建管線。如圖 3 所示，NU-NeRF 的輸入是以不同視角拍攝同一包含嵌套透明物體的場景的圖片，輸出則是對該場景內部、外部幾何的重建以及一定程度的解耦。重建和解耦結果可以導入渲染軟件中（如 Blender 等）進行重新渲染，實現現實物體的數字化。
圖 3. NU-NeRF 對不同類型場景的內外重建和重渲染結果
研究方法
NU-NeRF 的管線由兩步組成。第一步的目標是重建外層幾何。外層幾何的重建是至關重要的一步，因為它直接影響了第二步的內層幾何質量。其要解決的首要問題就是上述的折射的二義性。
NU-NeRF 解決此問題的方法十分簡單：分開建模透明表面的反射和折射。對于其反射顏色進行準確建模，但對其折射顏色直接利用一個 MLP 網絡進行預測。這一策略的底層邏輯是，在重建過程中不需要準確建模折射顏色，只需要提供對折射的一個「平均化」估計即可。
第二步的目標是利用重建得到的顯式外層幾何，在幾何內部進行第二次重建。這一步對外層幾何進行了顯式的光線追蹤，并對不同的外層幾何類型（區別在于表面厚度是否可忽略）分別進行了建模。
NU-NeRF 的整體框架如圖 4 所示。
圖 4. NU-NeRF 方法示意圖
外層幾何重建和光照模型
如圖 4 從左到右第二塊所示，在外層幾何的重建過程中，NU-NeRF 使用了神經渲染方法進行重建。對于神經渲染過程中的每個采樣點，采用了基于物理的渲染方式。具體來說就是將表面反射的顏色分為反射和折射，并分別建模它們。
對于反射，NU-NeRF 參考了 NeRO [4] 的建模方法，利用 Split Sum 近似方法將傳統渲染方程的光滑反射分為兩個不同的積分 L 和 M：
L 和 M 兩個積分分別對應光照和材質本身的性質。其中 M 可以通過預計算得到，L 則通過網絡預測得到。
在 NU-NeRF 中，除了神經渲染方法中常見的顏色損失和 eikonal 損失之外，還添加了一個損失函數：ilc（入射光一致性，incident light consistency）損失。
此損失的來源是，NU-NeRF 會用一個神經輻射場來近似重建物體之外的場景（如物體放置的桌子，遠景等），而入射光一致性損失鼓勵 L 中預測得到的光照和該神經輻射場的顏色一致，這樣可以改進重建的質量。
如圖 4 所示，對于某個采樣點處來自方向 ω 的入射光，通過體渲染計算對應方向上的遠景顏色，并利用 L2 損失鼓勵兩者相等。
圖 5. 入射光一致性損失示意
對于折射，相比于此前方法復雜的光線追蹤過程，NU-NeRF 采用了一個十分簡單的策略：直接利用神經網絡進行預測。
此神經網絡的輸入是采樣點的坐標 p 和光線方向 ω，輸出是 RGB 顏色。由于神經網絡固有的低通濾波性質，其自然輸出的就是一個「平均化」的折射顏色。實驗結果表明，這個簡單的策略能得到較好的結果。
第一步的重建結果樣例如圖 4 第二塊下半部分所示，這一步能重建出準確的外層幾何和光照，但由于折射的顏色是由網絡直接預測的，所以較為模糊。因此第一步重建結果是無法直接進行新視角合成的。這就是減少二義性的「代價」。
顯式光線追蹤和內層幾何重建
如圖 4 從左到右第三塊所示，在重建得到外層幾何之后，NU-NeRF 進行內層幾何的重建。這一步中，將第一步得到的外層幾何從隱式場中提取成顯式網格并固定。
對于每條神經渲染的采樣光線，先對其進行追蹤得到和外層幾何的交點，并利用折射定律（Snell 定律）計算出其折射到內部的方向。在外層幾何內部再進行真正的采樣和渲染。請注意，在這個光線追蹤過程中，折射率是定義在外層幾何上，并且通過網絡預測得到的。圖 4 中也展示了學習得到的折射率可視化圖像，可以看到學習到的折射率的一致性較高。
顯式光線追蹤過程中對表面的建模
如上節所述，光線追蹤過程主要涉及在外層幾何表面處的折射計算。然而，Snell 定律只適用于內、外層是兩種不同材質的情況。
在現實中，可能出現界面處有三種不同材質的情況，典型的例子就是容器。塑料瓶、玻璃瓶這種容器壁和內、外層材質都不同，且「容器」這種物體在現實生活中十分常見，因此需要對這種情況進行更加細致的考慮。
圖 6. NU-NeRF 陽光顏色先驗
如圖 6 所示，NU-NeRF 在進行表面建模時考慮了多種不同類型的材質。圖 6（a）中描繪的就是通常 Snell 定律考慮的界面，其入射角和出射角的正弦比值為折射率比值倒數。
圖 6（b）(b2) 中描述的是一種厚度可以忽略的容器材質，其入射和出射點的法線可以視為相同，因此其入射角和出射角的比值僅取決于內、外材質的折射率。
而圖 6（c）中的場景為厚度不可忽略的容器，其入射點和出射點法線不同。對于這種材質，NU-NeRF 使用球形來近似入射點和出射點的局部幾何，球的半徑由物體在此處的曲率決定。
最后，如圖 6（d）所示，為了防止在一些角度，這種帶有厚度的材質在物體邊緣處出現在容器壁內部多次折射的情況，NU-NeRF 用一個掩膜（mask）直接將邊緣處的采樣舍棄。
實驗效果
為檢驗所提出的方法的有效性，NU-NeRF 在合成、實拍數據集上均進行了實驗，其中合成數據集具有真值（ground truth），實拍數據集有一部分從網絡上收集得到，因此沒有真值。重建實驗的對比方法是 [5] 和 [6] 兩種已有方法。
重建
圖 7 展示了不同方法重建合成場景的效果，可以看到之前的方法在沒有嵌套幾何時的表現較好，但在出現嵌套幾何以及不透明材質和透明材質混合場景時，會出現較嚴重的性能下降。圖 8 圖 9 展示了不同方法重建實拍場景的結果。可以看到，NU-NeRF 在不同類型的場景上都能準確重建出外層幾何，并較為準確的重建出內層幾何，
圖 7. NU-NeRF 在重建合成場景的內外幾何上和現有方法對比
圖 8. NU-NeRF 在重建實拍場景（無真值）的內外幾何上和現有方法對比
圖 9. NU-NeRF 在重建實拍場景（有真值）的內外幾何上和現有方法對比
總結與展望
NU-NeRF 的核心思想是將復雜的嵌套透明物體重建問題簡單化，并分為兩步進行重建。針對透明物體固有的二義性問題，NU-NeRF 不選擇此前類似方法直接進行光線追蹤的方案，而是利用網絡直接預測折射的顏色，這樣在犧牲新視角合成準確性的前提下，提高了幾何重建的準確性。
而有了外層幾何的準確重建，就去除了問題中的大部分二義性，并可以利用顯式光線追蹤來進行內層幾何的重建。同時，NU-NeRF 也針對容器類物體提出了一種折射計算的近似方案，能夠在不過多降低運行速度的前提下進行較為復雜的物體的重建。
參考文獻
[1] Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. Communications of the ACM. 65 (1): 99-106 (2021)
[2] Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, and Wenping Wang. 2021. NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction. arXiv preprint arXiv:2106.10689 (2021)
[3] Zhaoshuo Li, Thomas Müller, Alex Evans, Russell H Taylor, Mathias Unberath, Ming- Yu Liu, and Chen-Hsuan Lin. Neuralangelo: High-Fidelity Neural Surface Reconstruction. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition: 8456-8465 (2023)
[4] Yuan Liu, Peng Wang, Cheng Lin, Xiaoxiao Long, Jiepeng Wang, Lingjie Liu, Taku Komura, and WenpingWang. NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images. ACM Transactions on Graphics (TOG). 42 (4): 1-22 (2023)
[5] Dongqing Wang, Tong Zhang, and Sabine Süsstrunk. NEMTO: Neural Environment Matting for Novel View and Relighting Synthesis of Transparent Objects. Proceedings of the IEEE/CVF International Conference on Computer Vision: 317-327 (2023)
[6] Zhengqin Li, Yu-Ying Yeh, and Manmohan Chandraker. Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition: 1262-1271 (2020)
[7] Jiahui Lyu, Bojian Wu, Dani Lischinski, Daniel Cohen-Or, and Hui Huang. Differentiable refraction-tracing for mesh reconstruction of transparent objects. ACM Transactions on Graphics (TOG). 39 (6): 1-13 (2020)
[8] Jia-Mu Sun, Tong Wu, Ling-Qi Yan, and Lin Gao: NU-NeRF: Neural Reconstruction of Nested Transparent Objects with Uncontrolled Capture Environment. Accepted by ACM Transactions on Graphics (SIGGRAPH Asia 2024). 43 (6): 1-16 (2024)
[9] Cong Phuoc Huynh, Antonio Robles-Kelly, and Edwin R. Hancock. Shape and refractive index recovery from single-view polarisation images. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE: 1229-1236 (2010)
[10] Zongcheng Li, Xiaoxiao Long, Yusen Wang, Tuo Cao, Wenping Wang, Fei Luo, and Chunxia Xiao. NeTO: Neural Reconstruction of Transparent Objects with Self-Occlusion Aware Refraction-Tracing. Proceedings of the IEEE/CVF International Conference on Computer Vision: 18547-18557 (2023)
[11]Jiaming Sun, Xi Chen, Qianqian Wang, Zhengqi Li, Hadar Averbuch-Elor, Xiaowei Zhou, and Noah Snavely. Neural 3D Reconstruction in the Wild. ACM SIGGRAPH 2022 conference proceedings: 1-9 (2022)
京公網安備 11011402013531號