僅憑一段隨手拍攝的單目視頻，是否能夠讓鏡頭在空間中自由飛行，讓光線隨意變換，讓原本固定的真實場景在全新的視角與照明條件下被再次「拍攝」？這一過去被視作科幻設想的問題，如今迎來了明確答案。

近日，新加坡南洋理工大學 S-Lab、北京智源人工智能研究院（BAAI）、華中科技大學、清華大學智能產業研究院（AIR）等多家科研機構聯合推出Light-X —— 全球首個實現「鏡頭 × 光照」雙維度可控 的 4D 視頻生成框架。Light-X 讓「按用戶意圖重新導演一段視頻」成為現實：既能自由規劃鏡頭軌跡、生成任意新視角內容，也能靈活調整光源方向、亮度與風格 —— 從電影級布光到賽博霓虹氛圍，都能在一段普通視頻中輕松實現。

論文名稱：Light-X : Generative 4D Video Rendering with Camera and Illumination Control論文鏈接：https://arxiv.org/abs/2512.05115項目主頁：https://lightx-ai.github.io/開源代碼：https://github.com/TQTQliu/Light-X

https://mp.weixin.qq.com/s/YIMpcZd7OKW7cobQQ6UkFw

研究背景

現實世界的視覺體驗由幾何、運動和光照共同構成，而我們日常拍攝的單目視頻，只是這一復雜四維時空的二維投影。若能在拍攝后重新控制鏡頭位置、自由調節光照條件，那么普通視頻就能具備「可重拍攝」、「可再導演」的能力。無論是電影制作、虛擬拍攝，還是 AR/VR 內容生成，都將受益匪淺。

現有研究大多沿著兩條彼此獨立的路線發展：

視頻重打光：如 Light-A-Video 在單幀 IC-Light 的基礎上擴展到視頻級光照編輯，但仍難以兼顧光照質量與時間一致性，更無法支持視角變化。相機可控的視頻生成：最近的 TrajectoryCrafter、ReCamMaster 等方法能夠生成全新鏡頭，但完全不涉及光照變化。

然而，真實場景的觀感由幾何、運動和光照共同決定，僅操控其中單一因素難以實現真正自然、可信的重渲染。在單目視頻中同時實現「鏡頭 × 光照」聯合控制，是此前從未被解決的問題。

其核心挑戰主要包括：

缺乏成對數據：真實世界幾乎不存在「同一動態場景 × 多光照 × 多視角」的視頻數據，使模型難以同時學習光照調節與視角變化的聯合控制規律。多維因素耦合：光照變化、相機運動與場景幾何相互影響，任一維度的變化都可能引入光照閃爍或幾何不穩定。要在生成新視角的同時保持光照逼真與時序連貫性，其難度遠高于單獨完成其中任一任務。

在這一背景下，Light-X 的提出填補了關鍵空白：它第一次在單目視頻場景中統一解決了相機軌跡控制與光照控制，讓視頻具備真正意義上的 4D 多維可編輯能力。

方法架構

Light-X 的核心思路，是將相機控制與光照控制先解耦，再在擴散模型中統一融合，從而在單目視頻中實現真正的「鏡頭 × 光照」雙可控生成。

顯式解耦相機與光照

Light-X 首先從輸入視頻中分別構建兩條分支：1）動態點云（用于相機控制）：從視頻估計深度，反投影成隨時間變化的動態點云。再根據用戶的相機軌跡，將其投影成新視角的幾何渲染圖和可見性掩碼。2）重打光點云（用于光照控制）：對輸入視頻選取某一幀做重光照，再反投影成光照點云，并投影到目標視角，得到光照渲染與光照掩碼。通過分別構建「幾何分支」和「光照分支」，Light-X 在建模階段將兩種因素成功解耦。

聯合條件的視頻擴散模型

在生成階段，Light-X 會將兩條分支的線索統一輸入擴散模型：1）細粒度幾何與光照線索：幾何渲染提供場景結構與運動信息；光照渲染提供逐像素的光照變化線索。2）全局光照 token 保持風格一致：模型從重光照幀中提取全局光照 token，用于維持長時間段的光照風格、亮度和方向一致性。

圖 1 Light-X 框架總覽

數據構建

為訓練具備「鏡頭 × 光照」聯合控制能力的模型，Light-X 需要成對的幾何對齊、多光照、多視角訓練數據。然而真實世界幾乎不存在這樣的數據。為此，我們構建了Light-Syn，一種從單目視頻自動合成訓練數據的流程。

退化：把真實視頻變成「輸入視頻」

Light-Syn 以普通視頻作為目標視頻，然后通過現有算法合成一個品質更低的「輸入視頻」。

逆向映射：恢復訓練所需的條件線索

基于退化過程的記錄，Light-Syn 自動生成：

對齊的幾何渲染與可見區域稀疏的重光照視頻重光照后的渲染與掩碼

這些信號構成 Light-X 學習「該看到什么」和「光該如何變化」的條件。

多來源數據覆蓋更多場景

Light-Syn 構建的數據來自三類視頻：

靜態場景視頻（多視角幾何更穩定）動態場景視頻（運動更真實）AI生成視頻（光照風格更豐富）

這種多來源設計讓模型既能學到真實的運動結構，又能適應多樣化的光照風格。

圖 2 數據管線 Light-Syn 總覽

方法框架和數據管線靈活性

得益于 Light-X 的統一建模方式，它可以同時支持多種形式的光照輸入，包括：HDR 環境光，參考圖光照，文本 / 背景圖光照，不同光照模式在訓練中通過軟掩碼區分，使同一個模型即可泛化到多種光照條件，無需為每種模式分別訓練。

圖 3 多模態光照數據構建與條件機制示意圖

實驗結果

Light-X 在兩個核心任務上進行了系統評測：（1）鏡頭 × 光照聯合控制 和 （2）視頻重打光。在所有基準上，Light-X 都顯著優于現有方法。

鏡頭 × 光照聯合控制

由于此前沒有能同時做「新視角生成 + 重光照」的方法，論文構建了多種組合式 baseline，例如 TrajectoryCrafter + IC-Light、Light-A-Video + TrajectoryCrafter 等。如表 1 和圖 4 所示，Light-X 在圖像質量、視頻平滑性以及用戶偏好等多項指標上均取得顯著領先，實現了當前最優的聯合控制效果。

表 1 鏡頭 × 光照聯合控制任務的定量結果。用戶偏好表示選擇我們方法的參與者比例

https://mp.weixin.qq.com/s/YIMpcZd7OKW7cobQQ6UkFw

圖 4 鏡頭 × 光照聯合控制的視頻對比

視頻重打光

表 2 和圖 5 展示了視頻重打光任務的定量和定性結果。相比 IC-Light、Light-A-Video 等方法，Light-X 在圖像質量、時間一致性和用戶偏好上均取得明顯優勢，整體呈現出更高的光照真實性與視頻穩定性。

表 2 視頻重打光任務的定量結果

https://mp.weixin.qq.com/s/YIMpcZd7OKW7cobQQ6UkFw

圖 5 視頻重打光的視頻結果對比

消融實驗

消融實驗（表 3）從數據構建、模型結構與光照機制條件設計三個方面進行分析。結果表明：多源數據（靜態、動態與 AI 生成）對于提升新視角質量、運動穩定性及光照多樣性至關重要；細粒度光照線索與全局光照控制顯著改善光照一致性和穩定性；訓練策略中的軟掩碼與單幀重打光設計同樣關鍵，可避免光照域混淆并提升時序一致性。

表 3 消融實驗定量結果

https://mp.weixin.qq.com/s/YIMpcZd7OKW7cobQQ6UkFw

圖 6 Light-X 多維度控制能力展示

https://mp.weixin.qq.com/s/YIMpcZd7OKW7cobQQ6UkFw

圖 7 Light-X 支持交互式調節視頻中的光照區域與方向，實現細粒度、可控的重打光效果

總結

Light-X 提出了首個能夠從單目視頻同時控制鏡頭運動與光照的 4D 視頻生成框架。通過將相機與光照因素顯式解耦，利用動態點云提供幾何與運動先驗，并通過重打光幀構建光照線索，Light-X 在統一的擴散模型中實現了穩定、高保真的聯合調控。同時提出了 Light-Syn 數據管線，使模型無需真實的多視角、多光照采集即可完成訓練。大量實驗表明，Light-X 在「鏡頭 × 光照」聯合控制和視頻重打光任務上均顯著優于現有方法，并能靈活適配多種光照模式。

盡管如此，Light-X 仍依賴單幀重打光質量和深度估計精度，在極端光照、錯誤深度或大范圍相機運動下仍可能受到影響。此外，擴散模型的多步去噪也帶來一定的計算成本。未來工作可探索更強的視頻生成 backbone、更穩健的幾何建模策略以及長視頻生成技術，以進一步提升質量與適用性。