這項(xiàng)由NVIDIA、香港大學(xué)、麻省理工學(xué)院、清華大學(xué)、北京大學(xué)和阿卜杜拉國王科技大學(xué)聯(lián)合開展的研究發(fā)表于2025年9月，論文編號為arXiv:2509.24695v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。這項(xiàng)名為"SANA-Video"的研究成果，讓我們看到了一個(gè)令人興奮的未來——普通消費(fèi)者也能在家用電腦上快速生成高質(zhì)量、長時(shí)間的視頻內(nèi)容。

想象一下，你只需要一臺(tái)配備RTX 5090顯卡的游戲電腦，就能在29秒內(nèi)生成一段5秒鐘的720p高清視頻，而且質(zhì)量足以媲體那些需要昂貴專業(yè)設(shè)備才能制作的內(nèi)容。這聽起來像科幻小說中的情節(jié)，但NVIDIA的研究團(tuán)隊(duì)已經(jīng)將它變成了現(xiàn)實(shí)。

傳統(tǒng)的視頻生成就像用馬車運(yùn)貨一樣緩慢費(fèi)力。以目前業(yè)界領(lǐng)先的Wan 14B模型為例，生成一段5秒鐘的720p視頻需要在H100這樣的頂級專業(yè)顯卡上耗費(fèi)32分鐘，處理的數(shù)據(jù)量超過75000個(gè)token。這就好比要搬運(yùn)75000塊磚頭來建造一座小房子，不僅耗時(shí)巨大，成本也高得驚人。更要命的是，如果想生成超過10秒的長視頻，這些傳統(tǒng)模型就像老舊的馬車遇到陡坡一樣，基本上寸步難行。

SANA-Video的出現(xiàn)徹底改變了這個(gè)局面。研究團(tuán)隊(duì)通過三個(gè)關(guān)鍵創(chuàng)新，將視頻生成的效率提升了16倍。第一個(gè)創(chuàng)新是線性DiT架構(gòu)，這就像把原本需要逐一檢查每個(gè)零件的笨重檢測流程，改進(jìn)為能夠同時(shí)處理多個(gè)零件的流水線作業(yè)。傳統(tǒng)方法的計(jì)算復(fù)雜度是平方級增長的，隨著視頻長度增加，計(jì)算量會(huì)急劇飆升。而線性注意力機(jī)制將這個(gè)復(fù)雜度降低到線性增長，就像把指數(shù)增長的爆炸性成本變成了穩(wěn)步增長的可控費(fèi)用。

第二個(gè)創(chuàng)新是塊線性注意力配合固定內(nèi)存KV緩存機(jī)制。這個(gè)概念聽起來很技術(shù)化，但其實(shí)可以用圖書館管理來類比。傳統(tǒng)方法就像一個(gè)圖書管理員，每次有讀者查詢時(shí)都要重新翻遍整個(gè)圖書館，隨著藏書越來越多，查詢時(shí)間越來越長。而SANA-Video的方法就像建立了一個(gè)智能索引系統(tǒng)，不管圖書館有多大，管理員都能在固定時(shí)間內(nèi)找到任何一本書，而且這個(gè)索引占用的空間始終保持恒定。

第三個(gè)創(chuàng)新體現(xiàn)在高效的數(shù)據(jù)篩選和訓(xùn)練策略上。研究團(tuán)隊(duì)沒有采用暴力堆疊計(jì)算資源的方式，而是像精明的廚師一樣，通過精心挑選食材和優(yōu)化烹飪流程來制作美味佳肴。他們使用強(qiáng)大的視覺語言模型作為視頻描述生成器，能夠產(chǎn)生包含80到100個(gè)詞匯的詳細(xì)描述，涵蓋主體類別、色彩、外觀、動(dòng)作、表情、周圍環(huán)境、攝像角度等各個(gè)方面。更重要的是，整個(gè)訓(xùn)練過程只需要64張H100 GPU運(yùn)行12天，成本僅為業(yè)界主流模型MovieGen的1%。

研究團(tuán)隊(duì)還解決了長視頻生成這個(gè)行業(yè)難題。他們基于線性注意力的累積特性，重新設(shè)計(jì)了因果線性注意力的計(jì)算方式。這就像發(fā)明了一種特殊的記憶方法，能夠讓系統(tǒng)在生成長視頻時(shí)始終保持對全局信息的掌握，而不會(huì)因?yàn)閮?nèi)容增長而丟失早期的重要信息。通過這種方式，SANA-Video能夠生成長達(dá)1分鐘的高質(zhì)量視頻，而內(nèi)存使用量始終保持在一個(gè)固定的較低水平。

在實(shí)際性能測試中，SANA-Video的表現(xiàn)令人印象深刻。在生成720×1280分辨率、81幀的視頻時(shí)，SANA-Video只需要36秒，而同類競品Wan2.1-1.3B需要400秒，SkyReel-V2需要568秒。這種性能差距就像高鐵與綠皮火車的對比一樣明顯。更令人驚喜的是，當(dāng)使用NVFP4精度量化技術(shù)部署到消費(fèi)級RTX 5090顯卡上時(shí)，生成時(shí)間從71秒縮短到29秒，實(shí)現(xiàn)了2.4倍的加速。

為了驗(yàn)證模型的實(shí)用性，研究團(tuán)隊(duì)在多個(gè)標(biāo)準(zhǔn)評測中與現(xiàn)有技術(shù)進(jìn)行了全面對比。在VBench評測體系中，SANA-Video在文本到視頻生成任務(wù)上獲得了83.71分的總分，與擁有140億參數(shù)的大型模型Open-Sora-2.0不相上下，同時(shí)在語義理解方面表現(xiàn)更加出色。在圖像到視頻生成任務(wù)中，SANA-Video獲得了88.02分的總分，超越了多個(gè)大型競品模型，同時(shí)在語義一致性方面達(dá)到了所有測試模型中的最高分96.40分。

模型的設(shè)計(jì)哲學(xué)體現(xiàn)了研究團(tuán)隊(duì)對效率和質(zhì)量平衡的深刻理解。SANA-Video采用了統(tǒng)一框架設(shè)計(jì)，能夠同時(shí)處理文本到圖像、文本到視頻和圖像到視頻三種不同任務(wù)。這就像設(shè)計(jì)了一把萬能鑰匙，能夠打開不同類型的鎖，而不需要攜帶一大串專用鑰匙。這種設(shè)計(jì)不僅簡化了模型部署，也讓用戶能夠用同一個(gè)工具完成多種創(chuàng)作需求。

在技術(shù)實(shí)現(xiàn)的細(xì)節(jié)上，研究團(tuán)隊(duì)特別關(guān)注了位置編碼的優(yōu)化。他們發(fā)現(xiàn)傳統(tǒng)的RoPE（旋轉(zhuǎn)位置編碼）直接應(yīng)用到線性注意力中會(huì)造成數(shù)值不穩(wěn)定，就像在精密天平上放置震動(dòng)的物體一樣會(huì)影響測量精度。為了解決這個(gè)問題，他們巧妙地調(diào)整了RoPE的應(yīng)用位置，在分子中保留完整的位置信息，在分母中移除RoPE以確保數(shù)值穩(wěn)定性。這種細(xì)致入微的優(yōu)化體現(xiàn)了研究團(tuán)隊(duì)的專業(yè)水準(zhǔn)。

在數(shù)據(jù)處理方面，SANA-Video采用了多階段過濾策略。首先使用PySceneDetect和FFMPEG將原始視頻切分為單場景短片段，然后通過Unimatch光流分析和VMAF像素差異度量來評估運(yùn)動(dòng)質(zhì)量，只保留具有適度清晰運(yùn)動(dòng)的片段。美學(xué)質(zhì)量評估使用DOVER模型進(jìn)行評分，而飽和度控制則通過OpenCV計(jì)算HSV顏色空間中的S通道來實(shí)現(xiàn)。最終，研究團(tuán)隊(duì)還精選了約5000個(gè)高質(zhì)量視頻用于監(jiān)督微調(diào)，這些視頻涵蓋了不同的運(yùn)動(dòng)類別和美學(xué)風(fēng)格。

為了展示SANA-Video的應(yīng)用潛力，研究團(tuán)隊(duì)還探索了多個(gè)下游應(yīng)用場景。在具身智能領(lǐng)域，他們使用AgiBot機(jī)器人數(shù)據(jù)對模型進(jìn)行微調(diào)，能夠生成高質(zhì)量的機(jī)器人操作模擬視頻。在自動(dòng)駕駛場景中，模型能夠生成多樣化且逼真的駕駛場景視頻。在游戲生成方面，他們使用Minecraft游戲錄屏數(shù)據(jù)訓(xùn)練模型，能夠生成流暢的游戲畫面。這些應(yīng)用展示了SANA-Video作為基礎(chǔ)模型的強(qiáng)大適應(yīng)能力。

為了降低部署門檻，研究團(tuán)隊(duì)還開發(fā)了4位量化技術(shù)。他們使用SVDQuant方法，選擇性地量化自注意力中的QKV和輸出投影、交叉注意力中的查詢和輸出投影，以及前饋層中的1×1卷積。同時(shí)保持歸一化層、時(shí)間卷積和交叉注意力中的KV投影為高精度，以確保語義質(zhì)量和防止誤差累積。這種精心設(shè)計(jì)的量化策略在幾乎不損失質(zhì)量的前提下，將RTX 5090上的端到端生成時(shí)間從71秒減少到29秒。

值得注意的是，SANA-Video在處理長視頻生成時(shí)采用了創(chuàng)新的自回歸塊訓(xùn)練策略。他們首先使用單調(diào)遞增的SNR采樣器進(jìn)行自回歸模塊訓(xùn)練，然后通過改進(jìn)的自強(qiáng)制塊訓(xùn)練來解決暴露偏差問題。這種方法就像訓(xùn)練一個(gè)長跑運(yùn)動(dòng)員，先讓他適應(yīng)固定的節(jié)奏，然后逐步增加變化和挑戰(zhàn)，最終能夠在實(shí)際比賽中保持穩(wěn)定表現(xiàn)。

研究團(tuán)隊(duì)在論文中詳細(xì)比較了不同視頻編碼器的性能。對于480p視頻，他們使用了Wan-VAE來優(yōu)先保證重建質(zhì)量，而對于720p高分辨率視頻，他們開發(fā)了DCAE-V編碼器，實(shí)現(xiàn)了更高的壓縮比。通過在編碼潛在空間中添加高斯噪聲的魯棒性測試，DCAE-V展現(xiàn)出了更好的重建泛化能力，這使其成為小型擴(kuò)散模型的理想選擇。

說到底，SANA-Video的成功不僅僅是技術(shù)指標(biāo)的提升，更重要的是它讓高質(zhì)量視頻生成從少數(shù)大公司的專利變成了普通創(chuàng)作者也能觸及的工具。這就像從需要巨型機(jī)房的大型計(jì)算機(jī)時(shí)代跨越到人人都能擁有個(gè)人電腦的時(shí)代一樣，代表著一個(gè)技術(shù)民主化的重要里程碑。當(dāng)視頻創(chuàng)作的門檻大幅降低時(shí)，我們可以期待看到更多創(chuàng)新內(nèi)容的涌現(xiàn)，從教育培訓(xùn)到娛樂創(chuàng)作，從科學(xué)可視化到藝術(shù)表達(dá)，都將因?yàn)檫@項(xiàng)技術(shù)而獲得新的可能性。

這項(xiàng)研究的意義遠(yuǎn)不止于技術(shù)本身的進(jìn)步。它預(yù)示著一個(gè)新時(shí)代的到來——一個(gè)普通人也能輕松創(chuàng)作專業(yè)級視頻內(nèi)容的時(shí)代。就像智能手機(jī)讓每個(gè)人都成為了攝影師一樣，SANA-Video這樣的技術(shù)正在讓每個(gè)人都有機(jī)會(huì)成為視頻創(chuàng)作者。這種變化可能會(huì)深刻影響媒體制作、教育培訓(xùn)、營銷推廣等眾多領(lǐng)域，讓創(chuàng)意表達(dá)變得更加自由和多樣化。

Q&A

Q1：SANA-Video相比傳統(tǒng)視頻生成模型有什么優(yōu)勢？

A：SANA-Video的最大優(yōu)勢是速度快、成本低。傳統(tǒng)模型生成5秒720p視頻需要32分鐘，而SANA-Video只需36秒，速度提升16倍。更重要的是，它能在消費(fèi)級RTX 5090顯卡上運(yùn)行，普通用戶也能使用，而不需要昂貴的專業(yè)設(shè)備。

Q2：SANA-Video能生成多長的視頻？質(zhì)量如何？

A：SANA-Video能生成長達(dá)1分鐘的高質(zhì)量視頻，分辨率可達(dá)720×1280。在標(biāo)準(zhǔn)評測中，它的表現(xiàn)與擁有140億參數(shù)的大型模型相當(dāng)，在語義理解方面甚至更優(yōu)。關(guān)鍵是內(nèi)存使用量保持恒定，不會(huì)因視頻變長而急劇增加。

Q3：普通用戶現(xiàn)在能使用SANA-Video嗎？有什么硬件要求？

A：目前SANA-Video主要面向研究和開發(fā)社區(qū)。硬件方面，推薦使用RTX 5090這樣的高性能顯卡，能在29秒內(nèi)生成5秒720p視頻。相比需要專業(yè)H100顯卡的傳統(tǒng)模型，這已經(jīng)大大降低了使用門檻。