IT之家 12 月 19 日消息，上海交通大學(xué)集成電路學(xué)院（信息與電子工程學(xué)院）圖像通信與網(wǎng)絡(luò)工程研究所陳一彤課題組在新一代算力芯片領(lǐng)域取得重大突破，首次實現(xiàn)了支持大規(guī)模語義媒體生成模型的全光計算芯片。

相關(guān)研究于 12 月 19 日以“All-optical synthesis chip for large-scale intelligent semantic vision generation”（大規(guī)模智能語義視覺生成全光芯片）為題發(fā)表于國際頂級學(xué)術(shù)期刊《科學(xué)》（Science）上。上海交通大學(xué)為論文第一作者和通訊作者單位，陳一彤助理教授為第一作者及通訊作者。

上海交通大學(xué)介紹稱，隨著深度神經(jīng)網(wǎng)絡(luò)和大規(guī)模生成模型的迅猛演進(jìn)，AI 正以前所未有的速度革新世界。然而，規(guī)模爆炸式增長的生成模型帶來超高算力和能耗需求，與傳統(tǒng)芯片架構(gòu)的性能增長速度已出現(xiàn)日益嚴(yán)峻的緊迫缺口。

為突破算力與能耗瓶頸，光計算等新型架構(gòu)受到廣泛關(guān)注。然而如傳統(tǒng)的全光計算芯片主要局限于小規(guī)模、分類任務(wù)，光電級聯(lián)或復(fù)用又會嚴(yán)重削弱光計算速度。因此，“如何讓下一代算力光芯片能運行復(fù)雜生成模型”成為全球智能計算領(lǐng)域公認(rèn)的難題。

研究團(tuán)隊首次提出全光大規(guī)模語義生成芯片 LightGen，這也是國際首次實現(xiàn)的大規(guī)模全光生成式 AI 芯片，在單枚芯片上同時突破了百萬級光學(xué)神經(jīng)元集成、全光維度轉(zhuǎn)換、無真值光芯片訓(xùn)練算法的領(lǐng)域公認(rèn)瓶頸。

▲ 大規(guī)模全光生成計算芯片 LightGen

論文實驗驗證了全光芯片 LightGen 在高分辨率（≥512×512）圖像語義生成、3D 生成（NeRF）、高清視頻生成及語義調(diào)控、去噪、局部及全局特征遷移等多項大規(guī)模生成式任務(wù)。不再讓電輔助光生成，而是讓全光芯片完整實現(xiàn)輸入圖像、理解語義、語義操控、生成全新媒體數(shù)據(jù)的端到端過程，即讓光“理解”和“認(rèn)知”語義。

▲ LightGen 生成的采樣圖像示例

此外，LightGen 采用了極嚴(yán)格的算力評價標(biāo)準(zhǔn)，在實現(xiàn)與電芯片上運行的 Stable Diffusion、NeRF、Style Injection Diffusion 等前沿電子神經(jīng)網(wǎng)絡(luò)相仿生成質(zhì)量的同時，直接測量整個系統(tǒng)端到端的耗時與耗能降低。

實測表明，即便采用較滯后性能的輸入設(shè)備，LightGen 仍可取得相比頂尖數(shù)字芯片 2 個和 2 個數(shù)量級的算力和能效提升。而如果采用前沿設(shè)備使得信號輸入頻率不是瓶頸的情況下，LightGen 理論可實現(xiàn)算力提升 7 個數(shù)量級、能效提升 8 個數(shù)量級的性能躍升。

這不僅直接體現(xiàn)了在不損失性能情況下替換頂尖現(xiàn)有芯片能獲得的巨大算力和能效提升，也印證了解決大規(guī)模集成、全光維度變換、無真值光場訓(xùn)練等關(guān)鍵難點，全光片上實現(xiàn)大規(guī)模生成式網(wǎng)絡(luò)的重要意義。

IT之家附論文鏈接：