大規(guī)模全光生成式 AI 芯片首次實(shí)現(xiàn)！

當(dāng)前的大規(guī)模生成式 AI 在生成圖像或視頻時(shí)，往往速度慢、耗電大、成本高，限制了生成模型在端側(cè)和實(shí)時(shí)場景的應(yīng)用。

上海交通大學(xué)集成電路學(xué)院圖像通信所團(tuán)隊(duì)開發(fā)了全光計(jì)算芯片 LightGen，突破性地實(shí)現(xiàn)了對大規(guī)模語義媒體生成模型的支持。

其能夠完成高分辨率（≥512×512）圖像語義生成、3D 生成（NeRF）、高清視頻生成及語義調(diào)控。與此同時(shí)，還支持多項(xiàng)大規(guī)模生成式任務(wù)，包括去噪、局部與全局特征遷移等。

值得關(guān)注的是，在取得和前沿電子神經(jīng)網(wǎng)絡(luò)相仿生成質(zhì)量的同時(shí)，采用較滯后性能的輸入設(shè)備條件下，LightGen 同時(shí)將算力與能效相較頂尖數(shù)字芯片提升 2 個(gè)數(shù)量級，讓生成式任務(wù)的實(shí)時(shí)生成交互成為可能。

未來，在采用前沿設(shè)備使得信號輸入頻率不是瓶頸的情況下，LightGen 理論算力相較頂尖數(shù)字芯片能提升 7 個(gè)數(shù)量級。

（陳一彤）

LightGen 為解決生成式 AI 部署落地的算力缺口提供了一種新方法，在不影響性能的前提下，實(shí)現(xiàn)了更高的速度和能效，助力推動新一代算力芯片在人工智能領(lǐng)域應(yīng)用。

審稿人對該研究評價(jià)稱：“這項(xiàng)工作意義重大，代表著光子計(jì)算領(lǐng)域的一個(gè)新里程碑，因?yàn)樗状螌?shí)現(xiàn)了基于光學(xué)芯片的真正生成式人工智能，而這在此之前尚未實(shí)現(xiàn)過。”

近日，相關(guān)論文以《大規(guī)模智能語義視覺生成全光芯片》（All-optical synthesis chip for large-scale intelligent semantic vision generation）為題發(fā)表在 Science[1]。上海交通大學(xué)陳一彤助理教授擔(dān)任第一作者及通訊作者。

圖丨相關(guān)論文（Science）

在傳統(tǒng)的電子芯片中，信息的載體是電子，主要靠晶體管的開關(guān)切換完成計(jì)算。然而，當(dāng)規(guī)模越來越大，系統(tǒng)會被晶體管開關(guān)頻繁翻轉(zhuǎn)帶來的功耗、延遲、發(fā)熱等問題拖累。

光計(jì)算芯片的不同之處在于信息被編碼到光上，通過光場的變化完成計(jì)算，光場在傳播過程中把大量的運(yùn)算并行計(jì)算出來。可以類比為，電芯片就像是銅線電話傳消息，以電為載體；而光計(jì)算芯片則像是光纖寬帶，常具有速度更快、能耗更低的優(yōu)勢。

圖丨大規(guī)模全光生成計(jì)算芯片 LightGen（Science）

據(jù)悉，早在 2019 年，陳一彤就開始思考如何全光實(shí)現(xiàn)生成式模型，并在后來發(fā)表了 Science Advances 認(rèn)證的國際首個(gè)全光生成式網(wǎng)絡(luò)[2]。思考這個(gè)想法時(shí)，當(dāng)前流行的生成式模型尚未大幅度走入公眾視野，也還未引起廣泛的關(guān)注度。

當(dāng)下，生成式模型在全球帶來變革性影響的同時(shí)，陳一彤課題組也攻克了百萬級光學(xué)神經(jīng)元全光芯片片上集成、全光維度變換和無真值訓(xùn)練算法等一系列問題，最終兩股進(jìn)步力量融合促進(jìn)了 LightGen 芯片的誕生。

圖丨LightGen 生成的采樣圖像示例（Science）

其中，百萬級神經(jīng)元為生成任務(wù)需要龐大的神經(jīng)元規(guī)模問題提供了方案；全光維度轉(zhuǎn)換則面向生成式任務(wù)對維度變換的需求，解決了模擬光信號維度難以定義更遑論全光超高速轉(zhuǎn)換的問題；而無預(yù)定義真值訓(xùn)練算法則讓生成式任務(wù)沒有標(biāo)準(zhǔn)答案的情況下，光子芯片如何訓(xùn)練的問題得以解決。

將三者結(jié)合，才把光計(jì)算從以往主要擅長決策任務(wù)推進(jìn)到可以比肩數(shù)字模型的語義生成。

論文指出，LightGen 實(shí)現(xiàn)了百萬級光學(xué)神經(jīng)元的集成和大尺寸的輸入輸出，這并非簡單地重復(fù)小規(guī)模的光子芯片，而是對語義生成至關(guān)重要的質(zhì)的飛躍。

需要了解的是，LightGen 并不是電輔助光做生成，而是讓全光芯片完整實(shí)現(xiàn)一種“輸入-理解-操控-生成”的閉環(huán)。研究團(tuán)隊(duì)認(rèn)為，LightGen 有望在內(nèi)容生產(chǎn)流程中率先實(shí)現(xiàn)商業(yè)化，如實(shí)時(shí)預(yù)覽、極速出圖等最“吃”算力且又最需要實(shí)時(shí)反饋的環(huán)節(jié)。

圖丨陳一彤（陳一彤）

“LightGen 可以讓創(chuàng)作者獲得‘所見即所得’的預(yù)覽速度，幫創(chuàng)作者把渲染生成迭代從單次數(shù)小時(shí)壓縮到數(shù)秒甚至亞秒級，提高生產(chǎn)效率。”研究團(tuán)隊(duì)告訴 DeepTech。

未來，LightGen 從實(shí)驗(yàn)室走向可用的技術(shù)產(chǎn)品，還需要解決制定標(biāo)準(zhǔn)化工藝流程、量產(chǎn)測試標(biāo)準(zhǔn)等系列工程問題。據(jù)悉，研究團(tuán)隊(duì)已與產(chǎn)業(yè)方展開密切合作。

參考資料：

1.https://www.science.org/doi/10.1126/science.adv7434

2.https://www.science.org/doi/10.1126/sciadv.adf8437

運(yùn)營/排版：何晨龍