近日，上海人工智能實(shí)驗(yàn)室與復(fù)旦大學(xué)聯(lián)合培養(yǎng)博士生馬煒杰，在《Nature》（《自然》）雜志發(fā)表其歷時(shí)兩年打磨的裸眼3D技術(shù)研究成果——新一代裸眼3D顯示系統(tǒng)書生·瞳真EyeReal。該成果利用AI技術(shù)首次實(shí)現(xiàn)桌面級(jí)顯示尺寸下超寬范圍的全視差裸眼3D顯示。

26歲的馬煒杰日前在接受澎湃科技專訪時(shí)形容自己是反常規(guī)的“掉隊(duì)”學(xué)生，但正是這樣的經(jīng)歷給了他審視自我、辨識(shí)方向的契機(jī)，能夠沉下心來純粹做事。當(dāng)肯下“笨功夫”的年輕人，扎根于鼓勵(lì)創(chuàng)新的科研“沃土”，一顆看似微小的科研種子，便有了生根發(fā)芽的底氣，最終結(jié)出《Nature》期刊上令人矚目的科研果實(shí)。

裸眼3D顯示。AI驅(qū)動(dòng)實(shí)現(xiàn)眼睛到哪里，信息就跟到哪里。

AI助力“魚和熊掌”兼得

和VR/AR設(shè)備相比，裸眼3D技術(shù)徹底“去設(shè)備化”，更適合長(zhǎng)時(shí)間舒適自然地觀看與交互。數(shù)字全息顯示可提供極高的視角和畫質(zhì)，但不得不壓縮顯示尺寸至指甲蓋大小，而裸眼3D顯示則可以更大尺寸提供3D觀感。

但受限于物理光學(xué)中“空間帶寬積”這一極其有限的“光學(xué)信息預(yù)算”，馬煒杰介紹，傳統(tǒng)裸眼3D顯示技術(shù)只能以靜態(tài)方式將有限信息量均勻分配至所有可視角度，難以兼顧大尺寸、寬角度和視覺連續(xù)性這個(gè)“不可能三角”，導(dǎo)致要么犧牲尺寸，要么犧牲視角，要么犧牲連續(xù)性，三種方案都無法獲得舒適的3D觀感。

“在現(xiàn)有物理約束下，要實(shí)現(xiàn)大尺寸、寬角度和視覺連續(xù)性，就得利用AI實(shí)時(shí)優(yōu)化。”為此，他提出一種動(dòng)態(tài)最優(yōu)利用有限信息預(yù)算的主動(dòng)式解決方案，在不增加硬件成本的情況下，通過AI驅(qū)動(dòng)引擎，將全部信息量實(shí)時(shí)聚焦于觀看者視線落點(diǎn)。深度學(xué)習(xí)算法在毫秒級(jí)時(shí)間內(nèi)實(shí)時(shí)計(jì)算出人眼在每一個(gè)觀察方向的最佳顯示方案，實(shí)現(xiàn)眼睛到哪里，信息就跟到哪里。

該成果因此突破了既往技術(shù)中的權(quán)衡關(guān)系，讓大尺寸畫面和超寬的自由連續(xù)觀看范圍可以共存。在完全兼容消費(fèi)級(jí)液晶面板、無需復(fù)雜光學(xué)元件或特制硬件情況下，實(shí)現(xiàn)了桌面級(jí)顯示尺寸內(nèi)超100度超寬視場(chǎng)角，包含水平、垂直等全部視差類型的實(shí)時(shí)三維顯示，也從根本上避免了傳統(tǒng)3D顯示常見的因瞳距失配而產(chǎn)生的眩暈不適感，做到“魚和熊掌”兼得。

EyeReal提供了一種更高效、自然的人機(jī)協(xié)同模式，有望加速科學(xué)發(fā)現(xiàn)進(jìn)程。上海人工智能實(shí)驗(yàn)室青年科學(xué)家白磊介紹，“EyeReal是一種光學(xué)信息運(yùn)用全新范式，它不僅為全新的探索工具提供技術(shù)基礎(chǔ)，使科學(xué)研究者得以用更直觀、沉浸式的方式進(jìn)行數(shù)據(jù)交互，從而實(shí)現(xiàn)更高效、更自然的人機(jī)協(xié)同；同時(shí)，通過探索提升光場(chǎng)信息利用效率的新路徑，可幫助大模型更精準(zhǔn)地捕捉、理解和模擬現(xiàn)實(shí)世界中復(fù)雜的物理現(xiàn)象，從而推動(dòng)AI4S大模型向真實(shí)物理世界的全面融合邁進(jìn)。”

此外，《Nature》稱，該技術(shù)亦有望在教育工具、虛擬現(xiàn)實(shí)等領(lǐng)域開拓創(chuàng)新應(yīng)用。

“掉隊(duì)”學(xué)生的逆襲

“做這個(gè)課題是純粹的興趣驅(qū)動(dòng)，換句話說，如果沒有這樣的出發(fā)點(diǎn)，我是堅(jiān)持不下來的，因?yàn)檫@非常難。”從淘二手器件、擰每一顆螺絲，搭建出實(shí)驗(yàn)原型，到打磨出最終的論文，馬煒杰心無旁騖地一頭扎進(jìn)研究，一做就是兩年。

他形容自己是一個(gè)“反常規(guī)”的學(xué)生，喜歡嘗試新領(lǐng)域，不追求論文高產(chǎn)，始終關(guān)注探索人工智能賦能多元領(lǐng)域的應(yīng)用可能。從早期在機(jī)器人領(lǐng)域奪得世界冠軍，到隨后將探索觸角延伸至智慧醫(yī)療與交通等多個(gè)應(yīng)用場(chǎng)景，在加入上海人工智能實(shí)驗(yàn)室聯(lián)培博士專項(xiàng)后，他開始主攻交叉綜合的裸眼3D顯示技術(shù)領(lǐng)域，有志挑戰(zhàn)傳統(tǒng)難題。

有時(shí)候，一個(gè)領(lǐng)域的“不可能”是另一個(gè)領(lǐng)域的“常識(shí)”。正是這些多樣化的跨領(lǐng)域?qū)嵺`，讓他構(gòu)建了扎實(shí)的能力基礎(chǔ)、培養(yǎng)了他的“交叉思維”，進(jìn)而想到了用AI計(jì)算主動(dòng)管理信息預(yù)算的思路解決傳統(tǒng)裸眼3D顯示技術(shù)“不可能三角”這一難題。從0到1的研究意味著沒有現(xiàn)成路徑可循，研究者只能硬著頭皮從頭探索。“當(dāng)時(shí)實(shí)驗(yàn)室的導(dǎo)師鼓勵(lì)我不要以論文為導(dǎo)向，專心做科研更有意義。導(dǎo)師還告訴我，在這條技術(shù)路線上，我就是一個(gè)先行者，沒有先例可以參考，實(shí)驗(yàn)室可以為我提供支持，但落地必須靠自己。”

“許多優(yōu)秀的同學(xué)在讀博之前就已經(jīng)有很多論文加身了，而我走的路比較反常規(guī)，一直在探尋自己想要挑戰(zhàn)的方向，這一點(diǎn)上來看可以說已經(jīng) ‘掉隊(duì)’了。但也正因如此，我反而更能沉下心來，純粹地把事情做好。”兩年“真空期”里，他只做兩件事：革新技術(shù)、打磨結(jié)果。

“在AI圈子里，一般有主結(jié)果出來一兩個(gè)月內(nèi)就會(huì)形成一篇會(huì)議投稿文章，相比之下用一兩年時(shí)間去打磨一篇論文顯得天方夜譚。”盡管已經(jīng)得出了定性結(jié)果，但若要將文章真正做扎實(shí)、做透徹，仍需持續(xù)投入時(shí)間深入打磨。AI領(lǐng)域熱點(diǎn)迭代頻繁，在追求“短平快”的學(xué)術(shù)氛圍中，盡快發(fā)表初步成果是多數(shù)人的選擇，但在他看來，扎實(shí)推敲的工作從不會(huì)缺價(jià)值認(rèn)可的機(jī)會(huì)。

上海人工智能實(shí)驗(yàn)室與復(fù)旦大學(xué)聯(lián)合培養(yǎng)博士生馬煒杰。

創(chuàng)新的土壤

馬煒杰于2024年加入上海人工智能實(shí)驗(yàn)室聯(lián)培博士專項(xiàng)。據(jù)悉，上海人工智能實(shí)驗(yàn)室于2022年正式啟動(dòng)這一專項(xiàng)，依托高校培養(yǎng)優(yōu)勢(shì)和實(shí)驗(yàn)室世界級(jí)科研平臺(tái)，讓優(yōu)秀青年在頂尖科學(xué)家的指導(dǎo)下挑戰(zhàn)前沿難題、參與重大科研項(xiàng)目，目前已吸引近800名來自全國(guó)頂尖學(xué)府的優(yōu)秀學(xué)子加入。

除了聯(lián)培博士專項(xiàng)，上海人工智能實(shí)驗(yàn)室還創(chuàng)新性地提出“三梯合一”發(fā)展通道、“奧斯卡”式激勵(lì)等人才機(jī)制，鼓勵(lì)青年人才挑大梁、助力青年人才實(shí)現(xiàn)多維價(jià)值。這些不到30歲的青年科研人員已經(jīng)是實(shí)驗(yàn)室的中流砥柱，正以年輕人的活力和智慧成就人工智能年輕的事業(yè)。

同時(shí)，上海人工智能實(shí)驗(yàn)室通過構(gòu)建浦江科學(xué)社區(qū)，廣泛鏈接國(guó)內(nèi)外優(yōu)秀科研團(tuán)隊(duì)和人才，鼓勵(lì)有志于挑戰(zhàn)科學(xué)邊界的科學(xué)家發(fā)現(xiàn)問題、提出問題，并結(jié)合“AGI4S攀登者行動(dòng)計(jì)劃”等扶持機(jī)制，讓突破性技術(shù)從實(shí)驗(yàn)室走向更廣闊的世界舞臺(tái)。

正是在這樣的環(huán)境下，“天才”的想法有了生根發(fā)芽、開花結(jié)果的機(jī)會(huì)。

談及未來，馬煒杰表示，“畢業(yè)后將繼續(xù)打磨裸眼3D顯示技術(shù)，進(jìn)一步優(yōu)化算法、提高顯示質(zhì)量，并嘗試將其投入實(shí)際應(yīng)用。”他期望未來的裸眼3D顯示能成為一扇“數(shù)字任意門”——關(guān)機(jī)時(shí)便是一塊普通的透明玻璃，一旦開啟就變成一個(gè)通往數(shù)字世界的深邃窗口，變革人機(jī)交互方式。“在這個(gè)窗口里，無論是人還是物，都具備真實(shí)的體積感和光影，交互自然流暢，徹底模糊虛擬與現(xiàn)實(shí)的邊界。”