Hi3Deval團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

作為AI視頻之后最被看好的AIGC應(yīng)用領(lǐng)域之一，對(duì)比2024年，2025年AI 3D生成的質(zhì)量已經(jīng)進(jìn)化成了這樣：

△圖源：Meshy

隨著模型能力的不斷進(jìn)化，在評(píng)估層面，新的挑戰(zhàn)也在出現(xiàn)：

傳統(tǒng)3D生成評(píng)測往往停留在對(duì)象級(jí)的粗糙評(píng)估，主要關(guān)注“整體質(zhì)量”，缺少對(duì)局部結(jié)構(gòu)和材質(zhì)的系統(tǒng)化分析。

為了解決這個(gè)問題，上海人工智能實(shí)驗(yàn)室聯(lián)合復(fù)旦大學(xué)、清華大學(xué)、香港中文大學(xué)等高校發(fā)布了Hi3Deval——一套面向3D內(nèi)容生成的全新層次化自動(dòng)評(píng)測體系。

團(tuán)隊(duì)通過設(shè)計(jì)對(duì)象級(jí)、部件級(jí)與材質(zhì)主題三層評(píng)測協(xié)議，實(shí)現(xiàn)從整體形態(tài)到局部結(jié)構(gòu)再到材質(zhì)真實(shí)性的多粒度分析，全方位揭示模型的生成能力。

在此基礎(chǔ)上，首期3D生成榜單已在HuggingFace同步發(fā)布，涵蓋30個(gè)主流與前沿模型，覆蓋Text?to?3DImage?to?3D兩大核心任務(wù)。

研究團(tuán)隊(duì)表示，該榜單可以直觀呈現(xiàn)各模型的總和表現(xiàn)，希望以此為學(xué)術(shù)界與產(chǎn)業(yè)界提供可追蹤、可復(fù)現(xiàn)的對(duì)標(biāo)基準(zhǔn)，推動(dòng)3D生成技術(shù)向更高質(zhì)量與更高透明度發(fā)展。

三層評(píng)測協(xié)議：從整體到細(xì)節(jié)，全面解析3D生成質(zhì)量

Hi3Deval基于三層評(píng)測協(xié)議的層次化評(píng)測體系，旨在提供更細(xì)粒度的質(zhì)量剖析，還能揭示具體的優(yōu)缺點(diǎn)，為模型改進(jìn)與優(yōu)化提供明確方向。

對(duì)象級(jí)（object-level）

對(duì)象級(jí)評(píng)估關(guān)注生成物體的宏觀表現(xiàn)，涵蓋“幾何合理性幾何精細(xì)度紋理質(zhì)量幾何-紋理一致性prompt-3D一致性”五個(gè)維度。

“幾何合理性”側(cè)重的結(jié)構(gòu)完整性、保真性，不存在多頭、塌陷、浮空等違背物理規(guī)律。

“幾何精細(xì)度”則側(cè)重表面精細(xì)度，包括邊緣銳利度、細(xì)小部件的完整性等。

“紋理質(zhì)量”考察紋理貼圖的清晰度、細(xì)節(jié)保真度以及美學(xué)水平。

“幾何-紋理一致性”檢查紋理與幾何結(jié)構(gòu)的對(duì)齊程度，例如花紋是否遵循物體表面輪廓。

“prompt-3D一致性”則評(píng)估生成 3D 資產(chǎn)與輸入文本或圖像提示的匹配度，包括類別、屬性和身份特征等，確保結(jié)果符合用戶需求。

部件級(jí)（part-level）

現(xiàn)有的大多數(shù)3D生成評(píng)測體系都停留在對(duì)象級(jí)評(píng)估，只能給出整體質(zhì)量的籠統(tǒng)評(píng)分，難以揭示模型在局部結(jié)構(gòu)上的優(yōu)劣。

Hi3Deval引入部件級(jí)評(píng)測，將關(guān)注點(diǎn)精確落在諸如椅子腿、扶手、背板等細(xì)分部位，能夠直觀定位缺陷發(fā)生的區(qū)域。

這種粒度更細(xì)的評(píng)測不僅有助于診斷生成過程中的局部幾何問題，還能在模型優(yōu)化時(shí)提供有針對(duì)性的改進(jìn)信號(hào)。評(píng)測維度包括局部幾何合理性（保證局部結(jié)構(gòu)符合現(xiàn)實(shí)物理與設(shè)計(jì)邏輯）和局部幾何精細(xì)度（衡量細(xì)節(jié)刻畫的清晰度與豐富程度）。

材質(zhì)主題（material-subject）

傳統(tǒng)的材質(zhì)評(píng)估仍停留在圖片質(zhì)量和主觀審美層面，常用的指標(biāo)如FID、KID、美學(xué)評(píng)分等。

為了彌補(bǔ)這塊的空缺，Hi3Deval設(shè)計(jì)材質(zhì)主題的評(píng)估協(xié)議，聚焦表面視覺與物理屬性，借助物體在不同光照條件下的反射信息，從“細(xì)節(jié)與復(fù)雜性色彩與飽和度一致性與偽影材質(zhì)合理性”四個(gè)維度進(jìn)行全方位評(píng)估。

其中前兩個(gè)維度聚焦表面視覺，“細(xì)節(jié)與復(fù)雜度”關(guān)注材質(zhì)紋理的視覺豐富度和美學(xué)協(xié)調(diào)度，“色彩與飽和度”則評(píng)估材質(zhì)顏色的分布是否自然以及飽和度是否合理。后兩個(gè)維度則聚焦物理屬性，“一致性與偽影”檢查材質(zhì)紋理在不同光照或視角下的一致性，避免接縫、錯(cuò)位、異常陰影等視覺偽影， “材質(zhì)合理性”評(píng)估反射率、粗糙度等物理特性是否符合現(xiàn)實(shí)材料表現(xiàn)。

首期評(píng)測榜單：直觀呈現(xiàn)模型實(shí)力，推動(dòng)行業(yè)對(duì)標(biāo)

Hi3Deval在HuggingFace平臺(tái)發(fā)布了首期3D生成榜單，涵蓋30余款Text-to-3D與Image-to-3D模型。

榜單在統(tǒng)一的評(píng)測設(shè)置下對(duì)所有模型進(jìn)行測評(píng)，包括相同的輸入提示、渲染視角、光照條件及輸出格式。這種標(biāo)準(zhǔn)化流程不僅消除了實(shí)驗(yàn)環(huán)境差異帶來的偏差，還保障了榜單的評(píng)分結(jié)果的公正性和可參考性。

榜單結(jié)果不僅直觀呈現(xiàn)總分排名，還提供各個(gè)維度的單項(xiàng)得分，幫助研究者、開發(fā)者快速定位模型優(yōu)勢(shì)與短板。同時(shí)，它也為學(xué)術(shù)界與工業(yè)界提供了可追蹤的對(duì)標(biāo)參考，推動(dòng) 3D 生成技術(shù)向高質(zhì)量、透明化發(fā)展。

完整榜單可點(diǎn)擊文末鏈接查看。

自動(dòng)化評(píng)測管線：混合3D表征，增強(qiáng)3D感知能力

過往多數(shù)評(píng)測方法依賴靜態(tài)渲染圖像，難以暴露動(dòng)態(tài)不一致（如跨視角形變、細(xì)節(jié)抖動(dòng)等）和真實(shí)幾何缺陷（如多頭問題、局部塌陷等），評(píng)測結(jié)論與模型在真實(shí)三維使用場景中的可用性存在偏差。

為了緩解2D表征的局限性，Hi3Deval使用多視角環(huán)繞視頻 + 原生網(wǎng)格（mesh）構(gòu)建了基于混合3D表征的自動(dòng)化評(píng)測管線。

視頻表征能直觀揭示跨視角/時(shí)序的結(jié)構(gòu)穩(wěn)定性與紋理漂移，能夠區(qū)分“靜幀好看、轉(zhuǎn)動(dòng)即崩”的模型，使其非常適合用于對(duì)象級(jí)和材質(zhì)主題的評(píng)估。而對(duì)于部件級(jí)評(píng)測，由于視頻表征經(jīng)常出現(xiàn)對(duì)部件主體的遮擋進(jìn)而影響評(píng)估質(zhì)量，所以選用了原生3D表征支持幾何相關(guān)維度的自動(dòng)化評(píng)測。

通過統(tǒng)一的模型設(shè)置與對(duì)比實(shí)驗(yàn)，Hi3Deval在人類偏好一致性上的表現(xiàn)優(yōu)越，超越了現(xiàn)有主流自動(dòng)評(píng)測指標(biāo)，為3D內(nèi)容生成領(lǐng)域提供了更可靠、更全面的評(píng)測工具。

在生成3D技術(shù)高速迭代的當(dāng)下，雖然不同模型在功能和表現(xiàn)形式上的差距正在逐漸縮小，但在內(nèi)容精細(xì)度、真實(shí)感、結(jié)構(gòu)一致性等質(zhì)量維度上，差異依舊顯著。

過去，由于缺乏一套科學(xué)、統(tǒng)一且可擴(kuò)展的評(píng)價(jià)體系，行業(yè)討論往往停留在“誰的demo更吸睛”這種主觀印象層面，難以全面衡量方法的真正水平。

Hi3Deval這樣的基準(zhǔn)推出，旨在打破這一局限——不僅提供了面向未來的、系統(tǒng)化的3D內(nèi)容質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，也為學(xué)術(shù)界和產(chǎn)業(yè)界帶來了更透明、更公平的對(duì)比依據(jù)。

論文地址：
https://arxiv.org/abs/2508.05609
項(xiàng)目主頁：
https://zyh482.github.io/Hi3Deval/
評(píng)測榜單：
https://huggingface.co/spaces/3DTopia/3DGen-Leaderboard