新智元報道

編輯：LRST

浙江大學ReLER團隊開源ContextGen框架，攻克多實例圖像生成中布局與身份協同控制難題?；贒iffusion Transformer架構，通過雙重注意力機制，實現布局精準錨定與身份高保真隔離，在基準測試中超越開源SOTA模型，對標GPT-4o等閉源系統，為定制化AI圖像生成帶來新突破。

在定制化AI圖像生成領域，多實例圖像生成（MIG）面臨一個關鍵的協同控制挑戰：精確布局控制和多主體身份保真的同步實現。

現有方法往往只能達成二者之一，少數能兼顧的方法在性能上也存在顯著不足。

為解決這一布局與身份的協同控制瓶頸，浙江大學ReLER團隊提出了ContextGen框架，首次在Diffusion Transformer (DiT) 架構內部，通過雙重上下文注意力機制實現了架構級的分層解耦控制。

ContextGen在基準測試上，身份保持能力超越SOTA開源模型，并成功對標了GPT-4o和Nano-Banana等強大的閉源系統，實現了在復雜定制化控制方面實現了關鍵突破。

論文地址：https://arxiv.org/abs/2510.11000

代碼地址：https://github.com/nenhang/ContextGen

行業痛點

多實例生成中的「協同控制挑戰」

當前MIG模型在實際應用中，主要表現出在布局精準度與身份保真度協同控制上的挑戰：

宏觀布局難以固化：即使模型顯式提供了布局控制功能，生成的多個實例也難以精確地錨定到用戶指定的空間位置，屬性泄露和實例遺失現象頻發，導致生成圖像的構圖混亂且不符合預期。

身份細節極易丟失：目前很多模型都支持多主體定制化，但主體數量增加時，身份細節丟失的概率會顯著上升，生成結果往往無法忠實還原每個實例的獨特身份特征。

ContextGen的核心突破在于：它利用注意力機制控制的上下文學習，實現了對這兩個問題的協同解決，并在多個關鍵基準上達到了新的SOTA水平。

核心機制

布局錨定與身份隔離

ContextGen框架基于DiT架構構建，將所有輸入整合成一個統一的Token序列T，創新在于在DiT模塊中嵌入了兩個功能不同的「注意力核」。

宏觀布局控制模塊

上下文布局錨定 (Contextual Layout Anchoring, CLA)機制是DiT網絡的「布局控制器」，負責全局結構和構圖：

機制：該模塊采用的注意力掩碼MCLA允許查詢Token q與所有文本、圖像和布局Token進行廣泛通信。

效果：通過在DiT模塊的前置和后置層建立宏觀約束，確保生成的實例能夠魯棒且精確地遵循用戶指定的布局要求。這種圖像層面的宏觀布局引導更適配于現有的DiT上下文學習機制，簡單而有效地提升了布局控制的準確性。

微觀身份隔離模塊

身份一致性注意力 (Instance Consistency Attention, ICA)機制是解決多主體身份混淆與丟失的「身份隔離器」：

機制：采用隔離式的注意力掩碼MICA，強制限制位于實例n邊界框Bn內的查詢Token q，只能關注其自身區域Bn、文本T以及對應的參考圖像Rn

效果：這一設計在DiT模塊的中間層，切斷了不同實例身份Token之間的交叉通信，它為每個實例創造了一個「注意力孤島」，從機制上保障了多主體身份信息的高保真隔離注入，這一機制在應對實例重疊、壓縮等復雜場景時，能有效緩解身份信息丟失問題，同時在上下文變長時，也能維持魯棒的身份保真度。

輔助優化與數據基石

DPO強化學習：引入直接偏好優化 (DPO)，解決了監督微調可能導致的布局僵硬復制問題，從而增強了生成圖像的多樣性和自然度。

IMIG-100K數據集：團隊同步發布了IMIG-100K，首個包含詳細布局與身份標注的、含有不同難度層級的、大規模高質量多實例合成數據集。

實驗結果

開源SOTA，對標閉源巨頭

ContextGen的性能突破，體現在布局精度和身份保持兩個維度：

布局精度提升：在COCO-MIG基準上，空間準確性(mIoU) 實現了+5.9%提升，驗證了ContextGen在精確構圖上的領先性。

身份保持的突破：在LAMICBench++身份保持測試中，ContextGen的在較多主體下的身份保真度(IDS) 比肩甚至超越了GPT-4o和Nano-Banana等閉源模型。這一關鍵結果證明了ContextGen在復雜多主體場景中，對細節的保真還原能力。

定性結果清晰顯示，ContextGen也能還原細粒度的面部特征，也能靈活融合不同風格的參考圖像，同時還能遵循用戶的布局設計要求。

前端支持

用戶友好界面

團隊還開發了一個簡單的前端界面，用戶可以上傳自己的參考圖像，方便地設計布局，從而定制化生成多實例圖像。

結語

ContextGen框架通過在DiT架構中引入CLA和ICA雙核注意力機制，創新性地實現了宏觀布局和微觀身份信息的架構級分層解耦。

這一工作不僅為多實例生成提供了SOTA解決方案，成功突破了布局與身份的協同控制瓶頸，也為DiT等基礎擴散模型在高度定制化AIGC任務中的應用開辟了新的技術路徑。

作者簡介

本工作由浙江大學ReLER團隊完成，其中第一作者是浙江大學計算機科學與技術學院本科生許瑞航，通訊作者為浙江大學求是講席教授楊易老師。ReLER團隊長期致力于人工智能領域的前沿研究，包括但不限于生成模型、多模態學習、AI+X等方向。

參考資料：

https://arxiv.org/abs/2510.11000

秒追ASI

?點贊、轉發、在看一鍵三連?

點亮星標，鎖定新智元極速推送！