IT之家 12 月 19 日消息，科技媒體 9to5Mac 昨日（12 月 18 日）發布博文，報道稱蘋果研究團隊近日發布多模態 AI 模型 UniGen 1.5，成功在單一系統中集成了圖像理解、生成與編輯三大核心功能。

與主要依賴不同模型分別處理任務的傳統方案不同，UniGen 1.5 最大的突破在于構建了一個統一的框架，僅憑一個模型即可同時完成圖像理解、圖像生成以及圖像編輯任務。研究人員認為，這種統一架構能讓模型利用強大的圖像理解能力反哺生成效果，從而實現更精準的視覺輸出。

在圖像編輯領域，模型往往難以精準捕捉用戶微妙或復雜的修改指令。蘋果團隊為解決這一難題，首創引入了名為“編輯指令對齊”的后訓練階段。

該技術并不直接讓模型修改圖片，而是要求模型先根據原圖和指令，預測出目標圖像的詳細文本描述。這種“先想后畫”的中間步驟，迫使模型在生成最終圖像前，必須深度內化用戶的編輯意圖，從而大幅提升了修改的準確度。

這一中間步驟有助于模型在生成最終圖像之前更好地理解預期的編輯內容。

除了指令對齊，UniGen 1.5 的另一大貢獻在于強化學習層面的創新。研究團隊成功設計了一套統一的獎勵系統，能夠同時應用于圖像生成和圖像編輯的訓練過程。

此前，由于編輯任務涉及從微調到重構的巨大跨度，統一獎勵機制極難實現，而這一突破讓模型在處理不同類型的視覺任務時，能夠遵循一致的質量標準，顯著增強了系統的“抗干擾”性。

UniGen-1.5 的文本轉圖像生成和圖像編輯功能的一些示例

UniGen-1.5 的文本轉圖像生成和圖像編輯功能的一些示例

在多項行業標準基準測試中，UniGen 1.5 展現了強勁的競爭力。數據顯示，該模型在 Geneval 和 DPG-Bench 測試中分別獲得 0.89 和 86.83 的高分，顯著優于 BAGEL 和 BLIP3o 等近期熱門方法。

在圖像編輯專項測試 ImgEdit 中，其 4.31 的綜合得分不僅超越了 OminiGen2 等開源模型，更與 GPT-Image-1 等專有閉源模型表現持平。

盡管整體表現優異，UniGen 1.5 目前仍存在一定局限性。研究人員在論文中坦承，由于離散去標記器（discrete detokenizer）在控制細粒度結構方面存在不足，模型在生成圖片內的文字時容易出錯。

圖 A 展示了 UniGen-1.5 在文本轉圖像生成和圖像編輯任務中的失敗案例。以上圖源：蘋果論文

此外，在部分編輯場景下，模型偶爾會出現主體特征漂移的問題，例如貓的毛發紋理改變或鳥的羽毛顏色偏差，這些問題將是團隊未來的優化重點。

IT之家附上參考地址