這項由阿里巴巴集團的李亞琪、陳鵬、韓明陽等研究團隊開發的Visual-CoG（視覺引導鏈）技術發表于2025年8月，論文題為《Visual-CoG: Stage-Aware Reinforcement Learning with Chain of Guidance for Text-to-Image Generation》。有興趣深入了解的讀者可以通過arXiv:2508.18032v1訪問完整論文。

當你對AI說"畫一個穿著紅裙子的小女孩站在藍色汽車左邊"時，你可能會發現AI經常會搞砸一些細節：要么裙子變成了綠色，要么小女孩跑到了汽車右邊，要么干脆畫出了兩個小女孩。這就像是一個很聰明但有點心不在焉的畫家，總體能力不錯，但在處理復雜要求時容易丟三落四。

為什么會出現這種情況呢？當前的AI繪畫系統就像是一個著急的學生，拿到題目后立馬就開始畫，畫完了才發現理解錯了要求。更要命的是，即使最終作品有問題，它也不知道到底是在哪個環節出了錯：是一開始就理解錯了你的意思，還是在繪畫過程中走偏了，還是最后的細節處理有問題。

阿里巴巴的研究團隊注意到了這個問題，他們發現現有的AI繪畫系統有兩大短板。首先是面對復雜描述時容易犯糊涂，比如當你要求"畫出法國最著名的大教堂，要有兩扇彩色玻璃窗"時，AI可能不知道你說的是巴黎圣母院，或者雖然畫出了教堂，但玻璃窗的數量不對。其次是現有的訓練方式有問題，就像只在考試結束后才告訴學生哪道題做錯了，而不在做題過程中給出提示，這樣的反饋來得太晚，效果自然不好。

為了解決這些問題，研究團隊開發了一套名為Visual-CoG的新方法。這個方法最大的特點是把AI繪畫變成了一個三步走的過程，就像一個專業畫家的創作流程一樣。

第一步是"語義推理"階段。在這個階段，AI不急著動筆，而是先仔細思考你的要求到底是什么意思。比如當你說"畫出雨果小說中出現的法國大教堂"時，AI會先推理出"雨果最著名的小說是《巴黎圣母院》，所以用戶要的是巴黎圣母院"。然后它會把原始要求改寫得更具體："一座法國哥特式大教堂，有飛扶壁，兩扇彩色玻璃窗，營造溫暖祥和的氛圍"。這就像是一個細心的翻譯，把模糊的指令翻譯成清晰的行動方案。

第二步是"過程優化"階段。在實際繪畫過程中，AI不再是一口氣畫完，而是邊畫邊檢查。這就像是一個畫家會不時停下來審視自己的作品，看看哪里需要調整。技術上，研究團隊設計了一個巧妙的機制：讓AI在繪畫的每個中間步驟都嘗試重建圖像的某些部分，如果重建效果不好，說明這一步的繪畫質量有問題，需要調整。

第三步是"結果評估"階段。畫作完成后，AI會對最終結果進行全面檢查，就像是一個嚴格的美術老師在批改作業。它會檢查顏色是否正確、物體數量是否準確、空間位置是否合理，甚至整體的美感如何。比如檢查"紅裙子"是不是真的是紅色的，"兩扇窗戶"是不是確實有兩扇，"左邊"是不是真的在左邊。

這三個階段最重要的創新在于，每個階段都會給AI即時的反饋信息，告訴它這一步做得好不好。這就像是一個耐心的老師，不僅在考試結束后給分數，還在學生做題的每個關鍵步驟都給出指導意見。

為了訓練這套系統，研究團隊使用了一種叫做"強化學習"的方法。簡單來說，就是通過獎勵和懲罰來引導AI學習。當AI在某個階段表現好時，就給它正面獎勵；表現不好時，就給負面反饋。與傳統方法不同的是，Visual-CoG在三個階段都提供反饋，而不是只在最后給個總分。

在語義推理階段，獎勵機制是這樣工作的：AI用原始指令和改寫后的指令分別畫一幅圖，然后比較兩幅圖的質量。如果改寫后的指令能產生更好的圖畫，說明語義推理做得好，就給正獎勵；反之則給負獎勵。這就像是通過對比考試來檢驗學生是否真正理解了題目。

在過程優化階段，系統引入了一個"老師模型"的概念。可以把它想象成一個經驗豐富的畫家導師，它知道在每個繪畫步驟應該如何處理。學生AI需要盡量模仿這個老師的繪畫過程，越接近老師的標準，獎勵越高。這種方法確保了AI在繪畫的中間過程就能得到指導，而不是畫完才知道對錯。

在結果評估階段，研究團隊設計了一套全面的評分標準，包括空間關系、數量準確性、顏色正確性和整體美感。比如對于"三個人"這樣的要求，系統會自動數一下畫中確實有幾個人，如果數量不對就扣分。對于"紅色汽車在藍色房子左邊"這樣的要求，系統會檢查汽車是否確實在房子的左邊，顏色是否正確。

為了驗證Visual-CoG的效果，研究團隊進行了大量的測試。他們不僅在現有的標準測試集上進行了評估，還專門創建了一個新的測試集叫做VisCog-Bench（視覺認知基準），專門用來測試AI處理復雜和需要推理的繪畫要求的能力。

這個新測試集包括四類特別有挑戰性的任務。第一類是"異常位置"任務，比如要求畫"紫色的狗和黑色的餐桌"，考驗AI能否正確處理不常見的顏色搭配。第二類是"異常組合"任務，要求把平時不太會放在一起的物品畫在同一幅圖中。第三類是"異常顏色"任務，要求給物品涂上不尋常的顏色。第四類是"推理"任務，就像前面提到的"雨果小說中的大教堂"那樣，需要AI通過常識推理才能知道具體要畫什么。

測試結果顯示，Visual-CoG在各項指標上都有顯著提升。在Geneval這個標準測試集上，總體性能比基準方法提升了15%，在一些具體指標上提升更為明顯：計數準確性提升了14.69%，位置準確性提升了47.97%，顏色準確性提升了15.36%。在另一個測試集T2I-CompBench上，Visual-CoG在顏色處理方面達到了78.92%的準確率，在空間關系處理方面達到了43.71%的準確率，都是目前最好的成績。

更令人驚喜的是在新創建的VisCog-Bench測試集上的表現。對于那些需要推理的復雜任務，Visual-CoG的成功率高達77.5%，相比之下，沒有語義推理功能的版本只有49.75%的成功率。這說明"先思考再動筆"的策略確實有效。

研究團隊還專門分析了三個階段各自的貢獻。他們發現，語義推理階段主要幫助提升位置關系的準確性，提升了6.99個百分點；過程優化階段主要改善了計數準確性，提升了7.96個百分點；結果評估階段則主要提升了顏色準確性，提升了9.53個百分點。這就像是一個團隊合作，每個成員都有自己的專長，合在一起效果更好。

從實際的畫作效果來看，Visual-CoG生成的圖像確實更加精確和豐富。比如在處理"一張蛋糕和一只斑馬的照片"這樣的要求時，基礎版本可能只會畫出兩個互不相干的物品，而Visual-CoG會創造出一個合理的場景，比如斑馬在生日派對上準備享用蛋糕。在處理"三個人"這樣的計數要求時，基礎版本經常畫錯人數，而Visual-CoG幾乎總是能準確畫出三個人。

這種改進不僅體現在準確性上，還體現在畫面的豐富度和藝術性上。通過語義推理，AI能夠理解用戶的真實意圖，創造出更有意義的場景。通過過程優化，繪畫的每個細節都更加精致。通過結果評估，整體畫面的協調性和美感都得到了提升。

Visual-CoG的意義不僅僅在于技術上的突破，更在于它代表了AI繪畫發展的一個重要方向：從簡單的圖像生成轉向智能的創意理解和表達。就像人類畫家需要理解、構思、創作和完善這樣一個完整的創作過程，AI也需要學會這樣的系統性思維。

對于普通用戶來說，這意味著與AI的交流可以更加自然和高效。你不再需要絞盡腦汁地用標準化的描述來遷就AI，而是可以用更接近自然語言的方式表達你的創意想法，AI能夠理解你的意圖并創造出符合期望的作品。

當然，這項技術也還有進一步改進的空間。目前的語義推理主要依賴于預訓練的語言模型的知識，對于一些非常專業或者非常新穎的概念可能還會有理解偏差。過程優化階段雖然能夠改善繪畫質量，但計算成本相對較高，需要在效果和效率之間找到更好的平衡點。結果評估階段雖然全面，但主要還是基于規則的評判，對于藝術性和創意性的判斷還有待完善。

盡管如此，Visual-CoG仍然代表了AI繪畫領域的一個重要進步，它證明了通過模仿人類的創作思維過程，AI可以在理解復雜指令和生成高質量圖像方面取得顯著提升。隨著技術的不斷完善，我們有理由相信，未來的AI繪畫工具將會變得更加智能、更加貼近人類的創作需求，真正成為創意工作者的得力助手。

Q&A

Q1：Visual-CoG和普通的AI繪畫工具有什么不同？

A：普通AI繪畫工具就像一個著急的學生，拿到描述就直接開始畫，經常會搞錯細節。而Visual-CoG就像一個專業畫家，會先仔細理解你的要求（語義推理），然后邊畫邊檢查（過程優化），最后全面檢查作品質量（結果評估）。這種三步走的方式讓AI能更準確地理解復雜指令，畫出更符合要求的圖片。

Q2：Visual-CoG在哪些方面的表現提升最明顯？

A：Visual-CoG在處理復雜描述時表現尤其出色。比如在計數準確性上提升了14.69%，位置關系準確性提升了47.97%，顏色準確性提升了15.36%。特別是對于需要推理的任務，比如"畫出雨果小說中的大教堂"這樣的要求，成功率高達77.5%，而普通方法只有49.75%。

Q3：普通人現在可以使用Visual-CoG技術嗎？

A：目前Visual-CoG還主要是一項研究成果，阿里巴巴團隊計劃很快會公開相關資源。不過這項技術代表的"分步思考"理念已經開始影響AI繪畫工具的發展方向，未來會有更多融合類似技術的產品面向普通用戶，讓AI繪畫變得更智能、更準確。