這項由臺灣中山大學的吳仁迪、林余晏和楊慧芳領導的研究團隊發表于2025年8月的期刊文章，提出了一種名為SQUARE的全新圖像檢索框架。有興趣深入了解的讀者可以通過論文編號arXiv:2509.26330v1查詢完整論文。

當你在網上搜索圖片時，有沒有遇到過這樣的困擾：明明輸入了很詳細的描述，但搜索出來的結果總是差強人意？比如你想找一張"紅色長袖連衣裙"的圖片，但搜索結果里混雜著各種紅色短袖、紅色上衣，甚至完全不相關的紅色物品。這種困擾在學術界被稱為"組合圖像檢索"問題，而中山大學的研究團隊剛剛為這個問題提出了一個令人興奮的解決方案。

傳統的圖像搜索就像是一個只會按字面意思理解的機器人。當你說"把這件藍色T恤換成黑色"時，它可能會給你展示各種黑色物品，而不是一件黑色T恤。這是因為現有的搜索系統很難真正理解用戶的完整意圖，特別是當用戶需要在現有圖片基礎上進行修改時。

研究團隊開發的SQUARE系統就像是給這個機器人裝上了"理解大腦"。它不僅能看懂你提供的參考圖片，還能準確理解你想要的修改內容，然后在龐大的圖片數據庫中找到最符合你期望的結果。更重要的是，這個系統不需要額外的訓練，可以直接使用現有的人工智能模型，就像是為現有工具升級了一個智能插件。

一、雙階段智能檢索的工作機制

SQUARE系統的工作原理可以用"先粗篩再精選"的策略來比擬。就像你在商場買衣服時，首先會在整個商場里大致瀏覽一遍找到合適的店鋪，然后在選定的店鋪里仔細挑選最喜歡的那件。

系統的第一個階段叫做"語義查詢增強融合"。在這個階段，系統會接收用戶提供的參考圖片和修改要求，比如一張藍色襯衫的照片配上"換成紅色"的文字描述。傳統方法只是簡單地把圖片特征和文字特征混合在一起，就像把藍色顏料和"紅色"這個詞匯機械地攪拌在一起，結果往往模糊不清。

SQUARE的創新之處在于引入了多模態大語言模型作為"翻譯官"。這個翻譯官能夠深度理解用戶的意圖，生成一段詳細的目標圖像描述。繼續用換衣服的例子，當用戶說"把這件藍色襯衫換成紅色"時，翻譯官會生成類似"一件紅色的長袖正裝襯衫，有著白色紐扣和修身版型"這樣的具體描述。這種描述包含了比原始指令更豐富的語義信息，能夠更準確地指導搜索過程。

系統會將這個AI生成的描述與原始的圖片和文字指令巧妙融合，形成一個更加全面和準確的搜索查詢。這就像是把用戶的模糊想法翻譯成了精確的購物清單，大大提高了在海量圖片中找到目標的成功率。通過這種方式，系統在第一階段就能從數萬張圖片中篩選出最相關的候選結果。

二、智能重排序的精準定位

如果說第一階段是用望遠鏡在遠處搜尋目標，那么第二階段就是用放大鏡進行細致觀察。這個階段被稱為"高效批量重排序"，它的作用是從第一階段篩選出的候選圖片中找到真正的最佳匹配。

這個階段的設計頗具創意。系統會把候選的16張圖片排列成一個4×4的網格，就像是把它們擺放在一個展示板上。每張圖片都被標注上不同顏色的邊框和數字標簽，讓AI能夠清楚地識別和比較每一張圖片。這種安排方式受到了人類視覺認知的啟發：當我們需要在多個選項中做選擇時，將它們并排放置能夠幫助我們更好地進行比較。

接下來，多模態大語言模型會像一個專業的品鑒師一樣，同時觀察所有候選圖片，并根據用戶的原始需求對它們進行排序。這個過程的巧妙之處在于，AI不是逐一評估每張圖片，而是在一次操作中完成對所有候選圖片的比較和排序。這就像是一個經驗豐富的購物顧問，能夠一眼看出哪件商品最符合你的需求。

這種設計還有一個重要優勢：它保持了搜索過程的可解釋性。因為AI需要明確說明為什么某張圖片排在前面，用戶可以理解搜索結果的邏輯，而不是面對一個"黑盒子"般的神秘算法。

三、技術實現的巧妙平衡

SQUARE系統在技術實現上展現出了優雅的平衡性。它既不需要重新訓練復雜的模型，也不需要大量的標注數據，而是巧妙地利用了現有的成熟技術。這就像是用現有的樂器組成一個新的樂隊，通過精心的配合演奏出動聽的音樂。

系統的核心組件包括CLIP這樣的視覺語言模型和GPT-4o這樣的多模態大語言模型。CLIP負責理解圖片和文字之間的關系，就像是一個既懂視覺藝術又精通文字的翻譯；而GPT-4o則擔當更高級的推理角色，能夠深度理解復雜的語義關系和用戶意圖。

在實際應用中，系統使用了兩個關鍵的融合參數來控制不同信息源的影響權重。第一個參數α控制參考圖片和修改文字的相對重要性，第二個參數β決定AI生成描述在最終查詢中的影響程度。通過大量實驗，研究團隊發現將α設置為0.7，β設置為0.6時能夠達到最佳效果。這種參數化設計為不同應用場景提供了靈活的調整空間。

值得注意的是，系統在重排序階段選擇直接使用原始的參考圖片和修改文字，而不是依賴第一階段生成的AI描述。這個設計決策體現了研究團隊的深思熟慮：雖然AI描述在全局搜索中很有價值，但在精細比較階段，原始的用戶輸入往往更加準確和可靠。這種設計還使得重排序模塊可以獨立使用，為其他研究提供了便利。

四、實驗驗證的令人矚目成果

研究團隊在四個權威的圖像檢索數據集上對SQUARE進行了全面測試，這些測試就像是讓系統參加不同科目的考試，以驗證其全面的能力。測試涵蓋了從日常生活場景到專業時尚領域的各種圖像檢索任務。

在CIRR數據集上，這是一個包含真實世界多樣化圖像的測試集，SQUARE表現出了顯著的優勢。使用標準的CLIP模型時，系統在最重要的Recall@1指標上達到了45.04%的成績，這意味著在近一半的搜索中，用戶想要的圖片會出現在搜索結果的第一位。相比之下，之前最好的方法只能達到38.43%的成績。這種提升對于實際應用來說意義重大，因為大多數用戶只會查看搜索結果的前幾位。

在更具挑戰性的CIRCO數據集上，SQUARE的優勢更加明顯。這個數據集包含超過12萬張圖像，為搜索算法提出了更高的要求。在這種大規模搜索場景下，SQUARE在關鍵指標mAP@5上達到了28.95%的成績，比最接近的競爭方法高出近4個百分點。這種提升在搜索算法領域已經算是相當可觀的進步。

在時尚專業領域的FashionIQ數據集上，SQUARE同樣表現出色。這個數據集專門測試系統對細致服裝屬性變化的理解能力，比如"把袖子變短"或"改變領口樣式"這樣的精細要求。SQUARE在平均R@10指標上達到了40.59%的成績，證明了系統在處理專業領域任務時的可靠性。

特別值得關注的是，SQUARE在使用較小模型時也能保持出色的性能。即使使用計算資源需求相對較低的CLIP B/32模型，系統仍然能夠超越許多使用大型模型的競爭方法。這種特性對于實際應用具有重要意義，因為它意味著即使在計算資源受限的環境中，用戶也能享受到高質量的搜索體驗。

五、深入分析各組件的獨特貢獻

為了更好地理解SQUARE成功的原因，研究團隊進行了詳細的分解分析，就像醫生進行全面體檢一樣，檢查每個組件的健康狀況和貢獻度。

首先，他們測試了不同視覺語言模型的影響。結果顯示，較大的模型確實能帶來更好的性能，但SQUARE的架構設計使得即使是較小的模型也能達到令人滿意的效果。比如，使用CLIP ViT-G/14這樣的大型模型時，系統在CIRCO數據集上的mAP@5可以達到30.89%，而使用較小的CLIP ViT-B/32時，這個數字為20.89%。雖然存在性能差異，但即使是較小模型的表現也超過了許多專門為此任務設計的方法。

在多模態大語言模型的選擇上，研究結果揭示了一些有趣的模式。GPT-4.1在大多數測試中表現最佳，這可能得益于其強大的多模態推理能力。有趣的是，一些"迷你"版本的模型雖然性能略有下降，但仍然保持了相當的競爭力，為實際應用提供了成本效益更高的選擇。

重排序階段的網格大小分析提供了另一個重要洞察。研究團隊發現，3×3的網格能夠達到最佳性能，但考慮到實際應用中用戶通常希望看到更多選項，他們最終選擇了4×4的網格作為默認配置。這種選擇體現了學術研究與實際應用需求之間的平衡考慮。

關于用戶意圖表達方式的比較研究也很有啟發性。當系統使用原始的參考圖片和修改文字進行重排序時，效果要好于僅使用AI生成的描述。這個發現提醒我們，雖然AI在理解和生成內容方面已經很強大，但在某些精細任務中，原始的人類輸入仍然具有不可替代的價值。

六、真實應用場景的表現分析

通過具體的應用案例，我們可以更直觀地理解SQUARE的實際效果。研究團隊展示了系統在不同類型搜索任務中的表現，這些案例就像是系統的"實戰演練"。

在一個典型的動物搜索案例中，用戶提供了一張鹿的照片，并要求"鹿看向鏡頭，背景是森林"。傳統的CIReVL方法返回的結果中，雖然包含了鹿的圖片，但很多并不符合"看向鏡頭"和"森林背景"的要求。而SQUARE不僅成功地將符合所有要求的目標圖片排在了第一位，還在候選結果中提供了多個高質量的替代選項。

在時尚領域的測試中，一個關于T恤顏色和圖案變化的查詢展現了系統處理復合修改的能力。用戶希望將一件彩色T恤變成"黑色的，帶有白色面部圖案"。SQUARE準確地理解了這個包含顏色變化和圖案添加的復雜要求，在搜索結果中呈現了多款符合要求的黑色T恤，且都帶有合適的白色圖案設計。

然而，系統也暴露出一些局限性。在某些涉及空間關系的復雜查詢中，比如要求"狗的頭部更靠近鏡頭"這樣的空間位置變化，系統的表現有所下降。這反映了當前AI技術在空間推理方面的普遍挑戰，也為未來的改進指明了方向。

七、技術創新的更深層意義

SQUARE的成功不僅在于其出色的性能指標，更在于它代表的技術發展方向的轉變。這種轉變就像是從工業化生產向定制化服務的演進，體現了AI技術越來越注重理解和滿足用戶的個性化需求。

傳統的圖像搜索方法往往依賴大量的訓練數據和復雜的模型訓練過程，這就像是建造一座需要巨大投資的工廠。而SQUARE采用的"訓練無關"方法，則更像是搭建一個靈活的作坊，能夠利用現有的工具和材料快速生產出高質量的產品。這種方法的優勢在于其適應性和可擴展性，當新的基礎模型出現時，SQUARE可以輕松地集成這些改進，而不需要重新進行復雜的訓練過程。

系統的模塊化設計也體現了現代軟件工程的最佳實踐。語義查詢增強融合模塊和高效批量重排序模塊可以獨立使用，這意味著其他研究者可以根據自己的需要選擇性地采用其中的技術。這種開放性設計促進了學術交流和技術傳播，有助于整個領域的發展。

SQUARE在可解釋性方面的考慮也值得稱贊。在AI技術日益復雜的今天，用戶往往面臨"黑盒子"問題，不知道系統為什么會給出特定的結果。SQUARE通過生成目標圖像的文字描述和明確的重排序理由，讓用戶能夠理解搜索過程的邏輯，這對于建立用戶信任和系統的實際部署都具有重要意義。

八、面向未來的發展前景

SQUARE的研究成果為圖像檢索技術的未來發展開辟了新的道路。從技術演進的角度看，這項工作預示著AI系統將越來越擅長理解和處理復雜的多模態任務，而不僅僅是簡單的模式匹配。

在商業應用方面，SQUARE的技術原理可以廣泛應用于電子商務、內容創作、教育培訓等多個領域。比如在線購物平臺可以利用這種技術讓用戶通過"拍照+描述修改"的方式找到理想的商品；內容創作者可以使用它來快速找到符合特定要求的素材圖片；教育工作者可以用它來搜索滿足特定教學需求的圖像資源。

從更宏觀的角度看，SQUARE代表的多模態AI技術發展趨勢將推動人機交互方式的根本性變革。未來的搜索體驗可能會變得更加自然和直觀，用戶不再需要費力地構造關鍵詞，而是可以用更接近人類自然思維的方式表達自己的需求。

研究團隊也誠實地指出了當前系統的局限性，比如在處理涉及復雜空間關系或多重屬性修改的查詢時仍有改進空間。這種坦誠的態度不僅體現了嚴謹的學術精神，也為后續研究指明了發展方向。

說到底，SQUARE的意義遠超出了一個技術系統的范疇。它展示了如何通過巧妙的設計和對現有技術的創新組合，解決實際問題并推動技術進步。在AI技術快速發展的今天，這種"站在巨人肩膀上"的研究方法提醒我們，創新不一定意味著從零開始，有時候最好的解決方案來自于對現有資源的智慧整合。

對于普通用戶而言，SQUARE技術的普及將意味著更加便捷和準確的圖像搜索體驗。當你下次在網上搜索圖片時，也許就能享受到這種能夠真正理解你意圖的智能搜索服務。而對于整個AI領域來說，SQUARE代表的多模態融合和訓練無關的技術路線，可能會成為未來AI系統發展的重要參考方向。這項來自中山大學的研究，正在為我們描繪一個更加智能和人性化的數字世界藍圖。

Q&A

Q1：SQUARE系統是什么？它和普通的圖片搜索有什么不同？

A：SQUARE是中山大學開發的智能圖像檢索系統，它能同時理解參考圖片和文字修改要求來搜索圖片。不像普通搜索只能用關鍵詞，SQUARE可以讓你拿一張藍色襯衫的照片說"換成紅色"，然后準確找到紅色襯衫。它分兩個階段工作：先用AI理解你的意圖生成詳細描述進行粗篩，再把候選圖片排成網格讓AI精確對比排序。

Q2：SQUARE系統需要重新訓練嗎？普通人能用嗎？

A：SQUARE的最大優勢就是不需要重新訓練，直接使用現有的CLIP和GPT-4o等成熟模型就能工作，就像給現有工具升級一個智能插件。雖然論文展示的是技術原理，但這種設計意味著它可以比較容易地集成到現有的搜索服務中。目前還沒有面向普通用戶的產品，但技術門檻相對較低，未來很可能會在各種購物、設計、教育平臺上見到類似應用。

Q3：SQUARE在實際測試中表現如何？有什么局限性嗎？

A：SQUARE在四個權威數據集上都表現出色，在CIRR數據集上達到45.04%的準確率，明顯超過之前最好的方法。即使使用較小的模型也能保持良好性能，這對實際應用很重要。但系統也有局限性，比如處理復雜空間關系（如"狗頭靠近鏡頭"）或多重屬性同時修改時效果會下降。研究團隊很坦誠地指出了這些問題，這也是未來改進的方向。