這項由索尼集團公司王為垚、立石和也、吳琦愚、高橋修介、光藤雄基等研究人員領導的創新研究發表于2025年的預印本論文中，有興趣深入了解的讀者可以通過arXiv:2510.00523v1查詢完整論文。

當你在搜索引擎里輸入"紅色的車"時，系統會返回各種紅車的圖片。但如果你想要的不是整輛紅車，而是這輛車停在海邊的特定場景呢？或者你看到一張照片里有好幾只動物，但你只對左邊那只小貓感興趣，希望找到類似的"左邊小貓在草地上"的圖片呢？這正是當前智能搜索系統面臨的一個關鍵挑戰。

現有的圖像搜索和理解系統就像一個只會看整體的人，它們能告訴你照片里有什么，但無法理解你用手指點的具體區域。研究團隊將這比作傳統的"看圖說話"模式，機器只能描述整張圖片的內容，卻無法響應用戶的"你看這里"的指示。

研究團隊發現了這個痛點后，開發出了名為VIRTUE（Visual-InteRactive Text-Image Universal Embedder，視覺互動文本圖像通用嵌入器）的革命性系統。這個系統的核心創新在于，它不僅能像傳統系統一樣理解整張圖片，還能精確理解用戶通過鼠標框選、點擊或者畫圈等方式指定的特定區域，就像一個既能看森林也能看樹木的智能助手。

為了驗證這個系統的能力，研究團隊還創建了一個名為SCaR（Segmentation-and-Scene Caption Retrieval）的大型測試數據集，包含100萬個樣本。這個數據集就像一個巨大的考場，專門測試機器是否真正理解了用戶的視覺指示和上下文需求。實驗結果顯示，VIRTUE在傳統任務上比現有最佳系統提升了3.1%到8.5%，在視覺互動任務上更是實現了15.2%到20.3%的顯著提升。

一、機器理解的新境界：從全圖掃描到精準定位

傳統的圖像理解系統就像一個只會用廣角鏡頭拍照的攝影師，它們總是嘗試捕捉整個畫面的信息，但對于畫面中的具體細節卻往往力不從心。當用戶想要搜索"桌子上的杯子"時，傳統系統可能會返回包含桌子和杯子的所有圖片，但無法區分杯子是放在桌子上、桌子旁邊還是被人拿在手里。

這個問題的根源在于，現有的嵌入模型（可以理解為將圖片和文字轉換成計算機能理解的數字代碼的系統）主要依賴于文本指令。用戶只能通過文字描述來表達自己的需求，就像蒙著眼睛玩"你畫我猜"游戲一樣，缺乏直觀的視覺交互方式。

VIRTUE的突破性創新在于引入了視覺互動能力。當用戶在圖片上用鼠標框出一個區域、點擊一個位置或者畫出一個形狀時，系統能夠準確理解這些視覺信號的含義。這就像給機器安裝了一雙能夠跟隨用戶手指方向的眼睛，不僅能看到整體畫面，還能專注于用戶關心的特定區域。

更重要的是，VIRTUE不僅理解用戶指定的區域，還能同時考慮這個區域在整體圖像中的上下文環境。繼續用攝影師的比喻，VIRTUE就像一個既能拍攝特寫鏡頭又能保持全景意識的專業攝影師，既能聚焦細節又不失整體把握。

這種雙重理解能力解決了一個長期困擾研究者的難題：如何在保持全局理解的同時實現精準定位。傳統的解決方案要么是直接裁剪圖片（這會丟失上下文信息），要么是將視覺指示轉換為文字描述（這往往不夠精確）。VIRTUE通過整合分割模型和視覺語言模型，實現了真正的視覺互動理解。

研究團隊采用了SAM2分割模型作為視覺互動的處理引擎。這個模型就像一個精密的圖像解析器，能夠根據用戶的視覺提示（比如點擊、框選或涂抹）準確識別出用戶關注的對象邊界。然后，通過一個特殊的連接器將分割信息轉換成與文本信息兼容的格式，最終由大型視覺語言模型進行綜合理解和處理。

二、SCaR數據集：測試機器視覺理解的終極考場

為了驗證VIRTUE的能力，研究團隊面臨著一個嚴峻挑戰：現有的測試數據集都無法評估視覺互動能力。這就像想測試一個司機的夜間駕駛技能，但只有白天駕駛的測試題目。因此，他們決定從零開始構建一個專門的測試平臺。

SCaR數據集的創建過程可以比作編寫一本超級復雜的視覺理解教科書。研究團隊從五個知名的公開數據集中精心挑選素材，包括RefCOCO+、RefCOCOg、VisualGenome、COCO-Stuff和ADE20k。這些數據集就像不同類型的圖片庫，涵蓋了從日常生活場景到復雜的視覺關系描述。

但僅僅收集圖片是不夠的，關鍵在于創造具有挑戰性的測試問題。研究團隊采用了一個巧妙的策略：利用GPT-4V人工智能助手來生成既符合圖像內容又具有迷惑性的錯誤選項。這個過程就像制作一個精心設計的視覺智力測驗，每個問題都有一個正確答案和九個看似合理但實際錯誤的選項。

生成負面樣本的策略特別值得關注。研究團隊設計了三種不同的"陷阱"類型：全局場景交換（比如將"海邊的長椅"換成"公園里的長椅"）、關系交換（比如將"坐在長椅上"換成"站在長椅旁"）、和對象交換（比如將"長椅"換成"雕塑"）。每種陷阱都經過精心設計，確保如果機器只看局部區域而忽視整體上下文，就很容易掉入這些陷阱。

為了保證數據質量，研究團隊還設計了一個嚴格的篩選流程。首先使用GPT-4V進行自動驗證，檢查生成的描述是否包含完整的"對象-關系-場景"三要素。然后使用WordNet語義網絡檢測是否存在近義詞混淆的問題。對于評估數據集，還進行了人工審核，確保每個樣本都達到高質量標準。

最終，SCaR數據集包含了95.7萬個訓練樣本和4.7萬個評估樣本，成為目前最大規模的視覺互動理解測試平臺。這個數據集的特殊之處在于，它不僅測試機器能否識別指定區域的對象，更重要的是測試機器能否理解這個對象在特定場景中的狀態和關系。

三、VIRTUE系統：三重智能的完美融合

VIRTUE系統的設計理念可以比作一個三人協作的專業團隊。第一個成員是視覺語言模型，就像一個經驗豐富的圖像分析師，擅長理解圖片的整體內容和文字描述的含義。第二個成員是分割模型，就像一個精確的測量師，能夠根據用戶的指示精確定位和分析特定區域。第三個成員是連接器，就像一個翻譯官，負責將不同成員的"語言"轉換成統一的格式。

系統的工作流程設計得極為巧妙。當用戶輸入一張圖片和相應的視覺提示時，分割模型首先發揮作用。無論用戶是點擊了圖片上的某個點、框選了某個區域還是畫出了某個形狀，分割模型都能準確理解這些指示的含義，并生成相應的分割特征圖。這個過程就像一個專業的圖像編輯師根據客戶的要求精確選中需要處理的區域。

同時，視覺語言模型的視覺編碼器會處理整張圖片，生成全局視覺特征。如果輸入中還包含文字描述，文字編碼器也會生成相應的文字特征。這三種特征就像三種不同的信息流，分別代表了局部細節、全局上下文和語言指令。

連接器的作用尤為關鍵。由于分割模型生成的特征圖包含4096個特征點，直接處理會消耗大量計算資源。連接器通過一個二維卷積層將特征點數量壓縮到256個，然后通過兩層多層感知機將特征轉換成與大型語言模型兼容的格式。這個過程就像將一本厚重的百科全書精煉成一份言簡意賅的摘要，保留核心信息的同時大幅提高處理效率。

最終，三種特征按照"分割-視覺-文本"的順序拼接在一起，輸入到大型語言模型中進行綜合處理。模型使用最后一個詞元的隱藏狀態作為最終的嵌入表示，這個表示既包含了用戶指定區域的詳細信息，也保留了整體圖像的上下文信息。

訓練過程采用了對比學習的策略，就像教會系統區分"相似"和"不相似"的能力。系統學會將語義相近的圖像和文本拉近，將語義不同的內容推遠，從而建立起精確的多模態理解能力。

四、實驗驗證：數字背后的突破性表現

VIRTUE系統的性能驗證就像一場全方位的能力考試，研究團隊在多個維度進行了嚴格測試。在傳統的多模態嵌入基準測試MMEB上，VIRTUE展現出了全面超越現有系統的能力。這個測試平臺包含36個不同的任務，涵蓋分類、問答、檢索和視覺定位等各個方面。

在2B參數規模的模型比較中，VIRTUE-2B相比最佳基線模型平均提升了5.1個百分點，從59.7%提升到64.8%。在7B參數規模的比較中，VIRTUE-7B也實現了2.0個百分點的提升，從66.6%提升到68.6%。這些數字看起來可能不夠震撼，但在人工智能領域，每一個百分點的提升都意味著大量技術細節的優化和突破。

更重要的是，VIRTUE在各個子任務上都表現出了一致的優勢。無論是圖像分類、視覺問答、圖像檢索還是視覺定位，VIRTUE都能夠超越同類系統。這種全面的優勢表明，VIRTUE的設計理念是正確的，分割信息的引入確實能夠增強模型對圖像的理解能力。

在SCaR數據集上的測試結果更加令人印象深刻。VIRTUE-2B相比最佳基線模型平均提升了6.3個百分點，而在經過SCaR訓練數據微調后，這個提升幅度達到了9.5個百分點。對于7B模型，相應的提升分別為1.5和7.5個百分點。這些結果清楚地表明，VIRTUE不僅在傳統任務上表現出色，在需要視覺互動理解的新任務上更是展現出了顯著優勢。

研究團隊還進行了詳細的消融實驗，驗證了系統各個組件的貢獻。結果顯示，分割流的引入是性能提升的關鍵因素。當去除分割組件時，系統性能明顯下降，證明了視覺互動能力的重要價值。同時，實驗還表明，即使在非視覺互動任務中，分割組件通過提供實體級別的信息也能增強模型的整體理解能力。

五、實際應用：從理論到現實的無縫轉換

VIRTUE系統的真正價值不僅體現在實驗室的測試數據上，更在于它在實際應用中展現出的巨大潛力。研究團隊設計了多個應用場景來展示系統的實用性，這些場景貼近日常生活，讓人們能夠直觀感受到技術的魅力。

在圖像搜索應用中，VIRTUE實現了真正的"指哪搜哪"功能。用戶可以直接在圖片上圈出感興趣的區域，系統會找到包含相似對象且處于相似場景的圖片。比如用戶在一張街景照片中框選了停在路邊的汽車，系統會找到其他"停在路邊的汽車"的圖片，而不是"在高速公路上行駛的汽車"或"在停車場的汽車"。這種精確的上下文理解能力是傳統搜索系統無法達到的。

更有趣的是即時糾錯功能。當系統對某個問題給出錯誤答案時，用戶可以通過視覺提示來引導系統關注正確的區域，從而得到正確答案。這就像有一個能夠接受視覺指導的智能助手，用戶不需要費勁地用文字描述，只需要用手指一點，系統就能理解用戶的意圖。

在視覺問答任務中，VIRTUE展現出了處理復雜場景的能力。面對包含多個對象的復雜圖像，用戶可以通過點擊或框選的方式讓系統專注于特定區域進行分析。比如在一張包含多輛車的交通場景圖片中，用戶點擊其中一輛車，系統就能準確回答關于這輛特定車輛的問題，而不會被其他車輛干擾。

研究團隊還測試了系統在處理歧義情況下的表現。在一些包含相似對象的圖片中，傳統系統往往難以區分用戶關心的具體是哪一個。而VIRTUE通過視覺提示能夠精確識別用戶的意圖，大大提高了人機交互的效率和準確性。

六、技術深度：創新設計的精巧之處

VIRTUE系統在技術實現上的巧妙設計值得深入探討。研究團隊在架構設計時面臨的一個核心挑戰是如何有效整合來自不同模態的信息。傳統的方法要么簡單地將不同信息拼接在一起，要么使用復雜的注意力機制進行融合，但這些方法都有各自的局限性。

VIRTUE采用了一種更加優雅的解決方案。系統使用預訓練的SAM2模型作為分割組件，這個模型已經在大規模數據上訓練過，具有強大的分割能力。關鍵的創新在于如何將分割信息轉換成與語言模型兼容的表示。研究團隊設計的連接器不是簡單的特征投影，而是一個經過精心優化的轉換模塊。

連接器的設計考慮了計算效率和表達能力的平衡。原始的分割特征圖包含64x64=4096個特征點，直接處理會帶來巨大的計算負擔。通過二維卷積進行空間降采樣，系統將特征點數量減少到256個，在保持關鍵信息的同時顯著提高了處理效率。

訓練策略的設計也體現了研究團隊的深厚功力。系統同時支持有視覺提示和無視覺提示的輸入。當沒有明確的視覺提示時，系統會在圖像上均勻采樣9個點作為默認的分割提示。這種設計使得系統既能處理傳統的全圖理解任務，又能處理需要視覺互動的特定區域理解任務。

對比學習的使用也很有技巧。系統使用InfoNCE損失函數，通過在批次內構建正負樣本對來學習有效的表示。這種方法特別適合多模態學習場景，因為它能夠同時考慮不同模態之間的相似性和差異性。

實現細節上，研究團隊選擇使用LoRA（Low-Rank Adaptation）技術來微調大型視覺語言模型。這種方法只訓練少量參數，既保持了預訓練模型的能力，又使得訓練更加高效。同時，分割模型和視覺編碼器保持凍結狀態，確保了預訓練知識的保留。

七、對比分析：站在巨人肩膀上的創新

VIRTUE的創新價值更好地體現在與現有方法的詳細對比中。當前的多模態嵌入模型主要分為兩大類：基于CLIP的雙塔架構和基于VLM的統一架構。CLIP類方法簡單高效，但缺乏復雜推理能力。VLM類方法推理能力強，但缺乏視覺交互能力。

與直接裁剪方法相比，VIRTUE的優勢尤為明顯。簡單裁剪會丟失上下文信息，導致理解偏差。比如一個"在桌子上的杯子"被裁剪后可能只剩下杯子本身，系統無法判斷這個杯子原本的位置關系。VIRTUE通過保持全局上下文的同時增強局部理解，避免了這個問題。

與添加視覺提示標記的方法相比（比如在圖像上畫紅圈），VIRTUE的分割方法更加精確和魯棒。畫圈方法依賴于視覺語言模型對標記的理解能力，而這種理解往往不夠精確。VIRTUE直接在特征層面進行融合，避免了視覺標記可能帶來的歧義。

研究團隊還與最新的多模態嵌入模型進行了全面比較。在相同的模型規模下，VIRTUE不僅在傳統任務上表現更好，在需要精細視覺理解的任務上優勢更加明顯。這種全面的優勢表明VIRTUE的設計理念是正確的，分割信息的引入確實能夠增強模型的多模態理解能力。

特別值得注意的是，VIRTUE在處理困難樣本時的表現。在SCaR數據集中，許多樣本都是精心設計的困難案例，需要模型同時理解局部細節和全局上下文。傳統方法在這些樣本上的表現往往不理想，而VIRTUE展現出了明顯的優勢。

八、局限性與未來方向：誠實面對挑戰

誠實面對研究的局限性是科學態度的體現。VIRTUE系統雖然取得了顯著進展，但仍然存在一些限制和改進空間。

首先是訓練數據的限制。由于計算資源的約束，研究團隊主要使用MMEB和SCaR數據集進行訓練。雖然這些數據集質量很高，但規模相對有限。更大規模、更多樣化的訓練數據可能會進一步提升系統性能。這就像一個學生雖然在幾個科目上表現出色，但如果能接觸更多學科，可能會有更全面的發展。

其次是評估維度的限制。雖然SCaR數據集提供了視覺互動能力的評估，但主要聚焦于圖像到文本的檢索任務。圖像到圖像的檢索，以及其他類型的視覺互動任務的系統性評估仍有待完善。研究團隊在論文中也承認了這個限制，并表示這是未來工作的重要方向。

計算效率是另一個需要考慮的因素。雖然連接器設計已經考慮了效率問題，但整個系統仍然包含多個大型模型組件，計算需求相對較高。在實際部署時，特別是在資源受限的環境中，可能需要進一步的優化。

在應用場景方面，目前的評估主要集中在研究環境中構造的任務上。真實世界的應用往往更加復雜和多變，用戶的行為模式也可能與實驗設置有所不同。需要更多的真實用戶測試來驗證系統在實際使用中的表現。

展望未來，研究團隊提出了幾個有前景的發展方向。擴大訓練數據規模是最直接的改進途徑，更多樣化的數據可能會帶來更強的泛化能力。構建更全面的評估基準也是重要工作，特別是圖像到圖像檢索和其他視覺互動任務的評估。

技術架構方面，探索更高效的融合機制可能會進一步提升性能。當前的線性拼接方法雖然簡單有效，但可能不是最優的融合策略。更復雜的注意力機制或者其他融合方法值得探索。

說到底，VIRTUE代表了多模態人工智能發展的一個重要里程碑。它首次實現了真正的視覺互動嵌入，讓機器能夠理解用戶的"指指點點"，這種能力對于人機交互具有重要意義。雖然還存在一些限制，但這項研究為未來的發展奠定了堅實基礎。

更重要的是，VIRTUE展示了一種新的思考方式：不僅要讓機器理解我們說什么，還要讓機器理解我們指向哪里。這種視覺互動能力可能會徹底改變我們與人工智能系統的交互方式，讓人機交互變得更加自然和直觀。隨著技術的不斷完善，我們有理由期待看到更多基于這種理念的創新應用出現在我們的日常生活中。

對于普通用戶來說，VIRTUE技術的成熟可能意味著更智能的搜索引擎、更直觀的圖像編輯工具、更自然的人機對話系統。雖然距離大規模應用還需要時間，但這項研究已經為我們展示了一個充滿可能性的未來。有興趣了解更多技術細節的讀者，可以通過論文編號arXiv:2510.00523v1查閱完整的研究報告。

Q&A

Q1：VIRTUE和現在的圖像搜索有什么不同？

A：VIRTUE最大的不同是支持用戶直接在圖片上點擊、框選或畫圈來指定感興趣的區域，然后基于這個區域搜索相關內容。比如你看到一張街景圖，想搜索"停在路邊的紅車"，你可以直接框選那輛車，系統就會找到其他"停在路邊的紅車"，而不是"在高速路上的紅車"。現在的搜索只能通過文字描述，無法理解用戶的視覺指示。

Q2：SCaR數據集為什么這么重要？

A：SCaR數據集是全球首個專門測試視覺互動能力的大型數據集，包含100萬個樣本。它的重要性在于能夠測試機器是否真正理解了用戶指定區域的內容和上下文關系。比如用戶框選了"桌子上的杯子"，系統不僅要識別出杯子，還要理解它在桌子上的位置關系。這種測試在以前是不存在的，所以研究團隊必須從零開始構建。

Q3：VIRTUE技術什么時候能在日常生活中使用？

A：雖然VIRTUE在實驗室環境中表現出色，但距離大規模商用還需要時間。目前主要面臨計算資源需求較高、需要更多真實場景測試等挑戰。不過，這項技術的核心理念已經為未來的圖像搜索、智能助手、圖像編輯等應用指明了方向。預計在未來幾年內，我們可能會在一些專業應用中看到類似技術的身影。