這項由悉尼科技大學(xué)的馬守星、湖南大學(xué)的曾雅文、澳門城市大學(xué)的吳世清以及香港教育大學(xué)的許冠東共同完成的研究，發(fā)表在2025年10月的第33屆ACM國際多媒體會議上。完整論文可通過DOI：https://doi.org/10.1145/3746027.3755779獲取，代碼也已公開發(fā)布供研究者使用。

當你在購物網(wǎng)站瀏覽商品時，系統(tǒng)總是能神奇地猜出你可能喜歡什么。這些推薦系統(tǒng)就像是一位貼心的店員，不僅知道商品的外觀，還能讀懂商品描述，然后根據(jù)你的歷史購買記錄為你推薦心儀的物品。然而，現(xiàn)有的推薦系統(tǒng)面臨著一個關(guān)鍵挑戰(zhàn)：如何在理解用戶共同喜好的同時，又不忽略每個人的獨特品味？

就如同兩個人都喜歡某件襯衫，一個人可能被其時尚的扭結(jié)設(shè)計吸引，另一個人則看重商品描述中提到的口袋功能。傳統(tǒng)的推薦系統(tǒng)往往只關(guān)注兩人的共同點，卻忽略了這些重要的個性化差異。研究團隊發(fā)現(xiàn)，現(xiàn)有方法存在兩個主要問題：簡單的多模態(tài)特征對比會產(chǎn)生噪聲并丟失有價值的獨特信息；對用戶興趣和商品共現(xiàn)關(guān)系的挖掘不夠充分。

為了解決這些問題，研究團隊開發(fā)了一個名為REARM的新框架，這個名稱來源于"REfining multi-modAl contRastive learning and hoMography relations"。該框架的核心理念是教會AI系統(tǒng)既要識別用戶的共同喜好，又要保留每個人的獨特品味，同時更深入地挖掘用戶興趣和商品關(guān)聯(lián)模式。

一、破解多模態(tài)推薦的雙重挑戰(zhàn)

想象你正在為朋友挑選生日禮物，你需要同時考慮商品的外觀和功能描述。傳統(tǒng)的推薦系統(tǒng)就像是一個只看表面的購物助手，它會注意到你和朋友都喜歡某種風(fēng)格的商品，但卻忽略了你們各自的獨特偏好。

研究團隊深入分析了現(xiàn)有多模態(tài)推薦系統(tǒng)的局限性。第一個問題類似于"一刀切"的服務(wù)方式。當系統(tǒng)發(fā)現(xiàn)兩個用戶都對某件商品感興趣時，它會簡單地認為兩人的喜好完全一致，忽略了個體差異。比如說，兩個人都購買了同一件女孩襯衫，系統(tǒng)會重點關(guān)注"女孩襯衫"這個共同標簽，但可能忽略了其中一人真正看重的是圖像中展現(xiàn)的時尚扭結(jié)設(shè)計，另一人更關(guān)注的是文字描述中的"大童款"標識。

第二個問題則像是缺乏社交洞察的推薦員。現(xiàn)有系統(tǒng)雖然會分析用戶的共同購買行為和商品的語義相似性，但卻忽略了更深層的關(guān)聯(lián)模式。它們沒有充分探索用戶興趣圖譜和商品共現(xiàn)關(guān)系之間的相互作用，就如同一個推薦員只知道客戶買了什么，卻不理解客戶為什么買，也不知道不同商品之間的潛在聯(lián)系。

為了應(yīng)對這些挑戰(zhàn)，研究團隊提出了一個創(chuàng)新的解決方案。他們認為，理想的推薦系統(tǒng)應(yīng)該像一位經(jīng)驗豐富的個人購物顧問，既能識別客戶群體的共同趨勢，又能敏銳捕捉每個人的獨特需求。這位顧問不僅要看懂商品的外觀和描述，還要深入理解客戶的興趣網(wǎng)絡(luò)和商品之間的復(fù)雜關(guān)聯(lián)。

研究團隊的理論基礎(chǔ)建立在對多模態(tài)對比學(xué)習(xí)的深刻理解上。他們發(fā)現(xiàn)，傳統(tǒng)方法假設(shè)不同模態(tài)之間存在高度冗余，即大部分有用信息都是共享的，獨特信息很少。但在實際的推薦場景中，這個假設(shè)并不總是成立。每種模態(tài)都可能包含獨特且有價值的信息，同時共享信息中也可能存在與推薦任務(wù)無關(guān)的噪聲。

二、構(gòu)建更智能的特征提取機制

研究團隊開發(fā)的REARM框架采用了一種類似精密篩選器的工作方式。這個篩選器不僅能夠過濾掉無關(guān)信息，還能保留對推薦有價值的獨特特征。

整個框架的工作流程可以比作一個三步驟的精煉過程。首先是同質(zhì)關(guān)系學(xué)習(xí)，就像是構(gòu)建一張詳細的關(guān)聯(lián)地圖，展示用戶之間和商品之間的各種聯(lián)系。接著是異質(zhì)關(guān)系學(xué)習(xí)，類似于分析用戶與商品之間的互動模式。最后是精煉對比學(xué)習(xí)，就像是用高級過濾器處理信息，保留有價值的內(nèi)容，去除噪聲。

在同質(zhì)關(guān)系學(xué)習(xí)部分，研究團隊創(chuàng)新性地構(gòu)建了用戶興趣圖和商品共現(xiàn)圖。用戶興趣圖就像是繪制每個用戶的興趣地圖，不僅記錄用戶購買了什么，還分析用戶的興趣偏好模式。商品共現(xiàn)圖則像是商品之間的關(guān)聯(lián)網(wǎng)絡(luò)，記錄哪些商品經(jīng)常被同一用戶購買，反映商品之間的潛在聯(lián)系。

這種方法的巧妙之處在于，它不是簡單地將所有用戶或商品一視同仁，而是根據(jù)不同的關(guān)系類型構(gòu)建不同的連接。比如，兩個用戶可能因為有相似的購買歷史而建立共現(xiàn)關(guān)系，同時又因為興趣偏好的相似性建立另一種語義關(guān)系。系統(tǒng)會智能地平衡這兩種關(guān)系，就像一位經(jīng)驗豐富的社交網(wǎng)絡(luò)分析師，既關(guān)注表面行為的相似性，又深入挖掘內(nèi)在興趣的一致性。

在處理商品信息時，系統(tǒng)首先會將不同模態(tài)的原始特征轉(zhuǎn)換為統(tǒng)一的表示空間，就像是將不同語言的描述翻譯成同一種語言。然后通過圖神經(jīng)網(wǎng)絡(luò)進行信息傳播，讓每個節(jié)點不僅包含自身信息，還融合了鄰居節(jié)點的相關(guān)信息。這個過程就像是讓每個商品不僅了解自己，還了解與自己相關(guān)的其他商品的特點。

為了進一步提升特征質(zhì)量，研究團隊引入了注意力機制。自注意力模塊就像是一個內(nèi)部調(diào)節(jié)器，幫助系統(tǒng)調(diào)整各個維度特征的重要性權(quán)重。交叉注意力模塊則像是一個跨模態(tài)的溝通橋梁，讓圖像特征和文本特征能夠相互影響和補充。這種設(shè)計確保了系統(tǒng)不會簡單地將不同模態(tài)的信息機械式地組合，而是讓它們進行更深層的交流和整合。

三、精煉對比學(xué)習(xí)的創(chuàng)新突破

研究團隊在對比學(xué)習(xí)方面的創(chuàng)新可以比作開發(fā)一套精密的質(zhì)量控制系統(tǒng)。傳統(tǒng)的對比學(xué)習(xí)就像是用粗糙的篩子過濾信息，容易讓有價值的獨特信息流失，同時讓無關(guān)噪聲混入結(jié)果中。而REARM的精煉對比學(xué)習(xí)則像是配備了兩套精密過濾器的高級處理系統(tǒng)。

第一套過濾器是元網(wǎng)絡(luò)系統(tǒng)，專門處理模態(tài)共享特征中的噪聲問題。這個元網(wǎng)絡(luò)就像是一位經(jīng)驗豐富的質(zhì)檢員，能夠從共享特征中識別出哪些信息真正與推薦任務(wù)相關(guān)，哪些只是表面的巧合。比如，當系統(tǒng)發(fā)現(xiàn)某件商品的圖像和文字都提到"女孩"時，元網(wǎng)絡(luò)會進一步分析這個共同特征是否真的對推薦有幫助，還是只是一個可能誤導(dǎo)系統(tǒng)的標簽。

元網(wǎng)絡(luò)的工作原理類似于一個智能的知識提取器。它不是簡單地接受所有共享信息，而是學(xué)習(xí)如何從這些信息中提取真正有價值的知識。系統(tǒng)會根據(jù)具體的推薦上下文，動態(tài)生成定制化的變換矩陣，就像是為每種情況量身定制一套處理規(guī)則。這種自適應(yīng)的處理方式確保了系統(tǒng)能夠根據(jù)不同的商品和用戶特點，靈活調(diào)整信息處理策略。

第二套過濾器是正交約束機制，專門負責(zé)保護模態(tài)獨特特征。這個機制就像是一個獨特性保護器，確保每種模態(tài)的獨特價值信息不會在融合過程中丟失。正交約束的數(shù)學(xué)原理是通過限制不同模態(tài)特征之間的重疊度，鼓勵每種模態(tài)保持自己的獨特貢獻。

這種設(shè)計的智慧在于它認識到，真正優(yōu)秀的推薦系統(tǒng)不應(yīng)該試圖將所有信息都標準化為相同的形式，而應(yīng)該讓不同類型的信息在保持各自特色的同時協(xié)同工作。就像一個優(yōu)秀的團隊，每個成員都有自己的專長，團隊的力量來自于這些專長的互補，而不是所有人都變得完全相同。

在實際應(yīng)用中，這兩套過濾器協(xié)同工作。當系統(tǒng)處理一個用戶對商品的偏好時，元網(wǎng)絡(luò)會從共享特征中提取可靠的共同偏好信息，過濾掉可能的噪聲干擾。同時，正交約束確保每種模態(tài)的獨特貢獻得到保留，讓系統(tǒng)能夠捕捉到用戶可能被商品的某個特定方面吸引的細微差別。

四、實驗驗證與性能表現(xiàn)

研究團隊在三個真實的電商數(shù)據(jù)集上進行了全面的性能測試，這些數(shù)據(jù)集分別來自嬰兒用品、體育用品和服裝類別。這種選擇很有代表性，因為這三個類別的商品都具有豐富的視覺和文字信息，同時用戶的購買決策往往受到多種因素的影響。

實驗結(jié)果就像是一場令人驚喜的性能提升展示。在所有測試的數(shù)據(jù)集和評估指標上，REARM都顯著超越了現(xiàn)有的最先進方法。以Recall@20指標為例，REARM在嬰兒用品數(shù)據(jù)集上達到了0.1105，相比之前最好的方法MIG-GT的0.1021有了明顯提升。在體育用品數(shù)據(jù)集上，性能提升更為顯著，從之前最好的0.1139提升到了0.1231。

這些數(shù)字背后的意義可以用一個具體的例子來理解。假設(shè)傳統(tǒng)方法能夠在20個推薦商品中準確命中11個用戶真正感興趣的商品，那么REARM能夠命中12個以上。這個看似微小的提升在實際應(yīng)用中意味著顯著的用戶體驗改善和商業(yè)價值提升。

更有趣的是研究團隊進行的消融實驗，這就像是逐個拆解機器的零件來驗證每個部分的作用。當他們移除同質(zhì)關(guān)系學(xué)習(xí)模塊時，系統(tǒng)性能出現(xiàn)了明顯下降，證明了深度挖掘用戶和商品關(guān)系的重要性。當移除精煉對比學(xué)習(xí)的任一組件時，性能同樣下降，驗證了噪聲過濾和獨特特征保護的必要性。

研究團隊還專門測試了不同模態(tài)的貢獻。他們發(fā)現(xiàn)，單獨使用視覺模態(tài)或文本模態(tài)都無法達到最佳效果，這證實了多模態(tài)融合的價值。同時，文本模態(tài)在服裝類商品上表現(xiàn)更好，這符合常識，因為服裝的尺寸、材質(zhì)等重要信息往往更多地體現(xiàn)在文字描述中。

為了直觀展示系統(tǒng)的改進效果，研究團隊制作了一個交互概率差異熱力圖。這個圖像就像是系統(tǒng)決策過程的可視化窗口，顏色越深的區(qū)域表示REARM相比傳統(tǒng)方法預(yù)測出更高的交互可能性。令人興奮的是，這些高預(yù)測區(qū)域中的許多在測試集中確實被驗證為真實的用戶興趣，證明了系統(tǒng)預(yù)測的準確性。

五、超參數(shù)調(diào)優(yōu)與模型穩(wěn)健性

研究團隊對REARM進行了細致的參數(shù)調(diào)優(yōu)分析，這個過程就像是為一臺精密儀器尋找最佳工作狀態(tài)。他們測試了多個關(guān)鍵參數(shù)對系統(tǒng)性能的影響，發(fā)現(xiàn)了一些有趣的規(guī)律。

用戶共現(xiàn)圖的權(quán)重調(diào)節(jié)就像是平衡兩種不同信息源的重要性。研究發(fā)現(xiàn)，純粹的用戶共現(xiàn)信息（權(quán)重為1）并不總是最優(yōu)的，適當融入用戶興趣信息往往能帶來更好的效果。這個發(fā)現(xiàn)符合直覺：僅僅因為兩個用戶購買了相同的商品并不意味著他們的興趣完全一致，了解他們的深層興趣偏好能夠提供更準確的推薦。

商品共現(xiàn)圖的權(quán)重調(diào)節(jié)顯示了類似的模式。不同數(shù)據(jù)集的最優(yōu)權(quán)重設(shè)置有所不同，這反映了不同商品類別的特性差異。體育用品數(shù)據(jù)集需要更高的權(quán)重設(shè)置，可能因為體育用品的搭配購買模式更加明顯，用戶往往會一次性購買多個相關(guān)商品。

元網(wǎng)絡(luò)中變換矩陣的秩參數(shù)調(diào)節(jié)就像是控制信息壓縮的程度。研究發(fā)現(xiàn)，體育用品數(shù)據(jù)集需要最大的矩陣秩（7），這可能因為該數(shù)據(jù)集擁有最多的交互數(shù)據(jù)，需要更大的模型容量來捕捉豐富的用戶行為模式。這個發(fā)現(xiàn)為實際應(yīng)用提供了有價值的指導(dǎo)：數(shù)據(jù)越豐富的場景可能需要更復(fù)雜的模型結(jié)構(gòu)。

圖神經(jīng)網(wǎng)絡(luò)的層數(shù)選擇也展現(xiàn)了有趣的特點。與傳統(tǒng)研究中常用的2層設(shè)置不同，REARM在所有數(shù)據(jù)集上都需要3層以上的網(wǎng)絡(luò)深度才能達到最佳性能。研究團隊認為這與注意力機制的引入有關(guān)，注意力機制保留了更多有價值的信息，使得更深層的網(wǎng)絡(luò)能夠有效利用這些信息進行更復(fù)雜的推理。

六、理論基礎(chǔ)與技術(shù)創(chuàng)新

REARM的理論基礎(chǔ)建立在對多模態(tài)冗余假設(shè)的深刻反思上。傳統(tǒng)的多模態(tài)對比學(xué)習(xí)基于這樣的假設(shè)：不同模態(tài)之間存在高度冗余，大部分任務(wù)相關(guān)信息都是共享的，獨特信息很少且不重要。但研究團隊通過理論分析和實驗驗證發(fā)現(xiàn)，這個假設(shè)在推薦系統(tǒng)中往往不成立。

他們提出了一個新的理論框架，將任務(wù)相關(guān)信息分解為共享信息和獨特信息兩個部分，并分別進行優(yōu)化。這種分解并非簡單的技術(shù)操作，而是基于對推薦任務(wù)本質(zhì)的深入理解。在真實的購物場景中，用戶的決策往往既受到商品共同特征的影響（比如品牌聲譽、基本功能），也受到獨特特征的驅(qū)動（比如特殊的設(shè)計細節(jié)、個性化的功能）。

正交約束的理論基礎(chǔ)來自線性代數(shù)中的正交矩陣性質(zhì)。當兩個矩陣正交時，它們的內(nèi)積為零，這意味著它們包含的信息沒有重疊。研究團隊巧妙地將這個數(shù)學(xué)概念應(yīng)用到特征學(xué)習(xí)中，通過軟正交約束來鼓勵不同模態(tài)保持信息的獨特性，同時允許一定程度的靈活性以適應(yīng)實際應(yīng)用的需要。

元網(wǎng)絡(luò)的設(shè)計靈感來自元學(xué)習(xí)的思想，即"學(xué)會如何學(xué)習(xí)"。在REARM中，元網(wǎng)絡(luò)不是學(xué)習(xí)固定的特征變換，而是學(xué)習(xí)如何根據(jù)不同的輸入動態(tài)生成最適合的變換規(guī)則。這種自適應(yīng)性使得系統(tǒng)能夠處理各種不同類型的商品和用戶，而不需要為每種情況手動設(shè)計特定的處理策略。

七、實際應(yīng)用價值與未來展望

REARM的技術(shù)創(chuàng)新在實際應(yīng)用中具有廣泛的價值。對于電商平臺來說，更準確的推薦能夠直接轉(zhuǎn)化為更高的用戶參與度和銷售轉(zhuǎn)化率。研究顯示的性能提升意味著用戶能夠更快找到心儀的商品，平臺能夠更好地匹配用戶需求和商品供給。

從用戶體驗角度來看，REARM解決了傳統(tǒng)推薦系統(tǒng)的一個重要痛點：推薦結(jié)果的同質(zhì)化。傳統(tǒng)系統(tǒng)往往傾向于推薦相似的商品，用戶容易感到推薦缺乏新意。而REARM通過保護模態(tài)獨特特征，能夠發(fā)現(xiàn)用戶可能感興趣但不太明顯的商品特點，從而提供更多樣化和個性化的推薦。

技術(shù)實現(xiàn)方面，REARM的計算復(fù)雜度與傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)相當，這得益于元網(wǎng)絡(luò)中較小的矩陣秩設(shè)置和高效的圖結(jié)構(gòu)處理。這種設(shè)計使得該方法在保持高性能的同時，具備了實際部署的可行性。

研究團隊在論文中也誠實地指出了當前方法的局限性。首先，REARM主要針對視覺和文本兩種模態(tài)進行了優(yōu)化，對于音頻、視頻等其他模態(tài)的擴展還需要進一步研究。其次，該方法在冷啟動場景（新用戶或新商品）下的表現(xiàn)還有待驗證，這是推薦系統(tǒng)領(lǐng)域的共同挑戰(zhàn)。

未來的研究方向包括幾個有趣的方向。一是探索更多模態(tài)的融合，特別是在短視頻電商興起的背景下，如何有效利用視頻信息將成為重要課題。二是研究動態(tài)推薦場景，考慮用戶興趣和商品特征隨時間的演變。三是將REARM的理念擴展到其他需要多模態(tài)信息融合的任務(wù)中，如內(nèi)容創(chuàng)作、智能客服等。

從更廣闊的視角來看，REARM代表了AI系統(tǒng)設(shè)計哲學(xué)的一種演進。它不再追求將所有信息標準化為統(tǒng)一形式，而是學(xué)會在保持多樣性的同時實現(xiàn)協(xié)同。這種思路不僅適用于推薦系統(tǒng)，也可能為其他AI應(yīng)用領(lǐng)域提供啟發(fā)。

研究團隊已經(jīng)將REARM的代碼開源，這為學(xué)術(shù)界和工業(yè)界的進一步研究和應(yīng)用奠定了基礎(chǔ)。開源代碼的發(fā)布也體現(xiàn)了研究團隊對推動整個領(lǐng)域發(fā)展的責(zé)任感和貢獻精神。

總的來說，REARM不僅在技術(shù)上實現(xiàn)了突破，更重要的是提供了一種新的思考框架：如何在AI系統(tǒng)中平衡統(tǒng)一性和多樣性，如何在追求共性的同時保護個性。這種平衡藝術(shù)可能正是未來AI系統(tǒng)需要掌握的核心能力之一。對于希望深入了解這項研究的讀者，完整論文和實現(xiàn)代碼都可以通過前面提到的鏈接獲取，為進一步的學(xué)習(xí)和實踐提供了寶貴資源。

Q&A

Q1：REARM框架主要解決了推薦系統(tǒng)的什么問題？

A：REARM主要解決了傳統(tǒng)多模態(tài)推薦系統(tǒng)的兩大痛點：一是簡單的特征對比會引入噪聲并丟失有價值的獨特信息，就像只看商品的共同標簽而忽略了個性化特點；二是對用戶興趣和商品關(guān)聯(lián)關(guān)系挖掘不充分，缺乏深層的行為模式分析。

Q2：元網(wǎng)絡(luò)和正交約束在REARM中起什么作用？

A：元網(wǎng)絡(luò)就像一個智能質(zhì)檢員，專門從模態(tài)共享特征中過濾噪聲，提取真正與推薦相關(guān)的信息。正交約束則像一個獨特性保護器，確保每種模態(tài)（如圖像、文本）的獨特價值信息在融合過程中不會丟失，讓系統(tǒng)既能識別共同喜好又能保留個性化偏好。

Q3：REARM相比其他推薦方法有多大的性能提升？

A：實驗顯示REARM在三個電商數(shù)據(jù)集上都顯著超越了現(xiàn)有最佳方法。例如在體育用品數(shù)據(jù)集上，Recall@20從之前最好的0.1139提升到0.1231，這意味著在20個推薦商品中，用戶真正感興趣的商品數(shù)量從約11個提升到超過12個，顯著改善了用戶體驗。