這項令人矚目的研究由來自Spotify遍布全球的科學家團隊共同完成，包括荷蘭代爾夫特的Gustavo Penha、西班牙馬德里的Edoardo D'Amico、丹麥哥本哈根的Marco De Nadai等十一位研究者。該研究發表于2025年9月22-26日在捷克布拉格舉行的第十九屆ACM推薦系統會議（RecSys '25），論文詳細信息可通過DOI：10.1145/3705328.3759300獲取，感興趣的讀者也可以在arXiv:2508.10478v1上找到預印本版本。

在我們每天使用音樂應用搜索歌曲或接收個性化推薦時，背后其實隱藏著一個復雜的技術難題。傳統上，搜索功能和推薦功能就像兩個各司其職的廚師，一個專門處理你主動提出的需求（比如"我想聽周杰倫的歌"），另一個則根據你的口味歷史為你準備驚喜菜品。但問題在于，這兩個廚師使用完全不同的菜譜和工具，不僅增加了廚房的復雜性，還可能錯過很多美妙的搭配機會。

現在，基于大型語言模型的生成式AI技術為統一這兩個功能提供了可能，就像找到了一位既能按需制作又能創意搭配的全能廚師。然而，要讓這位全能廚師正常工作，首先需要解決一個關鍵問題：如何為每首歌曲、每個商品創建一個既適合搜索又適合推薦的"身份證"。

傳統的做法是給每個物品分配一個簡單的數字編號，就像給每道菜一個菜譜編號。但這種方法有個致命缺陷：當有新菜品加入時，整個系統都需要重新學習，成本極高。更糟糕的是，這些編號本身沒有任何含義，無法幫助系統理解不同物品之間的關系。

為了解決這個問題，研究者們提出了"語義身份證"的概念。與傳統的數字編號不同，語義身份證是由多個有意義的代碼組成的，這些代碼來源于物品的內容特征。打個比方，傳統方法給一首抒情民謠的編號可能是"10086"，而語義身份證可能是"溫柔-吉他-治愈-夜晚"這樣的組合。這樣，即使是新加入的歌曲，只要具有相似的特征，就能共享部分代碼，讓系統快速理解其特性。

不過，這種語義身份證的構建面臨一個根本性的矛盾：針對搜索任務優化的身份證在推薦任務中表現糟糕，反之亦然。這就像一把專門切蔬菜的刀可能不適合切肉一樣。Spotify的研究團隊通過系統性的實驗發現了這個問題的嚴重性：當使用專門為搜索優化的身份證時，搜索效果提升了五倍，但推薦效果卻下降了60%；而使用推薦優化的身份證時，情況正好相反。

一、多樣化的身份證構建策略

面對這個兩難困境，研究團隊設計了多種不同的策略來構建語義身份證，這些策略可以分為兩大類：任務專用方法和跨任務融合方法。

任務專用方法相對簡單直接。搜索專用方法會訓練一個專門的模型，讓它學習如何理解用戶的查詢意圖和歌曲內容之間的匹配關系。這個過程類似于訓練一個音樂專家，讓他能夠準確理解用戶說"我想聽輕松的音樂"時應該推薦什么。訓練時，研究者會給模型提供大量的查詢-歌曲配對樣本，讓模型學會將相似的查詢和歌曲在語義空間中放置得更近。

推薦專用方法則采用了完全不同的訓練思路。它使用協同過濾技術，專注于學習用戶的行為模式。如果兩個用戶經常聽相似的歌曲，那么模型就會認為他們的口味相近，從而為其中一個用戶推薦另一個用戶喜歡的歌曲。這種方法更像是觀察人群的消費習慣，通過發現"買了A商品的人通常也會買B商品"這樣的規律來工作。

然而，這兩種任務專用方法都有明顯的局限性：它們只針對單一任務進行了優化，在需要同時處理搜索和推薦的統一系統中表現不佳。這促使研究團隊探索能夠平衡兩種任務需求的跨任務方法。

跨任務方法的思路更加復雜和有趣。其中一種被稱為"分離式"的方法，為每個物品同時創建兩套不同的身份證：一套專門用于搜索，一套專門用于推薦。在實際使用時，搜索任務只使用搜索專用的身份證，推薦任務只使用推薦專用的身份證。這種方法的優點是保持了各自的優化效果，但缺點也很明顯：身份證的數量翻倍，大大增加了系統的復雜性和存儲成本。

另一種名為"前綴共享"的方法試圖在保持任務特異性的同時減少重復。這種方法將身份證分為三個部分：一個所有任務共享的基礎部分，加上兩個任務專用的擴展部分。就像給每首歌設計一個基礎標簽（比如"流行音樂"），然后根據不同用途添加特定的后綴（搜索時加上"節奏明快"，推薦時加上"適合運動"）。

最具創新性的是幾種"融合式"方法。第一種直接將搜索和推薦兩種embedding連接起來，形成一個更長的綜合表示。這就像將兩個專家的意見合并成一份更全面的報告。第二種方法認識到不同embedding的維度差異可能造成偏向，因此先用數學方法將它們調整到相同的維度，再進行元素級的加法融合。

最引人注目的是"多任務"方法，它從根本上改變了訓練思路。不再分別訓練搜索和推薦專用的模型，而是訓練一個能夠同時處理兩種任務的統一模型。在訓練過程中，模型需要同時學習查詢-歌曲匹配（搜索任務）和用戶行為預測（推薦任務），通過平衡這兩個目標來形成更加通用的物品表示。

二、實驗設計的精妙之處

為了全面評估這些不同的身份證構建策略，研究團隊精心設計了一套實驗框架。他們選擇了MovieLens25M數據集作為研究基礎，這是一個包含62,138部電影、124萬次用戶交互的大型數據集。值得注意的是，研究團隊沒有使用現成的查詢數據，而是使用Google的Gemini-2.0-flash模型為每部電影生成了20個自然語言查詢（訓練集10個，測試集10個）。

這種數據準備方式有其深層考慮。在實際應用中，搜索查詢的熱門程度分布往往與推薦中的物品流行度分布存在差異。為了消除這種差異對實驗結果的干擾，研究團隊為每部電影生成了相同數量的查詢，創造了一個"公平競爭"的環境。雖然這與真實世界的分布有所不同，但研究者指出，在實際應用中，如果搜索和推薦的流行度分布存在一定相似性，效果可能會更好。

查詢生成的過程也頗具匠心。研究團隊設計了詳細的提示模板，要求AI生成的查詢必須真實反映用戶可能的搜索行為，涵蓋電影的不同方面（主題、類型、情感色調等），同時避免直接包含電影標題。生成的查詢既包括"尋找一部關于時間旅行的科幻電影"這樣的寬泛描述，也包括"想看一部讓人深思的獨立電影"這樣的情感導向查詢。

在技術實現層面，研究團隊使用了Google的flan-t5-base作為核心的生成式語言模型。這個模型需要同時處理搜索和推薦兩種完全不同類型的任務：對于搜索任務，模型接收用戶查詢，輸出相關電影的身份證；對于推薦任務，模型根據用戶的歷史行為，預測用戶可能喜歡的電影身份證。

為了確保生成結果的多樣性，研究團隊采用了一種名為"多樣化束搜索"的技術。傳統的生成方法往往會產生相似度很高的結果，就像一個人在回答問題時總是給出最"安全"的答案。多樣化束搜索通過引入多樣性懲罰機制，鼓勵模型生成更加豐富和多元的結果，這對于推薦系統來說尤其重要。

身份證的具體構建采用了一種叫做RQ-KMeans的聚類方法。簡單來說，這種方法會將相似的物品embedding聚集在一起，然后為每個聚類分配一個代表性的代碼。一個物品的身份證就由多個這樣的代碼組成，通常使用兩個大小為256的碼書，總共512個可能的代碼。這種設計既保證了表達能力，又控制了復雜度。

三、令人意外的實驗發現

實驗結果揭示了一些既在意料之中又頗為意外的發現。正如研究團隊預期的那樣，任務專用的身份證在各自的任務中表現最佳，但在另一項任務中的表現卻極為糟糕。搜索優化的身份證將搜索效果提升到了0.072（R@30指標），但推薦效果只有0.026；而推薦優化的身份證將推薦效果提升到了0.062，搜索效果卻慘不忍睹，只有0.004。

這種巨大的性能差異反映了兩個任務的本質不同。搜索任務更依賴于內容相似性：用戶查詢"浪漫喜劇"時，系統需要找到真正屬于這個類別的電影。而推薦任務更關注行為模式：系統需要發現"喜歡A電影的用戶通常也會喜歡B電影"這樣的隱含關系，即使A和B在內容上看起來毫無關聯。

在跨任務方法中，最令人驚訝的發現是多任務方法的優異表現。這種方法在搜索任務中達到了0.046的效果，在推薦任務中達到了0.049的效果，雖然都沒有達到各自任務專用方法的最高水平，但提供了最佳的整體平衡。這個結果具有重要的實際意義：在需要統一處理搜索和推薦的系統中，多任務方法提供了一個幾乎不需要權衡的解決方案。

分離式方法的表現則驗證了研究團隊的另一個假設：簡單地為每個任務分配獨立的身份證雖然能夠避免任務間的沖突，但也失去了任務間相互學習的機會。這種方法的搜索效果（0.028）和推薦效果（0.032）都處于中等水平，而且大幅增加了系統的復雜性。

融合方法的結果展現了embedding組合的微妙之處。直接連接兩種embedding的方法（Fusedconcat）在搜索方面表現不錯（0.048），但推薦效果較差（0.018）。研究團隊分析認為，這是因為搜索專用的embedding維度（386維）遠大于推薦專用的embedding維度（256維），導致搜索信息在融合后占據主導地位。

為了驗證這個假設，研究團隊嘗試了維度平衡的融合方法（FusedSVD）。通過數學方法將兩種embedding調整到相同維度后再融合，推薦效果確實有所提升（0.038），但搜索效果有所下降（0.033）。這個結果表明，簡單的數學融合雖然能夠平衡不同信息源的貢獻，但可能會在融合過程中丟失一些重要信息。

前綴共享方法的表現最為令人失望，搜索和推薦效果都很低（0.007和0.021）。進一步分析發現，這主要是由于底層的量化方法不夠理想。研究團隊進行的量化方法對比實驗證實了這一點：RQ-KMeans方法顯著優于其他幾種方法，包括廣泛使用的RQ-VAE方法。

四、深入的性能分析

為了更深入地理解不同方法的特點，研究團隊還按照電影的流行程度進行了分層分析。他們將數據集中最受歡迎的1%電影定義為"頭部"內容，其余99%定義為"長尾"內容。這種分析揭示了一些有趣的模式。

在頭部內容的推薦中，基于推薦優化的方法表現極為突出，達到了0.170的高分。這并不令人意外，因為熱門內容有更多的用戶行為數據，協同過濾方法能夠更好地捕捉這些模式。然而，對于長尾內容，基于搜索的方法反而表現更好（0.070），這表明當缺乏足夠的行為數據時，內容相似性成為更可靠的指導原則。

多任務方法在這種分層分析中展現了其均衡性的另一面。雖然它在頭部內容中的表現（0.135）不如推薦專用方法，在長尾內容中的表現（0.024）也不如搜索專用方法，但它在兩個層次都保持了相對穩定的性能。這種特性對于實際應用來說非常重要，因為現實中的系統需要同時處理熱門和冷門內容。

搜索任務的結果相對簡單，因為研究團隊刻意創造了沒有流行度偏差的查詢分布。但這種"公平"的設計反而突出了不同方法在內容理解能力上的差異。搜索專用方法的優異表現（0.072）表明，針對性的訓練確實能夠顯著提升系統對查詢意圖的理解能力。

五、技術細節的重要啟示

研究團隊對量化方法的對比分析提供了重要的技術啟示。傳統觀點認為，基于神經網絡的自編碼器方法（如RQ-VAE）應該比簡單的聚類方法表現更好，因為它們能夠學習更復雜的數據分布。然而，實驗結果顯示RQ-KMeans方法顯著優于RQ-VAE和其他學習式方法。

這個發現并非孤例。其他研究也報告了RQ-VAE在某些場景下的不穩定性問題。研究團隊推測，這可能是因為在身份證構建這個特定任務中，簡單而穩定的聚類方法比復雜的生成模型更加可靠。這提醒我們，在選擇技術方案時，復雜性并不總是等同于更好的性能。

embedding模型的選擇也展現了內容理解和行為建模的不同優勢。搜索任務中使用的是基于all-mpnet-base-v2的語義embedding，這種模型擅長理解文本內容的語義相似性。推薦任務中使用的ENMF（高效神經矩陣分解）模型則專注于挖掘用戶-物品交互中的潛在模式。

多任務方法的成功很大程度上歸功于其訓練策略的巧妙設計。通過同時優化兩個不同的損失函數（查詢-物品匹配損失和協同過濾損失），模型學會了在內容相似性和行為相似性之間找到平衡點。這種平衡使得生成的身份證既能反映物品的內容特征，又能捕捉用戶行為中的隱含偏好。

生成式模型的訓練也需要特殊考慮。與傳統的分類或回歸任務不同，生成式推薦需要模型輸出離散的代碼序列。這要求模型不僅要理解輸入（用戶查詢或歷史行為），還要能夠準確生成對應的身份證代碼。多樣化束搜索的使用確保了生成結果的豐富性，避免模型總是輸出最"安全"但可能單調的答案。

六、實際應用的深遠影響

這項研究的意義遠遠超出了學術范圍，它為整個推薦系統行業提供了重要的發展方向。目前，大多數大型互聯網公司都維護著分離的搜索和推薦系統，這不僅增加了技術復雜性，還可能錯失兩個系統間協同效應的機會。

Spotify作為全球領先的音樂流媒體平臺，每天需要處理數億次的搜索請求和個性化推薦。用戶可能在搜索特定歌手的作品后，期望推薦系統能夠理解這種偏好并在后續推薦中體現出來。反過來，推薦系統發現的用戶潛在興趣也應該能夠改進搜索結果的相關性。這種雙向的信息流動正是統一系統的核心價值所在。

從技術架構的角度，統一的生成式系統能夠顯著簡化服務端的復雜性。傳統架構中，搜索和推薦通常需要不同的特征工程、模型訓練和服務部署流程。統一系統則可以共享大部分基礎設施，不僅降低了維護成本，還提升了系統的一致性和可靠性。

對于新物品的處理，統一系統的優勢更加明顯。傳統的基于ID的推薦系統面臨嚴重的冷啟動問題：新歌曲、新電影往往需要積累足夠的用戶交互數據后才能被有效推薦。而基于語義身份證的系統能夠立即理解新物品的內容特征，即使沒有任何用戶行為數據，也能基于內容相似性進行合理的推薦和搜索匹配。

這種能力對于內容創作者來說意義重大。新晉藝術家的作品不再需要等待漫長的"冷啟動期"，系統能夠基于音樂的風格、情感特征等語義信息，立即將其推薦給可能喜歡的用戶群體。這有助于形成更加多元化的內容生態，而不是被頭部內容所主導的馬太效應。

研究結果還揭示了個性化技術發展的一個重要趨勢：從簡單的協同過濾向多模態、多任務的綜合智能發展。未來的推薦系統不僅要理解用戶的歷史行為，還要能夠理解用戶的即時意圖、情感狀態、使用場景等多維度信息。語義身份證為這種綜合理解提供了技術基礎。

從用戶體驗的角度，統一系統能夠提供更加連貫和智能的服務。用戶不再需要在搜索和發現之間切換不同的交互模式，系統能夠在用戶的整個使用過程中保持上下文的連續性。比如，用戶搜索"適合跑步的音樂"后，系統不僅能夠返回相關結果，還能在后續的推薦中持續關注用戶的運動音樂偏好。

七、面臨的挑戰和未來展望

盡管研究結果令人鼓舞，但將這種技術應用于實際生產環境仍面臨諸多挑戰。首要問題是計算復雜性。生成式模型，特別是基于大型語言模型的系統，通常需要比傳統推薦系統更多的計算資源。在需要毫秒級響應的在線服務中，如何平衡模型復雜性和響應速度是一個關鍵問題。

數據質量和標注成本也是重要考量。多任務訓練需要高質量的搜索查詢-物品配對數據和用戶行為數據。雖然用戶行為數據相對容易獲取，但高質量的查詢數據往往需要人工標注或者像本研究中使用大型語言模型生成。如何在大規模應用中獲得足夠的高質量訓練數據，仍然是一個開放性問題。

模型的可解釋性是另一個挑戰。傳統的推薦系統雖然復雜，但其決策過程相對容易分析和調試。生成式系統的黑盒特性使得理解和改進系統行為變得更加困難。當推薦結果不符合預期時，如何快速定位和修復問題，需要新的工具和方法論。

隱私保護在統一系統中也面臨新的考驗。搜索查詢通常包含用戶的即時意圖信息，而行為數據反映用戶的長期偏好模式。如何在利用這些信息進行聯合建模的同時保護用戶隱私，需要更加精細的隱私保護策略。

從技術演進的角度，研究團隊提出了幾個值得進一步探索的方向。首先是更加高效的embedding融合方法。當前的簡單連接或加權融合可能無法充分利用不同信息源的互補性。基于注意力機制或者元學習的融合方法可能帶來更好的效果。

其次是動態的身份證更新機制。隨著用戶行為的變化和內容理解的深入，物品的語義表示也應該相應更新。如何設計一個既穩定又能適應變化的身份證系統，是一個有趣的研究方向。

多語言和跨文化的泛化能力也值得關注。當前的研究主要基于英文內容，但實際應用中需要處理多種語言和文化背景的內容。如何構建能夠跨語言泛化的語義身份證，對于全球化的服務提供商來說至關重要。

最后，隨著大型語言模型技術的快速發展，如何將更強大的預訓練模型集成到推薦系統中，也是一個充滿機會的方向。GPT、BERT等模型的不斷進化可能為語義理解和生成帶來新的突破。

說到底，這項研究為我們展示了人工智能技術發展的一個重要趨勢：從專用系統向通用系統的演進。就像當年智能手機統一了電話、相機、音樂播放器等多個設備的功能一樣，統一的生成式推薦系統可能會成為未來內容服務的標準架構。雖然這條路上還有許多技術挑戰需要克服，但Spotify研究團隊的工作為我們指明了一個充滿希望的方向。對于每一個使用數字內容服務的普通用戶來說，這意味著更智能、更連貫、更個性化的體驗正在向我們走來。

Q&A

Q1：什么是語義身份證，它和傳統的商品編號有什么區別？

A：語義身份證是由多個有意義代碼組成的物品標識，這些代碼來源于物品的內容特征。傳統編號就像給每首歌分配"10086"這樣的數字，而語義身份證可能是"溫柔-吉他-治愈-夜晚"的組合。最大優勢是新物品能立即共享相似特征的代碼，無需重新訓練整個系統，還能幫助AI理解物品間的關系。

Q2：為什么搜索和推薦不能用同一套身份證系統？

A：搜索和推薦關注的重點完全不同。搜索更看重內容相似性，用戶搜"浪漫喜劇"時需要找到真正屬于這類的電影。推薦更關注行為模式，發現"喜歡A電影的人通常也喜歡B電影"的隱含關系，即使A和B內容毫不相關。專門優化一個任務會犧牲另一個任務的效果，這就是兩難困境。

Q3：Spotify的多任務方法是如何平衡搜索和推薦效果的？

A：多任務方法訓練一個能同時處理兩種任務的統一模型，在訓練時同時優化查詢-歌曲匹配和用戶行為預測兩個目標。通過平衡內容相似性和行為相似性，生成的身份證既能理解歌曲內容特征，又能捕捉用戶偏好模式。雖然單項效果不如專用方法，但提供了最佳整體平衡，搜索和推薦效果都達到了0.046和0.049的良好水平。