自今年5月嗶哩嗶哩(以下簡稱B站)宣布將下架原國際版APP,與國內版合并為一個統一APP后,近日,在今年的世界人工智能大會上,B站公布了其為服務海外用戶而全新自研的“AI原聲翻譯功能”,以便海外用戶更好體驗游戲、科技、二次元等主推內容。
![]()
本次發布的“AI原聲翻譯”功能除了自動擦除中文字幕改為英文、彈幕翻譯及各類按鈕英文適配等基礎的文本互譯之外,還能完美還原UP主的聲線、音色、氣口,而非傳統的機器音翻譯,同時還能基于翻譯語言進行口型模擬。這意味著在未來中文用戶觀看外語UP主視頻或海外用戶觀看中文UP主視頻時能無差別體驗原汁原味的“本地化”翻譯視頻。后續,B站還將視需求把日語等語言加入“AI原聲翻譯”功能中。
據悉,為攻克“AI”原聲翻譯功能“中的核心挑戰——尤其在游戲、二次元等專名梗點密集領域——實現原風格精準保留與語音時長完美對應,B站技術團隊基于大語言模型構建翻譯引擎,基于語音時長匹配、原聲翻譯標準與UP主獨特風格構建多目標獎勵模型,并采用對抗式強化學習訓練驅動模型持續進化與精準適配。同時,引入Deep Research深度挖掘技術,專攻專有名詞與流行梗點的翻譯難點,確保最終譯文準確、地道、傳神。字幕擦除部分則結合了先進的多模態大模型OCR技術和基于STTN網絡的視頻重繪技術,實現字幕區域的精準檢測與高還原度擦除。
文/北京青年報記者 溫婧
編輯/胡克青





京公網安備 11011402013531號