8月24日，“掘金AI Talk沙龍-深圳站”在深圳灣創新科技中心成功舉辦。作為稀土掘金AI社區定期舉辦的系列AI分享活動之一，本期沙龍的主題為《AI Agent 技術突破和應用實踐》。網易伏羲受邀分享AI Agent前沿技術成果和獨家實踐心得，與眾多行業專家和AI愛好者共同探討AI Agent技術的未來發展。

沙龍現場，網易伏羲AOP框架技術負責人Joysy帶來了《AOP框架在手游Copilot的應用實踐》主題分享，圍繞游戲Copilot在《永劫無間》手游中的具體應用實踐，Joysy介紹了AOP框架如何助力游戲智能化，展示了如何通過AI技術提升玩家體驗并優化游戲性能。

以下為演講實錄：

大家下午好，我是來自網易伏羲的Joysy，很高興能夠在此與大家分享和交流。今天我分享的主題是《AOP框架在手游Copilot的應用實踐》。

PART 1：AOP框架緣起

首先，我想簡單介紹一下網易伏羲。網易伏羲成立于2017年9月，是網易旗下的人工智能研究機構。自成立以來，我們一直致力于利用前沿人工智能技術釋放勞動者的生產力，探索人機協作的全新時代。

我們堅信，未來人類與AI的關系應當是協作而不是替代。在“人機協作，萬物有靈”的愿景下，網易伏羲正在探索如何將AI技術應用于更多實體產業，通過創新性研發AOP框架（Agent-Oriented-Programming，面向智能體編程），構建了可以直接面向智能體發布和運營各種任務的網易伏羲有靈AOP平臺，希望能夠借此實現“讓每一個人都可以從事自由有趣的工作”的使命愿景。

作為中國首個游戲人工智能實驗室，網易伏羲在游戲AI領域取得了諸多創新性的成就。我們率先在行業內實現了AI照片捏臉功能，首創了智能養育系統、AI故事接龍玩法、文字捏臉等前沿玩法，并接連研發出了AI游戲劇情動畫、AI游戲匹配、AI反外掛等一系列創新應用，助力《逆水寒》手游實現了文字捏臉、智能NPC、劇組模式等突破性的AI應用。可以說，網易伏羲通過不斷的實踐創新，持續引領著游戲AI的發展方向，并進一步豐富了玩家的游戲體驗。近期，網易伏羲有靈AOP平臺更是助力《永劫無間》手游打造了全球首創的游戲Copilot AI隊友，一經上線便受到了廣泛好評。

PART 2：游戲Copilot應用實踐

接下來，我將詳細介紹我們在《永劫無間》手游中實現的Copilot隊友。

在游戲以往的人機設計中，機器人是比較呆板的，基本上是按照設定的目標或者自己的思路去打，不太會和玩家進行交流互動。另外，一些“社恐”的玩家不希望與真人開麥語音，但仍有社交和多人對戰的訴求；再者，玩家在玩游戲時經常會匹配到一些坑爹的隊友，比如隊友比較菜或者戰斗中不能很好地配合，導致整場對局打得比較郁悶，甚至有想摔手機的沖動。在這些情況下，玩家可能會去一些陪玩平臺找一個能陪自己聊天同時技術又很牛逼的陪玩，去滿足玩家的情緒價值。

為了滿足這些需求，網易伏羲助力《永劫無間》手游推出了全球首創的游戲Copilot——多模態實時交互的語音AI隊友，它能在戰斗中自主跑圖、戰斗、聽指令、報戰況，還能和玩家進行自由對話，給玩家帶來極高的情緒價值，對于新手玩家，語音AI隊友還能進行教學引導。

這里有幾段視頻展示了AI隊友在游戲中的實際表現。正如大家所見，AI隊友不僅能指揮戰斗、跑圖、搜物資、匯報戰況，還能與玩家自由交流，給予玩家較高的情緒價值。

為了實現這樣的效果，我們為AI隊友設計了豐富的人設選項，例如彩虹皮萌妹、溫柔體貼御姐以及溫暖深情暖男等。這些具有鮮明個性的AI隊友不僅能夠與玩家建立復雜的互動關系，還能根據不同的游戲情境展現出獨特的性格特點，進一步增強游戲的沉浸感和互動體驗。

以Agent教學問答功能為例，我們構建了一個強大的知識庫，包含了游戲靜態知識（如規則、機制）和動態知識（如賽事信息）。當玩家提出問題時，AI會先通過Embedding模型將問題轉化為向量，接著在知識向量化庫中進行搜索，找到最匹配的答案。如果答案不明確，則會借助RAG和LLM等高級模型進行深度檢索和推理，最終給出準確的回答。

那么，我們是怎么實現多智能體協同的呢？為了實現這一目標，我們在多智能體的設計上借鑒了人類大腦的運作機制。就像大腦中不同區域各自負責視覺、味覺、觸覺、行走和平衡等功能一樣，我們為每個智能體賦予了明確的職責，并確保它們能夠高效協作。這種設計理念不僅提高了系統的整體效能，還使得智能體之間的交互更加自然和流暢。

在這個場景中，Agent不僅能夠感知游戲戰場環境的狀態變化，還能通過移動端硬件傳感器接收并理解玩家的語音指令。在接收到這些狀態信息之后，Agent會利用自身的認知與決策能力，結合游戲領域相關知識庫和戰斗記憶，對環境狀態和語音輸入做出合理的行動決策動作以及相應的語音反饋。

在實現AI隊友的過程中，我們首先需要解決的問題就是讓Agent能夠聽得懂玩家所說的內容，確保AI能夠精準捕捉并理解玩家的意圖。為此，我們采用了無需喚醒的全開麥實時語音交流模式。這種模式雖然極大地提升了用戶體驗，但也帶來了一些挑戰，比如環境噪音、不同移動設備的兼容性、玩家的方言差異以及專業術語等問題。

為了解決這些問題，我們基于AOP框架的核心能力構建了一個自主數據閉環訓練模型，使Agent具備自主進化的能力，包括構建標準測試集以及有效利用測試及線上數據不斷擴充數據集，從而推動模型迭代。

PART 3：AOP框架核心能力

最后，我想和大家一起聊聊AOP框架的核心能力。在介紹AOP框架核心能力之前，我們需要先明確AOP的概念。AOP(Agent-Oriented-Programming，面向智能體編程) 是網易伏羲設計的一套全新的編程范式，接近自然語言編程、快捷定義任務，其核心價值在于為開發者對接智能體(擁有AI和人的能力)提供了統一范式的接口和服務，并自動構建數據閉環讓智能體具備自主進化能力。開發者可通過 AOP 使用伏羲有靈機器人平臺預置的公共智能體能力(包括 ChatGPT、Midjourney 等預訓練模型，以及數據標注、美術制作、工程機械操控等眾包能力)，也可針對行業細分場景定制化構建智能體應用。

AOP的設計思想，是基于馬爾可夫決策過程（Markov Decision Processes,MDP）的定義來進行任務建模，即Agent（智能體，包括人類或機器）在進行某個任務時，首先會和環境進行交互，產生新的狀態（State），同時環境會給予相應的獎勵（Reward），這一過程循環往復，Agent與環境之間的交互產生了大量的數據。Agent利用這些新數據不斷調整自身的行為策略。經過多次迭代后，Agent便能夠學習到完成特定任務所需的最佳動作策略。

那么，AOP框架在《永劫無間》手游Copilot的應用具體是什么樣的呢？基于網易伏羲有靈AOP平臺所打造的多模態實時交互的語音AI隊友Agent，可以集成語音識別、語義理解、人設對話大模型、語音生成、強化學習、模仿學習等多項智能體能力。

基于Agent的記憶能力，AI隊友與玩家可以實現超越單場對局的情感社交，以及跨越多類型游戲角色的社交關系。同時，在戰斗中語音AI隊友能實時感知戰場環境的狀態變化，做出合理擬人化的行為決策，真正是一個“能感知”、“會表達”和“懂執行”的靠譜AI隊友。

有靈AOP平臺在打造語音AI隊友Agent的過程中，除了大幅提升研發效能以外，還能借助人類智能體輕松實現數據閉環，充分利用研發以及日常測試進程中的數據進行閉環訓練，自動更新模型。為實現玩家與AI隊友的絲滑語音交互，我們使用有靈AOP平臺的模型量化、推理加速、邏輯優化等多項工程技術，將端到端交互響應時間控制在800ms以內，相比行業語音大模型的單模型推理速度有顯著優勢。

目前，網易伏羲AOP框架已成功應用于多個案例之中。例如，基于網易伏羲AOP人機協作的數據閉環提升文字捏臉效果，我們在《逆水寒》手游中首創文字捏臉，并在《永劫無間》手游中進一步發展，首創交互式捏臉玩法；基于AOP人機協作的數據閉環提升AI繪畫效果，成功為《永劫無間》打造“AI智繪·時裝共創”玩法；此外，AOP框架在人設對話RLHF方面也取得了顯著成果，通過網易伏羲有靈眾包平臺，我們有效提升了對話系統的質量。在這個過程中，我們使用了實時對話、對比和修改創作等方法，對AI的對話表現進行了優化。這種人機協作的方式，使我們的AI角色能夠更自然、更貼近真實地與玩家進行互動，創造出更具吸引力的游戲體驗。

最后，我想與大家分享下網易伏羲的最新動態：網易伏羲AOP SDK即將邁入首次內測階段。在此，我們衷心邀請所有對此技術充滿興趣的朋友們掃碼參與，也歡迎全球范圍內的開發者和合作伙伴加入我們，共同探索智能體技術的新邊界。我們相信，網易伏羲AOP SDK將成為開發者的強大助手，幫助大家簡化復雜功能的實現過程，打造更加智能、更具響應性的游戲世界，為玩家帶來前所未有的沉浸感和互動體驗。

展望未來，我們期待這項技術能夠在更廣闊的領域內激發創新，觸及更多行業、影響更廣泛的領域。網易伏羲也將繼續秉承“人機協作，萬物有靈，讓每一個人都可以從事自由有趣的工作”的愿景，攜手合作伙伴，共同推動構建一個智能化、互聯互通的世界，加速AI技術與實體產業深度融合，為未來社會的數字化轉型貢獻力量。