8月24日，“掘金AI Talk沙龍-深圳站”在深圳灣創(chuàng)新科技中心成功舉辦。作為稀土掘金AI社區(qū)定期舉辦的系列AI分享活動(dòng)之一，本期沙龍的主題為《AI Agent 技術(shù)突破和應(yīng)用實(shí)踐》。網(wǎng)易伏羲受邀分享AI Agent前沿技術(shù)成果和獨(dú)家實(shí)踐心得，與眾多行業(yè)專家和AI愛好者共同探討AI Agent技術(shù)的未來發(fā)展。

沙龍現(xiàn)場，網(wǎng)易伏羲AOP框架技術(shù)負(fù)責(zé)人Joysy帶來了《AOP框架在手游Copilot的應(yīng)用實(shí)踐》主題分享，圍繞游戲Copilot在《永劫無間》手游中的具體應(yīng)用實(shí)踐，Joysy介紹了AOP框架如何助力游戲智能化，展示了如何通過AI技術(shù)提升玩家體驗(yàn)并優(yōu)化游戲性能。

以下為演講實(shí)錄：

大家下午好，我是來自網(wǎng)易伏羲的Joysy，很高興能夠在此與大家分享和交流。今天我分享的主題是《AOP框架在手游Copilot的應(yīng)用實(shí)踐》。

PART 1：AOP框架緣起

首先，我想簡單介紹一下網(wǎng)易伏羲。網(wǎng)易伏羲成立于2017年9月，是網(wǎng)易旗下的人工智能研究機(jī)構(gòu)。自成立以來，我們一直致力于利用前沿人工智能技術(shù)釋放勞動(dòng)者的生產(chǎn)力，探索人機(jī)協(xié)作的全新時(shí)代。

我們堅(jiān)信，未來人類與AI的關(guān)系應(yīng)當(dāng)是協(xié)作而不是替代。在“人機(jī)協(xié)作，萬物有靈”的愿景下，網(wǎng)易伏羲正在探索如何將AI技術(shù)應(yīng)用于更多實(shí)體產(chǎn)業(yè)，通過創(chuàng)新性研發(fā)AOP框架（Agent-Oriented-Programming，面向智能體編程），構(gòu)建了可以直接面向智能體發(fā)布和運(yùn)營各種任務(wù)的網(wǎng)易伏羲有靈AOP平臺(tái)，希望能夠借此實(shí)現(xiàn)“讓每一個(gè)人都可以從事自由有趣的工作”的使命愿景。

作為中國首個(gè)游戲人工智能實(shí)驗(yàn)室，網(wǎng)易伏羲在游戲AI領(lǐng)域取得了諸多創(chuàng)新性的成就。我們率先在行業(yè)內(nèi)實(shí)現(xiàn)了AI照片捏臉功能，首創(chuàng)了智能養(yǎng)育系統(tǒng)、AI故事接龍玩法、文字捏臉等前沿玩法，并接連研發(fā)出了AI游戲劇情動(dòng)畫、AI游戲匹配、AI反外掛等一系列創(chuàng)新應(yīng)用，助力《逆水寒》手游實(shí)現(xiàn)了文字捏臉、智能NPC、劇組模式等突破性的AI應(yīng)用。可以說，網(wǎng)易伏羲通過不斷的實(shí)踐創(chuàng)新，持續(xù)引領(lǐng)著游戲AI的發(fā)展方向，并進(jìn)一步豐富了玩家的游戲體驗(yàn)。近期，網(wǎng)易伏羲有靈AOP平臺(tái)更是助力《永劫無間》手游打造了全球首創(chuàng)的游戲Copilot AI隊(duì)友，一經(jīng)上線便受到了廣泛好評。

PART 2：游戲Copilot應(yīng)用實(shí)踐

接下來，我將詳細(xì)介紹我們在《永劫無間》手游中實(shí)現(xiàn)的Copilot隊(duì)友。

在游戲以往的人機(jī)設(shè)計(jì)中，機(jī)器人是比較呆板的，基本上是按照設(shè)定的目標(biāo)或者自己的思路去打，不太會(huì)和玩家進(jìn)行交流互動(dòng)。另外，一些“社恐”的玩家不希望與真人開麥語音，但仍有社交和多人對戰(zhàn)的訴求；再者，玩家在玩游戲時(shí)經(jīng)常會(huì)匹配到一些坑爹的隊(duì)友，比如隊(duì)友比較菜或者戰(zhàn)斗中不能很好地配合，導(dǎo)致整場對局打得比較郁悶，甚至有想摔手機(jī)的沖動(dòng)。在這些情況下，玩家可能會(huì)去一些陪玩平臺(tái)找一個(gè)能陪自己聊天同時(shí)技術(shù)又很牛逼的陪玩，去滿足玩家的情緒價(jià)值。

為了滿足這些需求，網(wǎng)易伏羲助力《永劫無間》手游推出了全球首創(chuàng)的游戲Copilot——多模態(tài)實(shí)時(shí)交互的語音AI隊(duì)友，它能在戰(zhàn)斗中自主跑圖、戰(zhàn)斗、聽指令、報(bào)戰(zhàn)況，還能和玩家進(jìn)行自由對話，給玩家?guī)順O高的情緒價(jià)值，對于新手玩家，語音AI隊(duì)友還能進(jìn)行教學(xué)引導(dǎo)。

這里有幾段視頻展示了AI隊(duì)友在游戲中的實(shí)際表現(xiàn)。正如大家所見，AI隊(duì)友不僅能指揮戰(zhàn)斗、跑圖、搜物資、匯報(bào)戰(zhàn)況，還能與玩家自由交流，給予玩家較高的情緒價(jià)值。

為了實(shí)現(xiàn)這樣的效果，我們?yōu)锳I隊(duì)友設(shè)計(jì)了豐富的人設(shè)選項(xiàng)，例如彩虹皮萌妹、溫柔體貼御姐以及溫暖深情暖男等。這些具有鮮明個(gè)性的AI隊(duì)友不僅能夠與玩家建立復(fù)雜的互動(dòng)關(guān)系，還能根據(jù)不同的游戲情境展現(xiàn)出獨(dú)特的性格特點(diǎn)，進(jìn)一步增強(qiáng)游戲的沉浸感和互動(dòng)體驗(yàn)。

以Agent教學(xué)問答功能為例，我們構(gòu)建了一個(gè)強(qiáng)大的知識(shí)庫，包含了游戲靜態(tài)知識(shí)（如規(guī)則、機(jī)制）和動(dòng)態(tài)知識(shí)（如賽事信息）。當(dāng)玩家提出問題時(shí)，AI會(huì)先通過Embedding模型將問題轉(zhuǎn)化為向量，接著在知識(shí)向量化庫中進(jìn)行搜索，找到最匹配的答案。如果答案不明確，則會(huì)借助RAG和LLM等高級模型進(jìn)行深度檢索和推理，最終給出準(zhǔn)確的回答。

那么，我們是怎么實(shí)現(xiàn)多智能體協(xié)同的呢？為了實(shí)現(xiàn)這一目標(biāo)，我們在多智能體的設(shè)計(jì)上借鑒了人類大腦的運(yùn)作機(jī)制。就像大腦中不同區(qū)域各自負(fù)責(zé)視覺、味覺、觸覺、行走和平衡等功能一樣，我們?yōu)槊總€(gè)智能體賦予了明確的職責(zé)，并確保它們能夠高效協(xié)作。這種設(shè)計(jì)理念不僅提高了系統(tǒng)的整體效能，還使得智能體之間的交互更加自然和流暢。

在這個(gè)場景中，Agent不僅能夠感知游戲戰(zhàn)場環(huán)境的狀態(tài)變化，還能通過移動(dòng)端硬件傳感器接收并理解玩家的語音指令。在接收到這些狀態(tài)信息之后，Agent會(huì)利用自身的認(rèn)知與決策能力，結(jié)合游戲領(lǐng)域相關(guān)知識(shí)庫和戰(zhàn)斗記憶，對環(huán)境狀態(tài)和語音輸入做出合理的行動(dòng)決策動(dòng)作以及相應(yīng)的語音反饋。

在實(shí)現(xiàn)AI隊(duì)友的過程中，我們首先需要解決的問題就是讓Agent能夠聽得懂玩家所說的內(nèi)容，確保AI能夠精準(zhǔn)捕捉并理解玩家的意圖。為此，我們采用了無需喚醒的全開麥實(shí)時(shí)語音交流模式。這種模式雖然極大地提升了用戶體驗(yàn)，但也帶來了一些挑戰(zhàn)，比如環(huán)境噪音、不同移動(dòng)設(shè)備的兼容性、玩家的方言差異以及專業(yè)術(shù)語等問題。

為了解決這些問題，我們基于AOP框架的核心能力構(gòu)建了一個(gè)自主數(shù)據(jù)閉環(huán)訓(xùn)練模型，使Agent具備自主進(jìn)化的能力，包括構(gòu)建標(biāo)準(zhǔn)測試集以及有效利用測試及線上數(shù)據(jù)不斷擴(kuò)充數(shù)據(jù)集，從而推動(dòng)模型迭代。

PART 3：AOP框架核心能力

最后，我想和大家一起聊聊AOP框架的核心能力。在介紹AOP框架核心能力之前，我們需要先明確AOP的概念。AOP(Agent-Oriented-Programming，面向智能體編程) 是網(wǎng)易伏羲設(shè)計(jì)的一套全新的編程范式，接近自然語言編程、快捷定義任務(wù)，其核心價(jià)值在于為開發(fā)者對接智能體(擁有AI和人的能力)提供了統(tǒng)一范式的接口和服務(wù)，并自動(dòng)構(gòu)建數(shù)據(jù)閉環(huán)讓智能體具備自主進(jìn)化能力。開發(fā)者可通過 AOP 使用伏羲有靈機(jī)器人平臺(tái)預(yù)置的公共智能體能力(包括 ChatGPT、Midjourney 等預(yù)訓(xùn)練模型，以及數(shù)據(jù)標(biāo)注、美術(shù)制作、工程機(jī)械操控等眾包能力)，也可針對行業(yè)細(xì)分場景定制化構(gòu)建智能體應(yīng)用。

AOP的設(shè)計(jì)思想，是基于馬爾可夫決策過程（Markov Decision Processes,MDP）的定義來進(jìn)行任務(wù)建模，即Agent（智能體，包括人類或機(jī)器）在進(jìn)行某個(gè)任務(wù)時(shí)，首先會(huì)和環(huán)境進(jìn)行交互，產(chǎn)生新的狀態(tài)（State），同時(shí)環(huán)境會(huì)給予相應(yīng)的獎(jiǎng)勵(lì)（Reward），這一過程循環(huán)往復(fù)，Agent與環(huán)境之間的交互產(chǎn)生了大量的數(shù)據(jù)。Agent利用這些新數(shù)據(jù)不斷調(diào)整自身的行為策略。經(jīng)過多次迭代后，Agent便能夠?qū)W習(xí)到完成特定任務(wù)所需的最佳動(dòng)作策略。

那么，AOP框架在《永劫無間》手游Copilot的應(yīng)用具體是什么樣的呢？基于網(wǎng)易伏羲有靈AOP平臺(tái)所打造的多模態(tài)實(shí)時(shí)交互的語音AI隊(duì)友Agent，可以集成語音識(shí)別、語義理解、人設(shè)對話大模型、語音生成、強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)等多項(xiàng)智能體能力。

基于Agent的記憶能力，AI隊(duì)友與玩家可以實(shí)現(xiàn)超越單場對局的情感社交，以及跨越多類型游戲角色的社交關(guān)系。同時(shí)，在戰(zhàn)斗中語音AI隊(duì)友能實(shí)時(shí)感知戰(zhàn)場環(huán)境的狀態(tài)變化，做出合理擬人化的行為決策，真正是一個(gè)“能感知”、“會(huì)表達(dá)”和“懂執(zhí)行”的靠譜AI隊(duì)友。

有靈AOP平臺(tái)在打造語音AI隊(duì)友Agent的過程中，除了大幅提升研發(fā)效能以外，還能借助人類智能體輕松實(shí)現(xiàn)數(shù)據(jù)閉環(huán)，充分利用研發(fā)以及日常測試進(jìn)程中的數(shù)據(jù)進(jìn)行閉環(huán)訓(xùn)練，自動(dòng)更新模型。為實(shí)現(xiàn)玩家與AI隊(duì)友的絲滑語音交互，我們使用有靈AOP平臺(tái)的模型量化、推理加速、邏輯優(yōu)化等多項(xiàng)工程技術(shù)，將端到端交互響應(yīng)時(shí)間控制在800ms以內(nèi)，相比行業(yè)語音大模型的單模型推理速度有顯著優(yōu)勢。

目前，網(wǎng)易伏羲AOP框架已成功應(yīng)用于多個(gè)案例之中。例如，基于網(wǎng)易伏羲AOP人機(jī)協(xié)作的數(shù)據(jù)閉環(huán)提升文字捏臉效果，我們在《逆水寒》手游中首創(chuàng)文字捏臉，并在《永劫無間》手游中進(jìn)一步發(fā)展，首創(chuàng)交互式捏臉玩法；基于AOP人機(jī)協(xié)作的數(shù)據(jù)閉環(huán)提升AI繪畫效果，成功為《永劫無間》打造“AI智繪·時(shí)裝共創(chuàng)”玩法；此外，AOP框架在人設(shè)對話RLHF方面也取得了顯著成果，通過網(wǎng)易伏羲有靈眾包平臺(tái)，我們有效提升了對話系統(tǒng)的質(zhì)量。在這個(gè)過程中，我們使用了實(shí)時(shí)對話、對比和修改創(chuàng)作等方法，對AI的對話表現(xiàn)進(jìn)行了優(yōu)化。這種人機(jī)協(xié)作的方式，使我們的AI角色能夠更自然、更貼近真實(shí)地與玩家進(jìn)行互動(dòng)，創(chuàng)造出更具吸引力的游戲體驗(yàn)。

最后，我想與大家分享下網(wǎng)易伏羲的最新動(dòng)態(tài)：網(wǎng)易伏羲AOP SDK即將邁入首次內(nèi)測階段。在此，我們衷心邀請所有對此技術(shù)充滿興趣的朋友們掃碼參與，也歡迎全球范圍內(nèi)的開發(fā)者和合作伙伴加入我們，共同探索智能體技術(shù)的新邊界。我們相信，網(wǎng)易伏羲AOP SDK將成為開發(fā)者的強(qiáng)大助手，幫助大家簡化復(fù)雜功能的實(shí)現(xiàn)過程，打造更加智能、更具響應(yīng)性的游戲世界，為玩家?guī)砬八从械某两泻突?dòng)體驗(yàn)。

展望未來，我們期待這項(xiàng)技術(shù)能夠在更廣闊的領(lǐng)域內(nèi)激發(fā)創(chuàng)新，觸及更多行業(yè)、影響更廣泛的領(lǐng)域。網(wǎng)易伏羲也將繼續(xù)秉承“人機(jī)協(xié)作，萬物有靈，讓每一個(gè)人都可以從事自由有趣的工作”的愿景，攜手合作伙伴，共同推動(dòng)構(gòu)建一個(gè)智能化、互聯(lián)互通的世界，加速AI技術(shù)與實(shí)體產(chǎn)業(yè)深度融合，為未來社會(huì)的數(shù)字化轉(zhuǎn)型貢獻(xiàn)力量。