本文摘自《云棲戰略參考》，這本刊物由阿里云與鈦媒體聯合策劃。目的是為了把各個行業先行者的技術探索、業務實踐呈現出來，與思考同樣問題的“數字先行者”共同探討、碰撞，希望這些內容能讓你有所啟發。

端側和云側大模型協同的前景，對硬件廠商和阿里云而言都是巨大的機遇。

歷次革命性技術的發生，都極大改變了終端的軟硬件。機械驅動的織布機，電力驅動的電話，算力驅動的電腦等，大模型也被賦予了同樣的期待。

大模型為智能終端帶來的變革是全方位的，加速了數字世界和物理世界的融合。它讓終端更加理解用戶的自然語言，也具備更強的智能分析和決策能力，能夠根據用戶的習慣和偏好，為每個用戶量身定制獨特的體驗。

挑戰同樣顯而易見。端側需要盡可能體現大模型的能力，但動輒千億甚至萬億參數模型的大模型所需的龐大算力、存儲和能耗是端側芯片無法承受的，與此同時，端側用戶還對高性能、低時延、數據隱私等存在特別需求。

當前1B模型是端側應用的主力軍，可實現文本生成、語音識別、機器翻譯、問答系統、圖像分類等輕量級任務;3B模型在高端移動設備上有較多應用，能完成高級文本生成、多輪對話、復雜翻譯、圖像生成、視頻理解等中等復雜任務;7B模型被認為是“黃金尺寸”，可以完成長篇創作、多模態任務、專業領域問答、自動駕駛、自然語言理解等高精度任務，但也已經接近當前端側設備能承載的模型參數上限;更大參數的模型，比如13B及以上的百億參數模型，可以完成高質量內容生成、跨領域任務、科學研究等前沿應用，甚至可以離線運行復雜任務，但需要通過模型壓縮技術+專用硬件加速，在高端智能設備上部署。

這種情況下，云側部署的大模型加端側應用的大模型是綜合平衡性能、成本、功耗、隱私、速度之下的最佳選擇。

端側大模型更方便處理本地用戶數據，可基于端側對用戶個人的學習深入理解用戶意圖，進而為用戶帶來個性化服務。云側的基礎大模型參數量更大，能力更廣，能應對更復雜的問題。

端云協同推動更好的智能落地，大模型如何重塑智能終端新體驗?極客公園創始人&總裁張鵬，優必選科技副總裁、研究院副院長龐建新，OPPO AI技術規劃總監陳曉春，北科瑞聲創始人劉軼博士，開展了一場精彩對談。

大模型如何重塑智能終端

張鵬:大模型，尤其是多模態融合的大模型出現后，首先會對哪種機器人帶來變革，解決了哪些之前沒有解決的問題?

龐建新:在大模型之前，機器人領域遇到很多挑戰。第一個挑戰就是多模感知的問題。現在有了大模型之后，我們可以從第一個多模感知的問題入手。多模感知其實不只是解決了從語音感知、視覺感知再到環境感知的問題，而且還把知識融合在了一起，相當于把知識上下文和環境信息、語音交互信息都融在一塊進行統一決策，這是大模型帶給我們的第一個價值。

第二個挑戰是任務決策和任務規劃的問題。過去，機器人進入具體場景時需要人工手動寫很多條件，通過有限狀態機來完成狀態轉移和任務決策，但只要環境出現變化，過去寫的任務可能就無法工作或者要重新寫。而通過大模型，我們可以把相應的環境知識和邏輯，以及構建的云地圖做一個條件輸入進來，綜合進行任務規劃、決策、編排。在執行過程中，大模型可以對失敗的任務重新進行規劃、執行，最終完成任務。

此外，還有決策和控制層的工作，由另外一套基于數據驅動的任務規劃與任務動作的大模型實現，最終是幾個大模型結合在一起來實現我們所需的“端到端”。有的團隊可能會做更端到端的工作，我們考慮到機器人的不同形態，任務的不同形態繼而環境的不同形態，目前還是會采用分層的方式來實現端到端。

張鵬:從用戶視角來看，端側大模型究竟給智能手機帶來了哪些顯著的體驗提升?你怎么解讀體驗升級?

陳曉春:OPPO在2024年成立了AI中心專門做這件事情，但其實，AI一直都和手機密不可分，例如手機的影像、推薦搜索等，只是ChatGPT的到來更讓每一個人覺得能真真實實感受到，大模型能夠改變用戶體驗。

在具體端側AI場景上，得益于強大的算力和本地化部署，能讓AIGC的響應時間有大幅度的提升，從而消除用戶"等待AI反應"的機械感。

再進一步，我們發現手機原生應用結合大模型，能夠變得更智能，從而解決用戶在手機上的“時間碎片化”的問題。比如，拍照可能要來回切各種APP，甚至有些人可能把照片導出來修改一下，再導回去分享和發布。再比如，用戶在開車或爬山，接到老板電話交代事情，沒有紙又沒有筆，能不能自動通過大模型去摘要理解并自動生成一些to-dolist，大模型與本地應用結合也是我們的一個大方向。

從時間順序上來說，我們一開始想到了全域知識和個人助理，然后又想到了本地基于用戶意圖的理解做事方面，不管是設置還是在手機上去真正完成一些更智能的推薦，最后就是手機自身APP和模型結合，解決用戶在手機上碎片時間的問題。

張鵬:在智能語音交互方面，大模型帶來了什么樣的新能力?這又會“重新激活”哪些硬件與語音交互的結合?又對技術棧、產品開發方式帶來了哪些變化?

劉軼:對用戶來說，近些年語音交互有兩次比較大的變化。第一次是Siri推出，讓大家知道在手機、手表、Pad上可以用語音來交互，但是受限于算法和算力，沒有達到用戶期望實現的更好的效果。第二次是近期推出的GPT-4o，大家第一次感受到，原來機器可以做到足夠的低延遲，像人一樣快速理解，而且合成語音也可以具備豐富的情感，即便說話被打斷，還能夠做到說話人分離。從用戶感受來講，這已經不再是一個單獨的語音識別，而是已經到了理解的層次。

作為第五代人機交互方式，大模型后續有可能像人一樣能夠自然地用語音交互、理解意圖，很有可能在設備上出現私有化的個人助理，不管是在汽車、手機、Pad上，甚至是更輕便的手表、手環上。

幾年前，音頻信息處理需要按照一整套流程去做，從前端到聲學模型的建立、搜索、語言模型，以及最后打標點、分詞后處理等，而且這其中的各類數據都需要我們自己去收集和處理。

現在，我們只需要基于開源的聲學、語言模型建立端到端的架構，而不需要開發者從頭開始。后續面向不同行業應用的時候，也是在這樣的基礎上通過行業數據、領域數據或者垂直領域知識庫再來優化。

端側需要什么樣的大模型?

張鵬:在優必選的端側實踐里，需要什么樣的模型?對模型的模態、尺寸、數量有什么要求?

龐建新:機器人主要有三個能力，移動、操作和人機交互。移動能力是解決機器人的行走問題，不管是輪式還是足式，以及行走過程中和周邊環境交互感知的問題，就需要一個端側模型，因為它和控制綁定得比較緊，如果放在云端，一旦有延時機器人就撞到障礙了。

操作能力主要是基于對物體的環境感知，比如機器人看到某個物體，對抓取的路徑和方式要有一個規劃，這也是以端側模型為主。

人機交互方面，GPT-4o顯示出非常好的流暢性，這一能力可以考慮用云端結合端側大模型的方式。比如，和機器人對話的時候，不僅要完成對話，可能還要生成肢體動作，肢體動作要和語音形成影射，需要一個大模型來做，這可能就需要端云結合的方式做整體交互。

很明顯，我們對端側算力的要求越來越高了。

目前，端側有控制部分的模型，另外，在場景有限、任務有限的場景下，任務決策規劃的模型也會放在端側，或者邊緣側，比如說工業場景中需要考慮到隱私問題的一些應用。

張鵬:目前手機可以部署、運行多大尺寸、什么模態的模型?沒有云的支撐，端側小模型的推理算力和模型參數都會受限，這種情況下，最適合做哪些事情?

陳曉春:手機和人之間的交互是最多的，很多亮屏時間每天在6個小時以上，手機和網絡之間又是全時的關系，幾乎一直在線。在這種情況下，我們考慮模型端側化或者端側模型的應用，主要考慮三個點。第一，一些對延時特別敏感、對用戶的體驗影響非常大的業務。比如漫游場景，所有的數據包都要回源，云和端之間處理傳送的距離可能是很遠的，這樣的延遲對實時翻譯等很多時延高敏感業務是不能容忍的。第二，高隱私場景。比如端側行為的訓練和意圖推理。我們在考慮端云之間加入聯邦學習等各種安全措施保障，同時也在思考端側模型能不能做得更多。第三，成本和功耗的平衡。比如，云上模型反復調用會不斷產生成本，而端側模型則不存在這一問題。

端側模型典型的幾個受限因素也比較清楚。目前，1B參數的模型在端側可以跑得很好，7B參數的模型在端側也已經商業化，而且算是“黃金尺寸”，但13B在端側運行就已經有點勉強了，可以在實驗室環境下實現。參數規模更大的模型就得用云平臺，做量化、蒸餾等，會有一些損失。因此，現階段我們優先把對時間敏感、對隱私保護至關重要的場景優先放到端側來實現。而對于全局知識性的復雜任務的處理，我們會借助云端模型，包括在云側還有MoE(Mixture of Experts，混合專家模型)，因為現在端側MoE受限于SoC和DDR之間內存帶寬的限制，算力無法發揮出來。

在具體的工程化實踐當中，我們發現有時候很多場景不一定需要7B模型，更小參數的模型可以平衡體驗和功耗。所以，我們也會采用更小尺寸模型，甚至是一些傳統方案。大模型給我們帶來很多驚艷的體驗，但是它并不是一劑萬能靈藥，很多時候傳統方案也許更有效。

張鵬:語音交互的能力落到端側的現狀是怎樣的?什么樣的模型適合部署、運行在智能手表的端側?

劉軼:大家可以看到，語音識別、語音交互，包括大模型調用和理解，在云端上能夠調用的很多，但是真正把語音識別做到端側或者設備上，其實面臨很多技術挑戰和壁壘，再結合大模型又會產生很多的挑戰。

目前，7B參數模型在端側已經是達到極限，用戶體驗并不是很好，換句話說，我們可能還沒有辦法在手機或者Pad上形成產品，讓所有不同價格體系的終端調用，語音也是這樣。

現在很多廠商都在研究1B模型，包括阿里推出了1.4B模型，行業也有1B以下的模型可以用，特別是面向一些特定的領域或者行業。但是在用的過程當中，大家可以明顯體會到這些小參數模型和云端更大參數的模型之間有巨大的差距。因為回歸到大模型的基本原理，模型剪枝越多，信息量越少，形成的幻覺就越大，輸出結果越不可控。

我個人認為，大模型落地端側還是要和傳統知識處理的方法結合，比如知識圖譜、增強搜索等，可能還要犧牲一些準確率，犧牲一些場景抗噪的能力，達到AI現實可用的效果。

端側AI應用的算力引擎

張鵬:端側不同應用場景需要調用不同的模型，如果需要千億甚至萬億參數模型的場景，端側的算力不夠支撐。這時候端云如何協同?需要底層的云具備什么樣的能力?

龐建新:我們和阿里云合作了很久，有基礎云服務，也有大模型合作。目前AI應用的端云協同還有幾個問題，一是如何讓開源大模型根據我們的場景做進一步調整，包括端側部署，云端協同，端云結合是短期內必須解決的問題。

服務機器人和手機不一樣，手機是一個被動交互的對象，只有人發的指令手機才會響應，但機器人很多時候需要主動去感知，這要基于大量的視覺數據、聽覺數據，以及知識數據。這些數據在云端處理的成本對任何一家企業來說無法承受，所以一定要在本地處理。但是，在相對復雜的場景，機器人對知識的依賴非常強，大量知識推理要依賴云端，中間的調度需要廠商決策到底是在邊緣處理，還是在端側處理，或者在云端處理，就要由廠商根據機器人的形態、具體場景和任務去決定。未來，本地核心的端側模型、中間決策的模型以及邊緣側的模型，會跟云側模型融合，共同完成機器人主動感知、主動任務執行主動交互。

陳曉春:從2022年開始，我們就在大模型領域和阿里云有非常深入的合作。手機作為智能終端，在過去的時代我們基于推薦搜索做了一些服務的智能分發，但是我們看到，大模型時代到來之后，尤其多模態大模型等一些新的形式出現，人機交互會出現一些革命性改變。比如，用戶和手機交互，不一定要通過點觸和語音的方式，還可以通過一些更智能方式實現理解用戶意圖并做出一連串的執行，以及通過理解界面上的信息實現更自然交互，這些都有賴于多模態大模型和AI Agent的能力。這些能力一部分可以端側化，更多要依靠云端的一些模型。云端模型需要部署在離用戶比較近、推理延遲比較低，算力充足的地方，所以不管是在算力側、模型技術，還是在一些聯合研發的項目上，我們一直在和阿里保持非常緊密的合作。

劉軼:我覺得有兩點。第一，參考OpenAI是怎么成功的。OpenAI是在一個分享和眾籌機制下，不同的人、不同的機構、不同的團體做出貢獻，共同構建了OpenAI。我們現在也是一樣，比如阿里云提供了通義的底座，它需要千行百業、各個領域的從業者，共同建設面向各自領域真正好用的垂直領域或者行業大模型。北科瑞聲也是一樣，和阿里云合作打造了求醫、問藥還有交通等垂直領域的行業大模型。

第二，當前硬件很多都是低功耗可穿戴設備，像手表、手環，甚至包括手機、Pad等，在大多數情況下，語音交互在這種低算力平臺，只能是在本地做一些信號處理或者壓縮編碼，更多工作可能還是要到云端去處理，只要建立一個很好的鏈路，這對阿里云和眾多硬件廠商而言，都是巨大的機遇。

本文摘自《云棲戰略參考》總第18期