“推理正在首次超過訓練，AI真正開始「用電而不是發電」。”

作者丨楊依婷

編輯丨包永剛

2025年12月12-13日，第八屆GAIR全球人工智能與機器人大會在深圳·博林天瑞喜來登酒店正式啟幕。

作為AI 產學研投界的標桿盛會，GAIR自2016年創辦以來，始終堅守“傳承+創新”內核，始終致力于連接技術前沿與產業實踐。

在人工智能逐步成為國家競爭核心變量的當下，算力正以前所未有的速度重塑技術路徑與產業結構。13日舉辦的「AI 算力新十年」專場聚焦智能體系的底層核心——算力，從架構演進、生態構建到產業化落地展開系統討論，試圖為未來十年的中國AI產業，厘清關鍵變量與發展方向。

GAIR 2025「AI 算力新十年」專場上，云天勵飛副總裁羅憶發表了題為《芯智AI筑基，普惠點亮未來》的主題演講，系統闡述了他對國產芯片路徑和AI普惠化的核心判斷。

當大多數人還在討論人工智能“是否有用”的2014年，一家中國公司已經選擇了一條更難、也更遠的路——同時押注算法與芯片，試圖從底層構建屬于自己的AI技術體系。此后十余年，從深度學習的早期探索，到大模型席卷全球，再到算力成為國家級命題，這家公司幾乎完整經歷了中國人工智能產業從萌芽、加速到分化競爭的全過程。

某種意義上，云天勵飛本身，就是一段中國AI產業的微觀縮影。

云天勵飛副總裁羅憶，正是這段歷程的重要參與者與推動者之一。早年，他需要一次次向客戶和產業界解釋“人工智能究竟能解決什么問題”；而今天，在推理成本、算力結構與生態壁壘成為行業核心議題的背景下，他思考的重心，已轉向如何讓AI真正“用得起、用得久、用得廣”。

與許多聚焦單點技術突破的敘事不同，羅憶的視角始終錨定在一個更現實、也更具產業意義的閉環之中：應用生產數據，數據訓練算法，算法定義芯片，芯片賦能應用，最終推動整個AI生態的正向飛輪。在他看來，AI的競爭不只發生在實驗室和算力榜單上，更發生在真實行業、真實成本與真實規?；涞氐膱鼍爸?。

在國產算力加速突圍、推理逐漸超越訓練成為產業主戰場的當下，這種來自一線實踐者的判斷，尤顯珍貴。它試圖回答的，并非“能否對標某一家巨頭”，而是一個更根本的問題：在高度封閉、生態壁壘森嚴的全球算力競爭格局中，國產芯片究竟應當如何找到自己的生存空間與增長路徑。

演講結束后，雷峰網與羅憶就演講中提及的“生態融入”、“AI惠普”等關鍵議題，進行了更深入的探討。以下是雷峰網在不改原意的基礎上，根據對話過程做的整理與編輯：

01

對話環節

問：您在演講中回顧了科技史的發展，云天的AI芯片也跨越了CNN到Transformer，您認為兩個時代對于芯片需求最大的不同是什么？

答：從云天選擇NPU路線一路走來，現在面臨一個最顯性的變化：Scaling Law驅動下，技術瓶頸開始螺旋式地出現。最初是算力瓶頸，隨后發現本質是內存容量瓶頸，接著是帶寬瓶頸，再后來瓶頸從芯片內部擴展到服務器之間，這才催生了“超節點”這類系統級方案。這反映出一個根本轉變：今天的芯片公司早已不止于設計芯片，必須提供全棧的系統工程能力。

其次是市場加速度帶來的生態壓力。從去年到今年，市場推理需求增長近百倍，模型迭代周期從過去的數月縮短至如今幾乎每周更新。曾經做NPU可以“慢工出細活”，花三個月將算法優化到極致；但現在三個月時間窗口早已關閉，新模型已迭代數輪。因此，我們必須主動兼容并融入CUDA在內的主流開發生態，否則客戶的遷移與適配成本會顯著上升，商業化節奏也會被拉慢。本質上是技術突破帶動產業化進程極速壓縮，過去半年一年遇到一次的瓶頸，現在可能三個月就遇到，推動技術螺旋式前進。

從中國路徑上講，我們肯定還是兩條腿走路。國產生態，不管是RISC-V還是像昇騰這樣的國產萬卡生態，它還得自己要慢慢走。另外一方面，也必須融入高速迭代的CUDA生態，這個逃不掉。

問：在Transformer時代，要讓推理能夠更成功，你感覺比較關鍵的因素會是什么？

答： 從我們的角度，總體上來講走向最終成功是要融入生態或者是擁抱生態。但是作為一個追趕者，進來之后必須得有自己的價值，要有一技之長，要有一個特別長的長板，然后才有時間換空間，去慢慢彌補自己的短板，慢慢融入到生態。

問：您講到中國更強調普惠AI的應用滲透，那您認為當下AI推理普及面臨的最大挑戰是什么？降低單位token成本嗎？

答： 我覺得顯然就是成本問題。大家希望AI越來越精準來達到行業使用的要求，以前發現再努力也做不到、現在就發現其實通過努力，通過長思考、長上下文的理解、帶入私域的知識是能做到的、但代價很大，那么怎么選擇？所以后面就是降本的問題了。

問：您認為從芯片公司的角度，要在推理市場構建護城河的關鍵是什么？

答：融入生態護城河?，F在很多圈子都是“互為生態”的格局，每種核心技術都有它的適用方上下游。狹義來說，生態其實就是自己的上下游，但如今技術棧實在太深、太廣，每一個細分領域都在形成自己的生態圈。

比如最近我們也參與了中移動提出的OISA體系，共同突破萬億級MoE大模型推理集群Scale up的瓶頸，圍繞 AI 芯片互聯、超節點等系統級方向與產業伙伴共同攻關，核心目標是提升國產 AI 芯片在規?；评恚ò?MoE 等復雜負載）場景下的互聯效率與互通性，推動集群 Scale-up 能力演進。

以后如果要把“超節點”真正做成可復制、可規?；耐评砘A設施，除了芯片本身，互聯協議、交換與網絡、系統軟件與調度等關鍵環節都必須做到協同兼容。因此，我們后續也持續參與國產技術棧與關鍵標準生態的共建，讓產品更順暢地進入主流系統形態與客戶工程體系。

問：對于實現生成式AI的普惠，云天在未來1-2年內的目標是什么？長期的策略是什么？

答： 我覺得現在的話，一個是修好內功，技術上你首先要有一技之長，圍繞推理落地最關鍵的指標，把一項或幾項核心能力做到足夠突出、可復用、可交付——讓客戶在成本、能效、時延或工程化效率上能明確感知到價值。第二是用更開放的方式進入頭部生態與頭部客戶體系，一方面積極參與主流技術棧與產業生態合作，降低適配門檻；另一方面也會通過多種合作形態（包括聯合創新、聯合解決方案、產業協同等）與頭部客戶建立更深度的驗證與共創關系，盡快形成可復制的標桿與規?；窂?。對我們來講，策略是先進圈子，先進頭部的圈子，在真實應用中逐步長出自己的生態。

02

演講全文

以下是羅憶演講的精彩內容，雷峰網作了不改變原意的整理與編輯：

大家好，我是來自云天勵飛的羅憶，主要負責推理芯片相關的生態建設工作。

云天勵飛成立于2014年，是一家深圳本土的人工智能芯片企業。

2014年公司創立時，人工智能尚未像今天這樣被普遍認為是第四次工業革命的核心技術，我們在較長時間里需要不斷向客戶和產業界證明人工智能的價值。但在這個過程中，云天勵飛逐漸積累了端到端的全棧技術能力。

從歷史視角看，中國在早期技術體系上曾長期領先全球，但在第一、第二、第三次工業革命中，一些關鍵生產力工具和核心技術的突破，拉開了不同國家和地區之間的差距。

進入AI時代，今天我們可以看到中美之間的競爭態勢較為明顯。美國在人才、資金、先進制程方面要卡中國的脖子，但同時，中國在過去多年的技術積累下，與美國在整個AI產業鏈領域的差距是在逐步縮短的。

雖然目前來看，還無法實現全面的國產替代，但今天產業界的同仁們，都在屢屢艱辛地實踐，總是要有一些國家實驗室和大企業要去攻關核心技術，守住產業發展的底線。

拐點已至：推理超越訓練，國產算力占比過半

從整個技術發展的浪潮來看，2014年至2022年，AI產業整體迭代節奏相對穩定，通常以三個月到半年為周期。

2022年底被普遍認為是一個重要拐點——大模型時代正式到來，行業整體沿著Scaling Law發展，通過更大算力、更多數據和更大參數規模，不斷提升模型能力，使得它能夠更泛化地進行服務。

從2023年初大模型興起開始，技術和產品的迭代速度明顯加快。無論是做底層技術還是應用層的企業，普遍感受到學習和適應的壓力，整個產業的迭代節奏，已經進入以“周”為尺度的迭代，甚至我們說，中美之間的迭代，可能只是5小時~8小時的迭代，你方唱罷我登場。

直到2025年1月初DeepSeek-R1的發布，這一趨勢出現了新的變化。

DeepSeek的核心意義主要是兩件事。

首先，縮短了開源模型與閉源模型之間的時間差；其次，它只用了二十分之一的硬件成本，復現類似閉源的效果。包括千問的一系列蒸餾模式，也說明在真實行業應用中，萬億參數、千億參數模型在成本上難以長期承受。

從本質上看，模型參數規模越大，單位推理成本就越高。每一次推理所需的算力、帶寬、KV Cache都會呈幾何級數增長。

在產業應用中，我們實踐出一套基本邏輯：

訓練階段可以持續探索模型能力上限

應用階段必須通過稀疏化、蒸餾、量化、數據格式優化等方式，不斷降低推理成本

只有這樣，AI才能真正實現普惠，才能在千行百業中規?；涞亍?/p>

如果類比工業革命，訓練更像是“發電”，而推理更像是“用電”。

訓練屬于技術皇冠，需要少數頭部企業解決大規模集群問題；而真正進入行業和社會運行體系的，是推理能力，需要云、邊、端多層次的芯片形態支撐。

據我們觀察，今年至少存在兩個重要拐點。

第一，推理算力消耗將首次超過訓練。

黃仁勛在今年的一次演講中提到，他認為推動英偉達股價上升的三條曲線中的前兩條，第一條是預訓練，第二條是后訓練，現在新的一條scaling實際就是Long Thinking。

從產業數據來看，推理Token消耗正在快速增長。2023年ChatBot時代以快問快答為主，而現在已經進入長上下文、聯網搜索和深度思考階段，Token消耗顯著增加。

2024年的數據顯示，國內企業Token消耗量同比增長超過100倍，谷歌的日Token調用量已達到約43萬億，這個數據已經滯后了，目前仍在持續增長。

我記得，據6月份國家數據局公布的數據，中國互聯網整個日Token調用量是30萬億，到9月份，字節跳動一家就已經達到了30萬億/天。我們內部有段時間跟字節了解交流，據說最近可能已經突破了40萬億/天，這個增速實在是非常驚人，而且這個速度絲毫沒有放緩的意思。

第二，預計到年底，國內AI芯片出貨/部署結構中，國產AI芯片占比有較大概率超過50%，整體份額超過非國產高端GPU。

中國路徑：以應用落地，反哺AI生態

AI的發展上，我們可以看到美國從“AI行動計劃”，到最近的“創世紀計劃”，持續從國家層面推動AI發展，包括現在的美股，基本都是靠AI概念的科技企業在支撐股價，科技類的已經達到了50%以上。而中國股市上，科技類可能占比還不到10%。

從2024年Q3到今年9月，北美四大云廠商2025資本開支增長了83.5%，像谷歌、亞馬遜這些頭部云廠商紛紛自研芯片以爭取成本優勢。

中國也有一系列政策的出臺，最集中的其實是今年年中推出的“人工智能+”計劃，這個政策極具中國特色，或者說非常符合中國的路徑。

對中國來說，最重要的事情其實是通過應用的滲透以及千行百業的落地，去推動或反哺整個AI的繁榮。

我們一直堅信一個“數據飛輪”，應用生產數據，數據訓練算法，算法定義芯片，芯片的規?；瘧?/strong>推動整個產業的發展。

中國的特色是有一部分頭部的企業，包括AI訓練的廠商，用更大規模的訓練集群去追趕與美國頭部閉源模型的差距，甚至通過工程化的方式，一方面，是為了降低訓練成本，更進一步，是為了降低未來的推理成本。

并且，中國有非常好的基礎設施，在基礎數字化、行業應用、應用人群以及應用熱情上都具備明顯優勢，這個滲透率也會進一步推動以AI推理芯片為核心的資本投入的增長。

因此，在中美的動態競爭中，雙方在政策導向、核心目標與技術路線上存在一定差異：美國更側重于占據技術制高點，并將其作為經濟增長的核心錨點；而中國的核心在于加速應用市場發展，特別是提升AI推理芯片的國產化替代速度。

同時，我覺得剛才幾位分享嘉賓都講到一個非常重要的事情，當前國內芯片產業最大的挑戰在于軟件與生態建設。在這方面，我們也有自己的布局與思考。

最近在香港的一次峰會上，我們的董事長跟AI先驅Hinton（杰弗里·辛頓）有過一次對話，Hinton一直擔心，AI的發展速度過快，而相應的倫理與安全規范卻未能同步跟上。另外他還提到，“只致力于讓AI更聰明而不考慮應用，這是個大錯誤。”這個應用，包含生態、倫理、安全、監管等一系列問題。

對我們而言，不僅要在技術上不斷精進，更要追求普惠與向善的目標，讓AI真正以可承受的成本解決生產力問題，為各行各業創造價值。

GPNPU=生態兼容 + 能效特長 + 存儲突破

在推理上，始終存在“性能-成本-精度”三角權衡挑戰的關系。

云天勵飛自進入該賽道起，便從小模型時代出發，基于自研NPU指令集，堅持走AI普惠與極致性價比的路線，通過算法與算力的一體化設計，在邊緣側及城市各類場景中深化應用。

隨著模型規模擴大與應用范式多樣化，技術路線大致分為三類：

以CUDA生態為代表的GPGPU主要解決大集群訓練問題；

NPU則繼續在極致能效與功耗上發揮優勢；

針對云端推理，行業共識正趨向于GPNPU。

我們則從專用架構走向更通用的設計。兩條技術路線正在不斷重疊與融合。

國內云端大算力推理芯片的技術路線選擇，我們列了一個公式：

GPNPU=GPGPU+NPU+3DM

其核心任務是：

軟件生態盡可能兼容CUDA。

保持NPU設計的高效性與模型親和性。

確保芯片在產業化應用中實現高算力利用率。

此外，在大模型推理規?；涞兀ㄓ绕浣獯a階段）中，性能瓶頸往往不再只體現在算力本身，而是更突出地體現在顯存容量、互聯帶寬以及節點間互聯帶寬等系統約束上。在高端存儲如HBM供應受限的背景下，我們必須尋求更多解決方案。因此，我們全力支持3D Memory技術路線，這是在國產化、大容量、高帶寬方向實現突破的關鍵，只有更多廠商支持，該技術的產業化與商業化成熟度才能加速。

未來，云端AI基礎設施必將走向異構化與高性價比方向。這不僅體現在單個模型的計算與訪存分離，也體現在需用不同規模的模型服務不同場景需求。

如同一個公司不會全部雇傭博士生，合理的性價比配置才能實現高效產出。其核心公式可簡化為：（資本開支CAPEX + 營運成本OPEX）÷（加速卡吞吐量 × 設備利用率）。

很重要的是，現在的大模型推理為什么要做PD分離？因為P和D階段完全不一樣，P階段是計算密集型，而D階段絕大部分時候，算力在等數據搬運。

如何更高效地解決這個問題？我們通過數據格式優化、模型量化等一系列算法技術，在確保模型精度的前提下，顯著提升了計算與數據搬運的實際效率，從而持續降低了單位Token的推理成本。

目前，國內云廠商的Token報價多以百萬為單位，成本普遍在10元以上，無服務水平協議保障的模型調用成本甚至超過20元。我們認為，未來三到五年，百萬Token成本必須降至1元人民幣以內，才能支撐“人工智能+”計劃所要求的滲透率目標。

最后，簡單講一下云天勵飛，公司自2024年創立以來，始終秉持“算法+芯片”雙輪驅動的技術路徑，目前芯片已迭代至第四代。第五代芯片將全面轉向GPNPU架構，并在原有自主設計的NPU指令集及多年行業技術積累基礎上，向通用推理方向演進。

2020年，公司全面轉向國內工藝體系，并成為國內最早實現D2D Chiplet技術的企業之一，該工藝是突破算力制約的關鍵路徑，也是國產算力芯片發展的共同方向。

在存儲技術方面，我們認為3DM是國產工藝未來實現突破的重要方向。盡管目前可采用海外HBM3e乃至后續產品，但其產業鏈與供應鏈仍存在較大不確定性，因此我們堅持全面推進國產化，致力于發展3DM等突破性工藝，并期待更多芯片企業加入，共同推動產業成熟。

在本代商用芯片中，我們通過一次流片即可封裝出適用于端、邊、云等多種場景的系列芯片，算力覆蓋8T、16T、64T直至128T，其中最高規格的Edge200芯片可完整支持深度推理任務。

從公司愿景出發，云天勵飛致力于全面擁抱人工智能浪潮。無論是在智能硬件、智能攝像頭、具身智能、人形機器人還是云推理等領域，我們均圍繞“端邊云”體系布局了三條芯片產品線：“深穹”面向云推理，“深界”專注于端側NPU芯片，“深擎”則是面向人工智能的SoC芯片。我們期待基于國產工藝，全面推動AI技術的落地與應用。

以上是我的分享，謝謝大家。