智東西12月6日報道，為期兩天的2024中國生成式AI大會（上海站）今日圓滿收官。

兩天內，51位產學研投嘉賓代表密集輸出干貨爆棚，大會報名咨詢人數超4000人，超過1200位觀眾到場參會。其中，在主會場進行的大模型峰會、AI Infra峰會的線上觀看人次更是超過104萬。

現場參會觀眾們的熱情十分高漲，主會場、分會場座無虛席，展覽區附近的產業交流也十分活躍，15家企業的諸多新產品新技術都引起了廣泛關注和討論。

▲大會展區

此次大會以“智能躍進 創造無限”為主題，51位產學研投嘉賓代表基于前瞻性視角解構和把脈生成式AI的技術產品創新、商業落地解法、未來趨勢走向與前沿研究焦點。

今天的AI Infra峰會上，上海交通大學副教授、無問芯穹聯合創始人兼首席科學家戴國浩認為，業界更應該關注單位算力如何實現更高效的token吞吐，大模型實際可用算力不僅取決于芯片理論算力，還可通過軟硬協同優化提高算力利用效率，通過多元異構適配放大整體算力規模。

北電數智智算云負責人郭文，GMI Cloud亞太區總裁King.Cui，阿里云智算集群產品解決方案負責人叢培巖，中昊芯英芯片軟件棧負責人朱國梁，光羽芯辰創始人兼董事長周強分別對全棧AI工廠、AI企業出海如何補齊算力短板、高性能智算集群、國產TPU芯片“No CUDA”軟件棧、通向個人大模型之路幾個主題進行了分享。

楓清科技創始人兼CEO高雪峰，聲網生成式AI產品負責人毛玉杰，騰訊云向量數據庫技術負責人謝宇，Jina AI聯合創始人兼首席技術官王楠，Zilliz合伙人、研發VP欒小凡，英飛流創始人兼CEO張穎峰，Alluxio首席架構師傅正佳分別針對“從數據到知識：AI重塑百行千業的基石”、“生成式AI驅動實時互動的技術變革與體驗革新”、“TencentVDB向量數據庫”、“RAG范式下AI Infra的機遇和挑戰”、“RAG雖強，但向量數據庫絕非萬靈藥”、“新一代企業級多模態RAG引擎”、“高性能AI數據底座”帶來了精彩演講。

下午場的圓桌討論聚焦“大模型行至深水區，AI Infra的新變化與新機會”，由德聯資本執行董事劉景媛主持，Alluxio首席架構師傅正佳，Zilliz合伙人、研發VP欒小凡，英飛流創始人兼CEO張穎峰三位嘉賓給出了自己的真知灼見。

大會首日，17位嘉賓暢談大語言模型、多模態大模型、具身智能、AI原生應用、音樂生成、3D AIGC、AI智能體的行業應用、垂類行業大模型等前沿議題。

除了大會首日主會場進行的大模型峰會，以及今天主會場的AI Infra峰會，大會分會場也在這兩天分別組織了端側生成式AI技術研討會、AI視頻生成技術研討會與具身智能技術研討會，17位青年學者和技術專家帶來了報告分享，后續將會上架這三場收費制研討會的回放。

一、從智算集群到原生加速技術棧，聚焦產業落地痛點突破大模型算力瓶頸

AI的發展帶來了巨大的數據、算力以及能源挑戰，作為支撐大模型運行以及生成式AI應用開發的關鍵，AI Infra也走到了臺前，發展勢頭強勁。

如何打造優質的智算中心，如何實現AI從芯片到應用端全產業鏈的高效協同？多位嘉賓給出了自己的深入見解。

1、上海交通大學副教授、無問芯穹聯合創始人兼首席科學家戴國浩

Scaling Law之下，數據成為制約AI繼續發展的因素之一。以GPT-o1為代表的推理模型可以突破數據瓶頸，但計算范式的轉變使算力需求呈指數級增長，可能導致硬件系統能耗開銷供不應求，對行業的可持續發展構成挑戰。

對此，戴國浩教授指出，當下業界更應該關注單位算力如何實現更高效的token吞吐，讓大模型的實際可用算力不僅取決于芯片理論算力，還可通過軟硬協同優化提高算力利用效率，并通過多元異構適配放大整體算力規模。他分享了其研究團隊在軟硬協同、多元異構與端側智能方面的研究進展與落地成果，這些成果能助力行業提升面向大模型場景的token吞吐效率。

2、北電數智郭文：以AI工廠填補國產算力供給側與需求側的產業鏈斷層

“產業要發展，創新不能只是停留在技術層面，更要從流程、系統和組織進行全面的創新。”北電數智智算云負責人郭文分享了從算力、算法、數據與生態方面全面構建人工智能時代AI生產線的實踐思考。

郭文稱，當下國產芯片落地人工智能產業的最大問題是，算力供給側與需求側之間存在產業鏈斷層。為此，北電數智推出首個“國產算力PoC平臺”，以北京數字經濟算力中心為載體打造具備全棧能力的AI工廠，全線適配與拉通場景、模型到芯片層面，推動智算中心從成本中心轉化為推動地區發展新質生產力中心。

3、GMI Clould King.Cui：高穩定GPU集群成AI企業全球化布局關鍵

中國AI出海加速，算力作為其中的核心生產資料正發揮重要作用。高穩定性的GPU集群能降本增效，幫助企業在AI全球化浪潮中取勝。

GMI Cloud亞太區總裁King.Cui提到，為確保GPU集群的高穩定性，他們使用了具備主動檢測功能的自研云集群引擎，實現計算、存儲和網絡資源的高效調配。

GMI Cloud是NVIDIA Top10 NCP，交付前會進行嚴格的驗證流程。GMI Cloud與IDC協作，提供備件和維修，擁有更短的交付時間，確保停機時間最小化。

4、阿里云叢培巖：靈駿智算集群不僅要實現穩定性和極致性能，更要在不同維度支持規模的極致擴展

阿里云智算集群產品解決方案負責人叢培巖預測，未來模型性能還會隨參數，數據集和算力的增長繼續提升，Scaling Law仍有增長空間，AI智算集群的設計范式轉向要以GPU為核心。

阿里云推出支持超大規模分布式訓練的靈駿智算集群，可達到10萬卡擴展規模，千卡規模線性加速比達到96%；阿里云自研磐久服務器采用CPU和GPU分離，實現單機提升至16顆GPU；網絡架構HPN7.0最大規模可連接10萬顆GPU。

智算集群穩定性至關重要，阿里云3千卡規模智算集群，在一個月內穩定訓練時長占比達99%。

5、光羽芯辰周強：解決“大模型不懂你”問題，個人大模型迎來機遇

作為與通用大模型、行業大模型、企業大模型并行發展的一大分支，個人大模型也進入了快速發展期。光羽芯辰創始人兼董事長周強稱，個人大模型解決的是“大模型不懂你”的問題，隨著手機、PC、可穿戴、XR等端側設備廠商All in AI，個人大模型之路將越走越寬。

他提到，個人大模型也稱為端側大模型，期待解決端側智能體在性能、功耗和成本方面的痛點，讓真正的AI手機走進生活。端側AI具備及時性、可靠性、成本低、隱私保護和定制化五大優勢。目前，構建端側大模型的核心是解決存儲帶寬和容量雙重問題。

6、中昊芯英朱國梁：國產TPU芯片“No CUDA”軟件棧的構建實踐

中昊芯英芯片軟件棧負責人朱國梁介紹了他們在為國產TPU芯片構建“No CUDA”軟件棧的實踐經驗。

中昊芯英剎那芯片采用VLIW指令集架構，面對龐大的CUDA生態，他們逐一解決了庫、并行計算與編程方面的問題，全自研用戶態和內核態驅動，實現了芯片的高效管理。

為做好生態兼容，中昊芯英底層軟件棧兼容PyTorch以及所有主流訓推框架，目前，中昊芯英可提供定制的端到端的云智算解決方案，并支持國產操作系統。

二、從企業智能體、向量數據庫到RAG，AI Infra基礎軟件涌現諸多新挑戰

下午場，多位嘉賓進一步分享了AI Infra領域關于智能體開發管理平臺、實時語音、向量數據庫、向量模型、RAG技術、數據編排等方面的行業觀察和深入見解。諸多新平臺、新產品、新技術走向前臺，賦能產業。

1、楓清科技高雪峰：從數據到知識，跨越生成式AI與決策智能間的鴻溝

楓清科技創始人兼CEO高雪峰談道，要將生成式AI真正應用到企業決策場景中，彌合其與決策智能之間鴻溝的技術突破點，就是在推理框架側融合符號邏輯推理。

企業智能化落地需要面臨數據孤島、數據整合、知識校驗、數據實時效等技術挑戰。楓清科技可以為企業提供知識引擎與大模型雙輪驅動的新一代智能體平臺，通過構建全鏈路優化體系，幫助企業提升數據質量，將企業本地數據知識化，并融合大模型沉淀的泛化能力，在知識網絡之上進行符號邏輯推理，實現可解釋的智能，進而使AI在多個場景下能夠實現精準、透明的決策支持，推動企業智能化轉型的順利實施。

2、聲網毛玉杰：生成式AI+實時互動，讓人機交互變成真正的心靈交互

聲網生成式AI產品負責人毛玉杰講述了生成式AI出現后實時互動（RTE，Real-Time Engagement）技術和體驗的變遷。

毛玉杰介紹，2014年至今十年，RTE從服務質量走向體驗質量；2025年開始，在生成式AI發展的背景下，RTE向AI RTE變革，開始注重跨模態體驗質量，做多模態交互、跨模態轉換，為人和模型而設計，給大模型廠商提供眼睛、耳朵和聲音能力。

毛玉杰說，目前人機對話已經達到“聽得懂”的狀態，期待下一步實現“聽得心”——讓人機交互變成真正的心靈交互。

3、騰訊云謝宇：向量數據庫助力企業挖掘更大數據價值

AI時代，向量數據庫（VDB）脫穎而出，成為連接結構化與非結構化數據的樞紐。然而，當VDB被運用于RAG場景時，多款開源RAG架構出現了召回率低的問題。

騰訊云向量數據庫技術負責人謝宇介紹，為解決上述挑戰，騰訊首先提升了復雜文檔的識別效果，并對數據處理、Embedding、檢索、總結等其他環節進行優化，最終實現了90%以上的召回率。

騰訊自研向量檢索引擎OLAMA已上線5年，日均處理8500億次檢索請求。未來，他們還將在性能、成本、業務效果、容災率等方面發力，持續提升產品表現。

4、Jina AI王楠：長文本大模型、RAG長期共存，長窗口向量模型面臨兩大挑戰

大模型存在幻覺、無法保證私有數據安全、推理成本高三大問題，Jina AI聯合創始人兼首席技術官王楠認為，RAG正是通過縮小大模型生成范圍，保證檢索準確性、實現結果可溯源，所以長本文大模型不會取代RAG，二者將長期共存。

短窗口會導致上下文背景信息丟失，因此RAG需要長窗口向量模型支持。但長窗口向量模型面臨兩大挑戰，一是推理成本和內存消耗會隨窗口長度呈平方線性增長，共享GPU是解決思路之一；二是長窗口使模型無法完整表示細顆粒度語義，解法是增加向量維度和多向量表示。

5、Zilliz欒小凡：向量數據庫落地面臨成本及擴展性挑戰，RAG轉為Graph RAG

Zilliz合伙人、研發VP欒小凡分享了向量數據庫目前面臨的挑戰以及相應解決方案。

欒小凡稱，2025年新生成的數據中，將會有80%以上是非結構化數據。在這一數據壓力下，向量數據庫的落地面臨著成本以及擴展性等方面的種種挑戰。而目前的RAG存在搜索質量難、處理長尾查詢能力差、結果難以解釋和控制、向量存儲成本高等問題。

據此，欒小凡及其團隊提出了兩個解決思路：一是混合查詢，在單個系統內支持密集嵌入、稀疏嵌入和詞匯搜索；二是Graph RAG，將知識圖譜和向量檢索結合起來。

6、英飛流張穎峰：多模態RAG新范式

英飛流創始人兼CEO張穎峰認為，RAG作為LLM時代的數據庫，目前面臨著三大挑戰——多模態文檔處理、檢索、語義鴻溝。

針對第一個問題，英飛流訓練了深度文檔理解模型，能對復雜文檔中的多模態內容進行分類處理。而在檢索這一RAG“最后一公里”的問題上，英飛流使用三路召回方案，并增加張量索引進行重排序，這一方案在多模態RAG上展現出明顯優勢。

最后，針對檢索過程中的語義鴻溝，英飛流使用GraphRAG抽取知識圖譜，并與原數據進行聯合檢索，提升檢索質量。

7、Alluxio傅正佳：零改造、無侵入策略，打造高性能AI數據底座

Alluxio首席架構師傅正佳談到了提升大規模模型訓練效率的兩大挑戰：一是數據規模不斷增長、類型更多元化，因此處理數據需要提升算力有效利用率；二是當數據喂到訓練平臺上，數據IO訪問瓶頸會導致算力處于低利用率狀態。

這一背景下，Alluxio提供了統一的數據視圖、豐富協議轉化、高性能數據訪問，以打造整體數據服務。其方案通過零改造、無侵入策略，可以使算法工程師仍按原有方式工作，無需改變已有腳本，并且客戶已經有的大量存量數據不需要進行私有化協議改造。

三、AI 2.0時代，大模型行至深水區，AI Infra迎來變革

在圓桌論壇環節，幾位嘉賓分享了對于“大模型行至深水區，AI Infra的新變化與新機會”這一主題的行業洞察，以及各自公司的產品和技術是如何解決AI應用中的核心痛點的。

作為主持人的德聯資本執行董事劉景媛提到，兩年前，ChatGPT將生成式AI推到臺前，迎來AI 2.0時代，Scaling Law和數據量的大規模增長給AI Infra帶來了非常大的增量機會。兩年后的今天大模型行至深水區，AI Infra在幫助大模型及相關產品的落地的過程中，產品邊界和功能需求逐漸明晰。

▲劉景媛

對于Infra這類研發周期長、工程復雜程度高的軟件產品，開源社區或許可以貢獻一些能量，使產品迭代及技術選型更貼合實際需求，同時提升項目本身的關注度和影響力。

另外，“go global”也幾乎成為Infra軟件的必選項，一方面有商業的考量，另外中國工程師的勤奮和工程攻堅能力全球有目共睹。值得關注的是，在資源有限的情況下也要做好取舍（無論是功能方面還是業務模式方面）。

Zilliz作為向量數據庫企業，其產品可以處理大體量非結構化數據，挖掘數據價值。對AI 2.0時代的需求變化，Zilliz合伙人、研發VP欒小凡認為，AI技術在去年被高估、今年被低估，往后看AI落地還需要等一個機會，這也是整個范式的發展機會。

談到開源，欒小凡感慨道，Zilliz目前正處于最具挑戰的階段，一方面要讓產品滿足客戶需求，另一方面要讓產品變現。

▲欒小凡

當下，AI Infra公司出海已經成為必答題。欒小凡認為出海的前提條件就是產品要有先發優勢，在擴展性、功能等方面碾壓競品。產品定制方面，欒小凡的觀點是Zilliz幾乎不做定制。原因在于其所處的賽道已經足夠大，沒有必要執著于將自己打造成大而全的平臺。

AI時代，數據量的暴增對存儲提出巨大挑戰。Alluxio首席架構師傅正佳介紹，他們通過分布式數據編排軟件系統，高效連接存儲與計算。Alluxio很早就注意到存算分離的趨勢，并在數據遠程訪問環節重點發力，回應了AI存儲挑戰。

Alluxio的存儲系統兼具開閉源版本，傅正佳認為開源幫助他們保持了與技術前沿的同步，也打出了知名度，但他們也面臨著商業化和部分開源用戶貢獻程度低的問題。Alluxio目前正積極出海，傅正佳分享，海內外團隊的優勢互補與產品的本地化是其中的關鍵。

▲傅正佳

英飛流創始人兼CEO張穎峰稱，RAG用起來很容易，但做好非常困難。公司能做成RAG的核心在于，把做系統的人和做AI的人融合在了一起去做產品。

談及開源，張穎峰說，開源是商業化的一種策略，而不是為了開源而開源；為了出海必須開源，但創業第一天就要想明白產品企業版和開發者版之間的區別。

▲張穎峰

目前英飛流的Infra產品還沒有進入商業化階段，結合過往創業經歷，張穎峰稱，商業化過程中，創始人必須對每個產品的特性和定制化的邊界有非常清晰的認識。

結語：生成式AI產業化落地加速，上中下游全產業鏈呼喚合作共贏

過去一年，生成式AI的發展度過了波瀾壯闊的一年，整個產業鏈成為全球創新、投資和應用最活躍的領域之一，每位參與者都在與時間賽跑。

Sora掀起視頻生成熱潮，多模態世界模型的研究熱度漸起。更具革命性的推理模型o1悄然出世，基座大語言模型不再持續狂飆，不僅價格戰、營銷戰硝煙燃起，融資熱度降溫，Scaling Law是否撞墻更是在年底引發熱議。

行業賦能持續進行，包括智能體在內的應用層的興起仍然備受期待。同時，大模型向邊端下沉的趨勢日趨明顯，AI手機、AI PC等AI硬件紛紛站上風口。不止AI硬件，大模型驅動下的具身智能更是熱度空前，人形機器人正開啟星辰大海。

作為智能產業的長期觀察者，我們期待見證并記錄中國生成式AI浪潮之變，并將持續邀請這股浪潮中的生力軍們，分享他們最新的技術進展與商業化探索。

隨著今日為期兩天的2024中國生成式AI大會（上海站）圓滿收官。2025年線下大會也將正式啟動，除了1月14日的全球自動駕駛峰會，圍繞AI芯片、生成式AI等領域的線下大會也已規劃上了，敬請期待。