2024全球AI芯片峰會(GACS 2024)近期在北京舉行。本屆峰會以「智算紀元 共筑芯路」為主題,全面展示AI芯片產業在算力、網絡、存儲、軟件、系統及應用方面的前沿技術、最新成果與落地進程。

云天勵飛副總裁、芯片產品線總經理李愛軍受邀參加峰會,并在大會上介紹了“算力積木”AI芯片架構。

李愛軍在演講中提到,大模型的落地給邊緣AI芯片帶來全新挑戰。

場景具有豐富性和碎片性的特點,用于邊緣的大模型的參數量從1.8B到13B不等,不同場景應用對算力、內存、帶寬的要求也不盡相同。因此,邊緣AI芯片需要有很強的靈活性和擴展性,以滿足不同大模型落地不同場景的需求。

在此背景下,云天勵飛提出了“算力積木”AI芯片架構,讓芯片能夠像搭積木一樣靈活組建、靈活擴展。

去年底云天勵飛正式發布的DeepEdge10系列芯片就是采用“算力積木”架構設計的。

DeepEdge10系列芯片基于一個標準化的大模型計算單元打造,可實現1.8B大模型的實時高效推理。通過D2D Chiplet技術、C2C Mesh技術和C2C Mes Torus技術,云天勵飛將標準計算單元像搭積木一樣,封裝成不同算力的芯片,可實現7B、14B、130B等不同參數量大模型在邊緣端的高效推理。

在標準化算力單元方面,云天勵飛也做了許多技術上的創新,以實現大模型在邊緣端的高效推理。

一是設計了近存計算架構,可實現Transformer計算的超低延時。通過可編程路由引擎,可以實現高效分布式的并行計算。

二是通過自研的多Router協同機制,可以有效地提高大模型的參數數據響應速度,滿足高效推理的需求。

三是在C2C Mesh Torus結構上,通過自適應Router結構,減少數據搬運次數,減少計算對帶寬的需求。

通過上述技術創新,云天勵飛實現了8×16個標準“算力積木”單元的Mesh Torus架構互聯,可提供2048Tops統一管理智能算力、512GB統一尋址內存容量、3840GB/s統一調度內存帶寬。

未來,云天勵飛還會推出基于Mesh Torus架構的大模型邊緣推理一體機:IPU X6000-Mesh 4U Server,以高峰值算力與突出的能效比支持大模型的單機部署,包括7B、70B、MoE等主流大模型的邊緣側推理部署。

云天勵飛一直堅持走芯片自主研發路線,希望能夠通過架構創新,在國產工藝上實現芯片性能的突破,為行業帶來更高性價比的產品。