背景描述

當(dāng)前，以人工智能技術(shù)為代表的新質(zhì)生產(chǎn)力，引導(dǎo)各行業(yè)智算需求爆炸式增長(zhǎng)。智算中心作為最重要的算力基礎(chǔ)設(shè)施，是大模型、圖像類、自然語言類、預(yù)測(cè)類等智能應(yīng)用的“動(dòng)力引擎”，為各類智能化業(yè)務(wù)場(chǎng)景提供安全、穩(wěn)定、高效的算力支撐，滿足國(guó)家和行業(yè)需求，同時(shí)可有效帶動(dòng)相關(guān)產(chǎn)業(yè)增長(zhǎng)，助力行業(yè)數(shù)智化轉(zhuǎn)型和數(shù)字中國(guó)建設(shè)。

技術(shù)架構(gòu)

飛騰積極響應(yīng)國(guó)家和行業(yè)對(duì)智算中心的迫切需求，聯(lián)合生態(tài)伙伴打造全棧國(guó)產(chǎn)化智算中心解決方案，整體系統(tǒng)架構(gòu)包括智算芯片、智算設(shè)備、智算操作系統(tǒng)、智算平臺(tái)、國(guó)產(chǎn)大模型、智能應(yīng)用等6個(gè)部分，如下圖所示。

該方案以飛騰新一代高性能CPU飛騰騰云S5000C為算力底座，兼容多款國(guó)產(chǎn)AI加速卡，實(shí)現(xiàn)通用算力與智能算力的異構(gòu)融合，以此為基礎(chǔ)研發(fā)國(guó)產(chǎn)AI服務(wù)器，設(shè)計(jì)適合大規(guī)模集群部署的智算中心網(wǎng)絡(luò)拓?fù)洌瑯?gòu)建存算一體的智算平臺(tái)體系架構(gòu)，支撐大模型訓(xùn)練推理等應(yīng)用，可為行業(yè)應(yīng)用提供從端到云的智能化算力服務(wù)。

智算中心核心單元

1.算力底座

智算中心算力底座基于飛騰新一代服務(wù)器芯片飛騰騰云S5000C和國(guó)產(chǎn)AI算力卡。其中S5000C計(jì)算性能強(qiáng)大，IO吞吐量大，支持DDR5和PCIe5.0，可滿足AI計(jì)算高帶寬、低延遲的技術(shù)需求；國(guó)產(chǎn)AI算力卡具備自主可控、靈活拓展的特點(diǎn)，在性能上不斷追趕并部分超越國(guó)際主流產(chǎn)品。

目前，飛騰騰云S5000C已與國(guó)產(chǎn)主流AI算力卡完成適配，整套智算中心算力底座具備自主化程度高、體系布局、生態(tài)開放、高可擴(kuò)展、高性價(jià)比、平滑遷移等特點(diǎn)。

2.整機(jī)

基于飛騰騰云S5000C的智算設(shè)備產(chǎn)品多種多樣，包含2U/4UAI服務(wù)器（2、4、8卡）、OAM服務(wù)器、高速交換機(jī)、全閃存儲(chǔ)服務(wù)器、智能網(wǎng)卡等，上述產(chǎn)品可單獨(dú)或自由組合形成成熟的整體方案，滿足智算中心的多樣算力需求，對(duì)標(biāo)國(guó)際先進(jìn)算力水平。

3.智算中心PoD單元

在單個(gè)機(jī)架上集成了AI服務(wù)器、存儲(chǔ)服務(wù)器、管理服務(wù)器、交換機(jī)等設(shè)備，用于深度學(xué)習(xí)模型的大規(guī)模訓(xùn)練和推理。PoD單元可支持32張加速卡協(xié)同工作，采用200G低延遲網(wǎng)絡(luò)和固態(tài)存儲(chǔ)方案，既可作為獨(dú)立計(jì)算設(shè)備實(shí)現(xiàn)開箱即用，亦可作為AI服務(wù)器集群的基本組成單元，實(shí)現(xiàn)大規(guī)模集群配置。目前PoD單元已適配多家廠商AI加速卡，打造出從高性能到高性價(jià)比的多套配置方案，具備超強(qiáng)算力、超強(qiáng)拓展性、超高易用性、低TCO、可一體化交付的特點(diǎn)。

4.千卡萬卡集群

基于PoD單元模式可將AI服務(wù)器集群擴(kuò)展至千卡、萬卡規(guī)模，形成AI算力彈性資源池，借助智算平臺(tái)管理軟件和高性能網(wǎng)絡(luò)互聯(lián)技術(shù)，實(shí)現(xiàn)算力資源統(tǒng)一納管、高效調(diào)度、智能運(yùn)維。AI服務(wù)器集群支持大規(guī)模的數(shù)據(jù)處理和復(fù)雜的計(jì)算任務(wù)，適用于大模型訓(xùn)練推理場(chǎng)景，性價(jià)比高于國(guó)際主流集群方案，可為各類智能應(yīng)用提供強(qiáng)大、可控的智能算力。

以450個(gè)POD、1800臺(tái)4U 8卡服務(wù)器、14400張AI加速卡為例

5.大模型適配

基于飛騰AI算力底座適配了LLama系列、智源、云天勵(lì)飛，智譜華章、通義千問、百川智能等開源大模型，可開展全量訓(xùn)練、微調(diào)、推理等技術(shù)，滿足不同行業(yè)場(chǎng)景客戶的需求。攜手國(guó)內(nèi)加速卡廠商，訓(xùn)練場(chǎng)景上，適配Megatron-LM、deepspeed等流行訓(xùn)練框架；推理場(chǎng)景適配vllm推理框架，通過集群性能整體優(yōu)化，實(shí)現(xiàn)云端大批量、高效率的訓(xùn)練、推理任務(wù)。

實(shí)際測(cè)試結(jié)果顯示，4機(jī)32卡，70B大模型訓(xùn)練達(dá)到249tokens/s/p，性能達(dá)到x86+國(guó)外主流AI產(chǎn)品的93%左右，整機(jī)成本為其85%。綜合性價(jià)比是其109%。通過性能和整機(jī)成本的持續(xù)優(yōu)化，性價(jià)比會(huì)進(jìn)一步提升。

方案優(yōu)勢(shì)

飛騰智算中心方案具有以下6點(diǎn)優(yōu)勢(shì)：

1.自主化程度高????

智算中心底座全棧均采用國(guó)產(chǎn)產(chǎn)品（CPU、整機(jī)、AI卡、網(wǎng)卡、交換機(jī)等）。

2.體系布局

覆蓋芯片、整機(jī)、集群、軟件、大模型等，打造云、邊、端全棧技術(shù)體系。

3.生態(tài)開放??????????

兼容國(guó)內(nèi)外主流智算產(chǎn)品技術(shù)路線，智算生態(tài)開放。

4.高可擴(kuò)展

擴(kuò)展性強(qiáng)，集群規(guī)?？蓴U(kuò)展至千卡萬卡級(jí)別，支持多種AI卡異構(gòu)混合并行。

5.高性價(jià)比

性價(jià)比高于國(guó)外產(chǎn)品，并可持續(xù)優(yōu)化。

6.平滑遷移

兼容CUDA生態(tài)，可輕松實(shí)現(xiàn)軟件系統(tǒng)遷移，遷移工具豐富、成本低。

典型應(yīng)用案例

飛騰國(guó)產(chǎn)智算中心解決方案特別適用于國(guó)家機(jī)關(guān)和央企各行業(yè)，包括：政務(wù)、金融、電信、電力、能源、交通、教育等，支持私有化部署及快速靈活擴(kuò)展，現(xiàn)已在物流、交通、金融服務(wù)等央企落地應(yīng)用。

典型案例1

● 某央企百億參數(shù)級(jí)別大模型項(xiàng)目，支持代碼撰寫、文檔自動(dòng)生成處理等辦公場(chǎng)景，支持自動(dòng)控制及故障預(yù)測(cè)等系統(tǒng)使用，實(shí)現(xiàn)設(shè)備智能運(yùn)控。

● 方案選型：采用飛騰騰云S5000C的國(guó)產(chǎn)AI服務(wù)器方案替換N廠方案，移植成本低，兼性價(jià)比高，實(shí)現(xiàn)算力納管及LLAMA2大模型訓(xùn)練。

典型案例2

● 某央企園區(qū)智慧化管理平臺(tái)項(xiàng)目，基于園區(qū)部署的多路高頻攝像頭采集數(shù)據(jù)，通過算法實(shí)時(shí)分析視頻流，實(shí)現(xiàn)園區(qū)作業(yè)安全管控和災(zāi)害智能識(shí)別，提供智能運(yùn)營(yíng)決策和智能助理服務(wù)，同時(shí)開展大模型訓(xùn)練和視覺模型等多種業(yè)務(wù)。

● 方案選型：采用飛騰CPU+國(guó)產(chǎn)AI卡+麒麟操作系統(tǒng)的全國(guó)產(chǎn)化方案，近200張訓(xùn)練推理卡，支持33B模型全量訓(xùn)練、增量預(yù)訓(xùn)練和微調(diào)。

典型案例3

● 某金融企業(yè)大模型應(yīng)用平臺(tái)項(xiàng)目，提供大模型訓(xùn)練服務(wù)，支持金融風(fēng)控、貸款征信等業(yè)務(wù)場(chǎng)景。

● 方案選型：采用飛騰智算中心一體化PhyPOD方案，快速搭建PhyPOD節(jié)點(diǎn)集群，通過200G網(wǎng)絡(luò)交換機(jī)實(shí)現(xiàn)多臺(tái)4U8卡AI服務(wù)器、存儲(chǔ)服務(wù)器的高速互聯(lián)，支持金融大模型訓(xùn)練、微調(diào)、推理。