近日,天翼云DeepSeek模型推理技術(shù)迎來重大升級。該技術(shù)不僅支撐DeepSeek-R1滿血版模型實現(xiàn)性能的四倍提升,更將大規(guī)模部署模型的成本降至原來的25%以下,為AI應(yīng)用落地鋪就更為寬廣的道路。

此次技術(shù)升級主要體現(xiàn)在量化技術(shù)賦能及通信傳輸優(yōu)化兩大層面。其中,天翼云針對模型的浮點計算進行深度優(yōu)化,使用高效量化算法,大幅減少計算資源消耗,提升推理速度,同時保證性能不打折。

通信傳輸方面,天翼云通過優(yōu)化通信算子編排與通信方式,顯著提升MoE模型推理中的通信效率,助力DeepSeek-R1模型的整體處理能力再上新臺階。

基于兩大技術(shù)升級,天翼云提供的DeepSeek-R1滿血昇騰版每實例性能提升至原版本207%,首字輸出仍保持百毫秒級響應(yīng);每實例部署所需機器數(shù)減少一半,僅為兩臺。
此次升級DeepSeek-R1為行業(yè)的大規(guī)模AI應(yīng)用提供了更完善的解決方案。DeepSeek-R1滿血昇騰版整體部署成本降至原來25%以下,意味著企業(yè)可以在不增加太多預(yù)算的情況下,享受到更強大、更高效的AI服務(wù),加速了AI技術(shù)的普及與應(yīng)用。
目前,天翼云“息壤”智算平臺已有多款產(chǎn)品支持部署DeepSeek,為行業(yè)提供了性能卓越、安全可控的智能算力基座,以普惠AI應(yīng)用服務(wù),不斷促進國產(chǎn)AI生態(tài)繁榮。

科技創(chuàng)新的目標是解決實際應(yīng)用,促進行業(yè)進步。天翼云始終堅持科技創(chuàng)新,將技術(shù)升級與市場需求緊密結(jié)合,加速AI技術(shù)從理論走向?qū)嵺`,從實驗室走向生產(chǎn)線。未來,天翼云將繼續(xù)探索更多前沿AI技術(shù)路徑,為廣大開發(fā)者和用戶提供更優(yōu)質(zhì)、更具性價比的模型服務(wù),推動AI應(yīng)用普惠化,共筑數(shù)字中國的智慧未來。





京公網(wǎng)安備 11011402013531號