2 月 18 日消息，DeepSeek 今日官宣推出 NSA（Native Sparse Attention），這是一種硬件對齊且原生可訓(xùn)練的稀疏注意力機制，用于超快速長上下文訓(xùn)練與推理。

NSA 的核心組件包括：

動態(tài)分層稀疏策略

粗粒度 token 壓縮

細(xì)粒度 token 選擇

DeepSeek 官方表示，該機制可優(yōu)化現(xiàn)代硬件設(shè)計，加速推理同時降低預(yù)訓(xùn)練成本，并且不犧牲性能。在通用基準(zhǔn)、長上下文任務(wù)和基于指令的推理上，其表現(xiàn)與全注意力模型相當(dāng)或更加優(yōu)秀。

附論文鏈接：