2024年9月30日消息，國家知識產(chǎn)權(quán)局信息顯示，芯原微電子（上海）股份有限公司申請一項(xiàng)名為“大語言模型數(shù)據(jù)管理方法、裝置、電子設(shè)備及存儲介質(zhì)”的專利，公開號 CN 118709781 A，申請日期為2024年6月。

專利摘要顯示，本申請旨在提供一種大語言模型數(shù)據(jù)管理方法、裝置、電子設(shè)備及存儲介質(zhì)，涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域。大語言模型數(shù)據(jù)管理方法包括：在所述注意力層進(jìn)行非首輪推理的情況下，將目標(biāo)矩陣輸出至所述注意力層，以使所述注意力層基于所述目標(biāo)矩陣計(jì)算前一輪推理生成的鍵向量和值向量；其中：所述目標(biāo)矩陣存儲在所述存儲單元內(nèi)，所述目標(biāo)矩陣包括初始向量和N個(gè)累加向量；在所述注意力層基于所述鍵向量和所述值向量完成當(dāng)前輪次的推理后，基于所述累加向量對所述存儲單元內(nèi)的目標(biāo)矩陣進(jìn)行累加。通過上述方式，可以減少大語言模型不斷推理過程中存儲器所需緩存的數(shù)據(jù)量。