11月28-29日，為期兩日的WISE2024 商業(yè)之王大會(huì)于北京隆重召開(kāi)，作為中國(guó)商業(yè)領(lǐng)域的全明星盛典，WISE大會(huì)今年已經(jīng)是第十二屆，在不斷變化的時(shí)代里見(jiàn)證著中國(guó)商業(yè)的韌性與潛力。

2024，是有些模糊且變化多于穩(wěn)定的一年。相比過(guò)去十年，大家的腳步正放緩，發(fā)展更加理性。2024，也是尋求新的經(jīng)濟(jì)動(dòng)力的一年，新的產(chǎn)業(yè)變化對(duì)每個(gè)主體的適應(yīng)性提出了更高的要求。今年WISE大會(huì)以Hard But Right Thing（正確的事）為主題，在2024，什么是正確的事，成為我們更想交流的話題。

當(dāng)日，「后摩智能」副總裁倪曉林帶來(lái)了主題演講，分享了AI與NPU背后所蘊(yùn)含的無(wú)限可能與深遠(yuǎn)影響。

以下為演講內(nèi)容（經(jīng)整理編輯）

倪曉林：尊敬的各位來(lái)賓大家好！

我是來(lái)自「后摩智能」的倪曉林，「后摩智能」是一家基于存算一體的AI芯片公司。今天每個(gè)環(huán)節(jié)都在講AI，各種AI大模型、AI設(shè)備、AI應(yīng)用場(chǎng)景都在飛速發(fā)展。作為AI大時(shí)代的參與者、見(jiàn)證者，我們感到非常榮幸。下面與大家分享后摩智能對(duì)于邊端側(cè)AI算力需求變化的一些看法。

后摩智能

2022年11月OpenAI發(fā)布ChatGPT3.5，標(biāo)志著AI 2.0時(shí)代的到來(lái)；2023年，大批的本地大模型發(fā)布。AI開(kāi)始沿著兩個(gè)路徑同時(shí)高速發(fā)展。云端模型持續(xù)沿著scaling law向前演進(jìn)，模型規(guī)模和參數(shù)繼續(xù)增加，不斷探索通用智能的邊界。例如去年發(fā)布的GPT4的參數(shù)就高達(dá)1500B，也就是15000億個(gè)參數(shù)。但追求高通用性、高智商的同時(shí)，也帶來(lái)了超高的投入和高昂的運(yùn)營(yíng)成本。目前已經(jīng)有大批的玩家開(kāi)始退出了這個(gè)攀高的賽道。

與此同時(shí)，端邊側(cè)出現(xiàn)了更適合本地部署的7B，13B，30B等模型，和大型通用智能相比，這些模型更適合進(jìn)入千行百業(yè)，解決各類實(shí)際問(wèn)題。和云端“萬(wàn)模齊發(fā)，百模爭(zhēng)霸”相比，端側(cè)無(wú)疑擁有更大的應(yīng)用規(guī)模，每年全球新增智能設(shè)備高達(dá)數(shù)十億臺(tái)，全球端邊側(cè)的規(guī)模想象空間更大、前景更廣闊。

另外，端邊側(cè)的AI具有個(gè)性化更懂你、低時(shí)延實(shí)時(shí)性、數(shù)據(jù)隱私等優(yōu)點(diǎn)，例如AI PC，它具有了解你個(gè)人信息的專屬Agent、根據(jù)你歷史文檔建立的本地?cái)?shù)據(jù)庫(kù)等。

當(dāng)然，目前我們看到更多的討論還是云端模型，端邊側(cè)模型的還沒(méi)有得到普及，我想除了這些軟件的因素以外，還有一個(gè)很重要的影響就是硬件。端側(cè)對(duì)的硬件要求和云端不同，可以總結(jié)為“三高三低”：高算力、高帶寬、高精度、低功耗、低延時(shí)、低成本。

CPU顯然無(wú)法滿足全部要求，GPU雖然可以滿足三高，但同時(shí)其高成本和高功耗又大大限制了端側(cè)設(shè)備的普及使用。例如如果本地運(yùn)行30B模型，我們需要一塊4090顯卡，但將近2萬(wàn)塊錢(qián)的成本和近500W的功耗讓絕大部分設(shè)備都無(wú)法承受。

和云端“訓(xùn)練”場(chǎng)景為主不同，邊端側(cè)大模型基本都以“推理”場(chǎng)景為主。專為本地大模型設(shè)計(jì)的NPU相信更加適合邊端側(cè)的使用。比如我們可以用十分之一的功耗實(shí)現(xiàn)GPU相同的算力，同時(shí)NPU自帶大內(nèi)存，無(wú)需通過(guò)系統(tǒng)總線占用系統(tǒng)內(nèi)存，就完全可以流暢獨(dú)立運(yùn)行。NPU的成本也大大優(yōu)于GPU，讓現(xiàn)有設(shè)備+AI成為可能。

面對(duì)邊端設(shè)備對(duì)AI高帶寬、低功耗等需求，傳統(tǒng)的馮.諾伊曼架構(gòu)已經(jīng)面臨巨大挑戰(zhàn)，特別是存儲(chǔ)墻和功耗墻相信很多企業(yè)都已經(jīng)苦不堪言。

存儲(chǔ)墻，是指因?yàn)榭偩€帶寬有限，嚴(yán)重限制了數(shù)據(jù)傳輸?shù)乃俣取?/p>

功耗墻，是指90%以上的功耗是耗費(fèi)在數(shù)據(jù)的搬運(yùn)中，而不是真正需要的計(jì)算和處理。

面對(duì)這兩堵高墻，后摩智能采用存算一體的全新架構(gòu)，實(shí)現(xiàn)了存儲(chǔ)單元和計(jì)算單元的高度集成，計(jì)算直接在存儲(chǔ)單元完成，使得功耗大幅下降，帶寬大幅增加。

存算一體的AI芯片實(shí)現(xiàn)了AI能效比2-3個(gè)數(shù)量級(jí)提升。算力密度提升高達(dá)50%，時(shí)延較傳統(tǒng)架構(gòu)芯片更是有數(shù)倍提升。這些特點(diǎn)都非常適合邊端側(cè)AI大模型的需求。

后摩智能

目前，后摩智能已經(jīng)自研了兩代存算一體芯片架構(gòu)，針對(duì)LLM類大模型，進(jìn)行了專項(xiàng)設(shè)計(jì)。

主要體現(xiàn)在：

1、基于存算一體自研IPU架構(gòu)，提供高并行的浮點(diǎn)和整型算力，自研SFU支持多種非線性算子；自研RVV多核提供了超大通用算力，可靈活支持各類LLM/CV算法；自研C2C接口，具備多顆芯片級(jí)聯(lián)擴(kuò)展特性，實(shí)現(xiàn)更大模型的部署。

2、配套的后摩大道軟件工具鏈，簡(jiǎn)單易用，兼容通用編程語(yǔ)言。適配存算架構(gòu)的算子庫(kù)，高效利用存算IP所帶來(lái)的性能/功耗優(yōu)勢(shì)，提升部署上線時(shí)間。

2023年和2024年，我們已經(jīng)分別推出了后摩鴻途??H30和后摩漫界??M30兩款NPU芯片，充分展現(xiàn)出了存算一體架構(gòu)在算力和功耗方面的巨大優(yōu)勢(shì)。以M30為例，100Tops的強(qiáng)大算力，僅需12W的功耗。

在此提前預(yù)告一下，2025年，后摩將推出基于新一代“天璇”架構(gòu)的最新款芯片，性能將再一次大幅提升，相信這款芯片可以加速端邊設(shè)備部署大模型的進(jìn)程。

后摩智能

為了方便AI設(shè)備方案商及生產(chǎn)商快速部署，我們不僅提供芯片，還提供多種標(biāo)準(zhǔn)化產(chǎn)品形態(tài)，包括力謀??LM30智能加速卡（PCIe）、力謀??SM30計(jì)算模組（SoM）等。對(duì)于現(xiàn)有各類終端設(shè)備，通過(guò)標(biāo)準(zhǔn)接口加裝NPU，就可實(shí)現(xiàn)本地AI大模型的流暢運(yùn)行。

2009年的移動(dòng)互聯(lián)網(wǎng)興起，讓我們的手機(jī)從功能機(jī)變成了智能機(jī)。2016年物聯(lián)網(wǎng)的爆發(fā)，讓我們身邊越來(lái)越多的設(shè)備變成了智能設(shè)備。這些智能設(shè)備，在現(xiàn)有方案上，通過(guò)+AI+NPU的方式，將再次進(jìn)化，成為AI大模型使能設(shè)備。

比如PC，我們看到聯(lián)想已經(jīng)在大面積推廣AI PC了。汽車AI座艙、AI TV、AI會(huì)議大屏、AI具身智能機(jī)器人等，它們會(huì)成為更懂你、更聰明、更高效的助理、秘書(shū)、司機(jī)、文案、美工、程序員、輔導(dǎo)老師等等，為我們提供各種服務(wù)。希望通過(guò)后摩智能的AI芯片，助力大家實(shí)現(xiàn)快速升級(jí)。

1999 年到 2008 年，互聯(lián)網(wǎng)讓中國(guó)幾乎所有的行業(yè)重做了一遍；2009 年到 2018 年，移動(dòng)互聯(lián)網(wǎng)把中國(guó)幾乎所有行業(yè)又重做了一遍。我們相信，未來(lái)10年的AI大模型時(shí)代，NPU將重塑所有端邊場(chǎng)景，所有的端邊設(shè)備，都將再重做一遍！

希望與在座各位所有AI的企業(yè)、AI生態(tài)的合作伙伴一起多多溝通，我們一起合作攜手，通過(guò)“+AI”的方式，使現(xiàn)有設(shè)備，以及未來(lái)將誕生的各種全新型設(shè)備，都能夠流暢地運(yùn)行AI大模型，期待我們一起攜手共創(chuàng)AI的新時(shí)代，謝謝大家！