谷歌（Google）正式宣布推出Coral NPU，一個面向邊緣人工智能（Edge AI）的開源全棧平臺。這一平臺旨在解決當前邊緣 AI 設備面臨的核心挑戰，使大型、現代的人工智能模型（LLMs）直接嵌入到智能手表、耳機和各類傳感器等對功耗極度敏感的微型設備中，并首次實現在智能手表、耳機或傳感器等小型設備上實現全天候運行。

（Github Coralnpu）

近年來，云端大模型的強大創造力、推理和輔助能力已經從根本上重塑了我們對技術的期望。谷歌認為，下一個重大的技術飛躍，不在于讓模型更大，而在于讓智能更貼近我們。

要讓 AI 成為真正的貼身助手，主動幫我們規劃日程、實時翻譯對話、或理解我們的物理環境，它就必須在我們佩戴和攜帶的設備上運行。這就導向了當前行業的核心挑戰：如何將“環境 AI”（ambient AI）植入電池容量極其有限的邊緣設備，使其在實現全天候輔助的同時，確保用戶數據的絕對隱私。

Coral NPU 的目標就是實現極致的能源效率，讓 AI 模型在僅消耗幾毫瓦功率的情況下運行，從而擺脫對云端連接的依賴，并從根本上增強設備的隱私保護能力。

谷歌指出，要將 AI 從云端遷移到個人設備，首先要解決三個根深蒂固的難題：一是性能鴻溝，即現代模型所需的龐大算力與微型設備有限資源之間的矛盾；二是碎片化的成本，即面對硬件與軟件工具鏈的嚴重碎片化，開發者需要為一個充斥著各種專有處理器的、高度碎片化的市場編譯和優化 ML 模型，而這一過程極其困難且成本高昂；三是用戶信任，面對數據傳輸至云端處理帶來的隱私泄露風險，個人 AI 必須將個人數據的隱私與安全置于首位。

傳統上，低功耗邊緣設備的開發者面臨一個根本性的權衡：要么選擇通用 CPU，它們靈活且軟件支持廣泛，但缺乏針對 ML 工作負載的專用架構，導致性能低下且能效比差；要么選擇專用加速器，它們 ML 效率高，但“不靈活、難以編程，且不適合通用任務”。

其次，這種硬件困境被一個高度碎片化的軟件生態系統放大了。CPU 和 ML 模塊的編程模型截然不同，開發者常常被迫使用專有編譯器和復雜的指令緩沖。這造成了陡峭的學習曲線，使行業長期缺乏一個成熟的、能有效支持多種 ML 開發框架的低功耗架構。

傳統的芯片設計思路是圍繞通用 CPU 構建，再“外掛”一個 AI 加速器。這種架構在處理“常駐”的、持續性的 AI 任務時效率低下。Coral NPU 的出現則開辟了一條新的思路。它不再以 CPU 為中心，而是將負責運行神經網絡核心數學運算的“矩陣引擎”置于芯片設計的核心位置。這一神經處理單元（NPU）架構，結合了一個小型的 RISC-V 控制核心 和一個 RVV 1.0 向量單元，未來還將推出量化外乘矩陣單元。

這種以“AI 優先”（AI-first）為先的架構，Coral NPU 旨在實現極高的能效比。其目標性能是每秒執行約 5,120 億次操作（512GOPS），而功耗則控制在毫瓦級別。這種性能與功耗的平衡，對于需要 24/7 全天候運行 AI 功能且電池容量極其有限的小型 AI 設備而言，堪稱一次飛躍。

（Google for Developers）

同時，Coral NPU 還是一個“全棧”平臺。為了解決工具鏈碎片化的問題，谷歌為其配備了一個統一的編譯器堆棧。該堆棧基于 MLIR、IREE 和 TensorFlow Lite Micro 等開源技術。其核心優勢在于，開發者只需編寫一次模型代碼，就能在任何基于 Coral NPU 架構的芯片上運行，真正實現模型的跨硬件無縫遷移。這極大地降低了開發門檻，使開發者無需再為每一個品牌的硬件重寫和優化代碼。

在解決“信任赤字”方面，Coral NPU 的一個核心原則是通過“硬件強制安全”（hardware-enforced security）來建立用戶信任。其架構正在被設計為支持像 CHERI 這樣的新興技術，該技術能提供細粒度的內存級安全和可擴展的軟件分區。谷歌希望通過這種方法，將敏感的 AI 模型和個人數據隔離在一個“硬件強制的沙箱”中，以有效抵御基于內存的攻擊。

谷歌將 Coral NPU 視為邊緣 AI 的新開放標準，而這一愿景已開始落地。據悉，芯片設計公司 Synaptics 已經開始采用這種新設計來構建其下一代芯片，證明了該平臺不僅僅停留在理論階段。Coral NPU 的開源和全棧特性，有望催生下一代真正智能且持久續航的邊緣設備，從根本上改變用戶與可穿戴設備和傳感器的交互方式。

參考資料：

1.https://developers.googleblog.com/en/introducing-coral-npu-a-full-stack-platform-for-edge-ai/

2.https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/

3.https://github.com/google-coral/coralnpu

運營/排版：何晨龍