在數字化時代的洪流中，人工智能（AI）如同破繭的鳳凰，展翅高飛。這篇文章深入剖析了AI系統崛起的三大支柱：海量數據的積累、計算能力的飛躍以及機器學習算法的突破性進展。

隨著移動互聯網的發展，移動應用積累了海量的用戶行為數據，這些數據不僅推動了AI算法的進步，也促進了AI系統的發展。

一、規模數據驅動

隨著數字化的發展，各種信息系統沉淀了大量的數據。AI算法利用數據驅動（Data Driven）的方式解決問題，從數據中不斷學習和提取規律與模型，以完成分類和回歸等任務。

互聯網公司擁有大量的用戶，規模龐大的數據中心，信息系統不斷完善，因此可以較早沉淀出大規模的數據，并應用人工智能技術，投入研發創新人工智能技術。

互聯網服務和數據平臺給深度學習帶來了大數據。隨著移動互聯網的日益普及，移動應用的發展可謂日新月異，應用商店中（谷歌 Play、App Store，還有眾多的移動應用分發渠道上），已經積累了海量的用戶行為數據。

這些數據隨著時間的流逝和新業務功能的推出，數據量越來越大，數據模式越來越豐富。所以互聯網公司較早的開發和部署了的大數據管理與處理平臺。

基于這些海量數據，互聯網公司通過數據驅動的方式，訓練人工智能模型，進而優化和提升業務用戶體驗（如點擊率預測讓用戶獲取感興趣的信息），讓更多的用戶使用服務，進而形成循環。

不同的數據類型和任務，驅動模型結構的復雜性，驅動AI框架和針對AI的編譯體系，需要更靈活的表現能力對AI問題進行表達與映射。

例如，以下幾種服務中沉淀和形成了相應領域代表性的數據集：

搜索引擎（Search Engine）：在圖像檢索（Image Search）鄰域出現了如 ImageNet，Coco 等計算機視覺數據集。在文本檢索（Text Search）出現了 Wikipedia 等自然語言處理數據集。 移動應用（Application）：移動應用數據分析是用戶獲取和留存的強勁引擎。如圖所示，國內出現了優質的數據源的公司如知乎和小紅書，傳統的貼吧如天涯論壇、百度網吧等充斥廣告等地方已經不再是優質數據源。各家移動互聯網如淘寶、拼多多收集了大量的用戶購買和瀏覽記錄，形成龐大的推薦系統數據集，廣告數據集。

同樣是圖像分類問題，從最開始數據規模較小的 MNIST 手寫數字識別數據集其只有 6 萬樣本，10 個分類，到更大規模的 ImageNet，其有 1600 萬樣本，1000 個分類，再到互聯網 Web 服務中沉淀了數億量級的圖像數據。

海量的數據讓人工智能問題變得愈發挑戰的同時，實質性的促進了人工智能模型效果的提升，因為當前以深度學習為核心的代表性 AI 算法，其本身是數據驅動的方式從數據中學習規律與知識，數據的質與量決定了模型本身的天花板。

海量數據集為 AI 系統的發展產生了以下的影響：

推動 AI 算法不斷在確定任務上產生更高準確度與更低的誤差。這樣產生了針對 AI 系統發展的用戶基礎，應用落地場景驅動力和研發資源投入。 讓 AI 有更廣泛的應用，進而產生商業價值，讓工業界和學術界看到其應用潛力并投入更多資源進行科學研究，持續探索。 傳統的機器學習庫不能滿足相應的需求，海量的數據集讓單機越來越難以完成 AI 模型的訓練，進而產生了 AI 系統中分布式訓練和 AI 集群的需求。 多樣的數據格式和任務，驅動模型結構的復雜性，驅動 AI 開發框架和針對 AI 的編譯體系，需要有更靈活的表達能力對 AI 問題進行表達與映射。 同時伴隨著性能等需求得到滿足，數據安全與模型安全問題挑戰也變的日益突出。

綜上所述，AI 系統本身的設計相較于傳統機器學習系統有更多樣的表達需求，更大規模和多樣數據集和更廣泛的用戶基礎。

二、AI算法的進步

研究人員和工程師不斷設計新的AI算法和AI模型，提升預測的準確性，不斷取得突破性進展。但是新的算法和模型結構需要AI框架提供便于對AI范式的編程表達和靈活性，對執行性能優化可能會改變原假設，進而產生對AI系統的新需求。AI框架和針對AI的編譯對前端、中間表達和系統算法協同設計的演進和發展。

精度超越傳統機器學習

以 MNIST 手寫數字識別任務為例，其作為一個手寫數字圖像數據集，在早期通常用于訓練和研究圖像分類任務，由于其樣本與數據規模較小，當前也常常用于教學。從圖中可以觀察了解到不同的機器學習算法取得的效果以及趨勢：1998 年，簡單的 CNN 可以接近 SVM 最好效果。2012 年，CNN 可以將錯誤率降低到 0.23% (2012)，這樣的結果已經可以和人所達到的錯誤率 0.2% 非常接近。

神經網絡模型在 MNIST 數據集上相比傳統機器學習模型的表現，讓研究者們看到了神經網絡模型提升預測效果的潛力，進而不斷嘗試新的神經網絡模型和在更復雜的數據集上進行驗證。神經網絡算法在準確度和錯誤率上的效果提升，讓不同應用場景上的問題，取得突破進展或讓領域研發人員看到相應潛力，是驅動不同行業不斷投入研發 AI 算法的動力。

公開數據集上突破

隨著每年 ImageNet 數據集上的新模型取得突破，新的神經網絡模型結構和訓練方式的潛力。更深、更大的模型結構有潛力提升當前預測的效果。1998 年的 Lenet 到 2012 年的 AlexNet，不僅效果提升，模型變大，同時引入了 GPU 訓練，新的計算層（如 ReLU 等）。到 2015 年的 Inception，模型的計算圖進一步復雜，且有新的計算層被提出。2015 年 ResNet 模型層數進一步加深，甚至達到上百層。到 2019 年 MobileNet3 的 NAS，模型設計逐漸朝著自動化的方式進行設計，錯誤率進一步降低到 6.7% 以下。

新的模型不斷在以下方面演化進而提升效果：

1）更好的激活函數和層，如 ReLU、Batch Norm 等；

2）更深更大的網絡結構和更多的模型權重；

3）更好的訓練技巧: 正則化（Regularization）、初始化（Initialization）、學習方法（Learning Methods），自動化機器學習與模型結構搜索等。

上述取得更好效果的技巧和設計，驅動算法工程師與研究員不斷投入，同時也要求 AI 系統提供新的算子（Operator）支持與優化，進而驅動 AI 開發框架和 AI 編譯器對前端、中間表達和系統算法協同設計的演進和發展。

三、算力與體系結構的進步

計算機性能的增強主要來自于摩爾定律，但到了二十世紀末，由于摩爾定律的停滯，性能的提升逐漸放緩。

于是，人們開始為應用定制專用處理器，通過消除處理器中冗余的功能部分來進一步提高對特定應用的計算性能。

例如，圖形處理器GPU就對圖像類算法進行專用加速。后來出現的GPGPU、TPU等，都是針對特定計算任務進行優化的處理器，它們通過深度學習模型中的算子進行抽象，轉換為矩陣乘法或非線性變換，根據專用芯片進一步定制流水線化的脈動陣列，進一步減少訪存提升計算密度，提高了AI模型的執行性能。

如圖所示后來出現 GPGPU，即通用 GPU，對適合于抽象為單指令流多數據流（SIMD）或者單指令多線程（SIMT）的并行算法與工作應用負載都能起到驚人的加速效果。

這些進步不僅推動了AI系統的發展，也為AI技術的廣泛應用奠定了堅實的基礎。隨著技術的不斷進步，AI系統將繼續演化，以適應更加復雜和多樣化的應用場景。

AI芯片近年來因性能提升而備受關注。谷歌的TPU通過將深度學習模型算子轉化為矩陣運算和脈動陣列，提高了計算密度和模型執行效率。

華為的昇騰NPU和達芬奇架構針對矩陣運算進行了優化，提供了強大的AI計算能力。

硬件廠商也在將稀疏性和量化等算法加速手段集成到專用加速器中，如英偉達的Transformer Engine，進一步提升了專用計算領域的性能。盡管處理器性能大幅提升，但AI芯片執行的代碼仍是預設的，智能程度不及生物大腦。

未來，AI系統的性能提升不僅依賴于芯片的迭代和分布式計算的擴展，還需算法和硬件的協同設計，以應對算力瓶頸并提升計算效率。

本文由 @章魚AI小丸子 原創發布于。未經作者許可，禁止轉載

題圖來自 Pixabay，基于CC0協議

該文觀點僅代表作者本人，平臺僅提供信息存儲空間服務