文｜李安琪

編輯｜李勤

像海鮮市場一樣，智能駕駛行業技術浪潮正在快速更迭。“端到端”剛成為新的技術范式，甚至大量公司還沒來得及完成研發模式切換，端到端就進入了技術換代時期。

“端到端”的最新進化方向是，深度融入多模態大模型。過去兩年，大模型已經展現出了讀文、識圖、拍電影的能力，但大模型開車恐怕還是頭一遭。

近期，智駕行業出現了一個融合了視覺、語言和動作的多模態大模型范式——VLA（Vision-Language-Action Model，即視覺-語言-動作模型），擁有更高的場景推理能力與泛化能力。不少智駕人士都將VLA視為當下“端到端”方案的2.0版本。

事實上，VLA模型最早見于機器人行業。2023年7月28日，谷歌 DeepMind推出了全球首個控制機器人的視覺語言動作（VLA）模型。

不過這個模型概念正快速擴散到智駕領域。今年10月底，谷歌旗下自動駕駛公司Waymo推出了一個基于端到端的自動駕駛多模態模型EMMA。有行業人士表示，這就是一個VLA模型架構，既有端到端智駕能力，還融合了多模態大模型。

過去，智能駕駛行業基于規則算法，進行了十數年探索。近兩年，特斯拉引領的“端到端”智能駕駛，成為新的技術方向，不僅讓智駕具備更擬人的表現，也能應對城市中海量的復雜交通場景。

配合“端到端”技術，行業玩家還會增加大語言模型等來提升智駕能力上限。端到端+VLM（視覺語言模型），就被理想等公司推崇。

但不同于VLM相對獨立、低頻地為端到端提供駕駛建議的模式，VLA架構下，端到端與多模態大模型的結合會更徹底。就連理想人士也向汽車坦承，“可以把VLA看成是端到端+VLM的合體。”

VLA模型，很可能是“端到端+VLM”技術框架的“終結者”。

有行業人士表示，VLA模型對智駕的演進意義重大，讓端到端理解世界的能力更強后，“長遠來看，在L2輔助駕駛到L4自動駕駛的飛躍中，VLA可能會成為關鍵跳板”。

一些車企智駕玩家已經在暗自發力。此前，理想汽車曾在三季度財報電話會議上表示，內部已經啟動了L4級別自動駕駛的預研，在當前的技術路線基礎上，研發能力更強的車端VLA模型與云端世界模型相結合的強化學習體系。

智駕公司元戎啟行在獲得長城汽車的7億元注資之后，也表示將進一步布局VLA模型。元戎啟行稱，公司將基于英偉達最新智駕芯片Thor進行VLA模型研發，模型預計于2025年推出。

但也存有共識，VLA模型的上車難度不小，對技術和車端的芯片算力都有高強度要求，“能夠支持VLA模型上車交付的芯片，可能在2026年才會出現。”

端到端最新方向：融入多模態大模型

自2023年以來智駕行業掀起的BEV、端到端技術浪潮后，智駕正逐步將AI神經網絡融入感知、規劃、控制等環節。比起傳統基于規則的方案，基于AI、數據驅動的“端到端”擁有更高能力天花板。

圖源：元戎啟行

但在“端到端”模型之外，車企們還輔以了大語言模、視覺語言模型等外掛，來提供更強大的環境理解能力。年中，理想就推出了端到端模型+VLM（視覺語言模型）的方案。VLM模型對復雜交通環境具有更強的理解能力，可以給端到端提供相關駕駛建議。

不過據汽車了解，理想的端到端模型+VLM模型，是相對獨立的兩個模型。“理想VLM占用了一顆Ori芯片算力，目前主要對限速提醒等場景做出駕駛建議。”

而VLA模型，是將端到端、VLM兩個模型合二為一。也就是說，多模態大模型不再作為端到端的外掛，而是成為端到端自生的一種能力。

谷歌Waymo近期發表的論文中，端到端自動駕駛多模態模型，不僅將攝像頭的視頻和圖像作為感知輸入，同時還能以谷歌地圖“請在前方第二個匝道右轉出匝道”這種指令作為輸入，以及結合車輛歷史狀態，輸出車輛未來軌跡。

有行業人士向汽車表示，目前對于一些特殊的復雜場景，智駕仍然缺少學習數據樣本。如果融入模態大模型，就能將大模型學習到的知識遷移給智駕系統，可以有效應對corner case（長尾場景）。

智駕公司元戎啟行CEO周光也認為，VLA模型是端到端的2.0版本。他表示，遇到一些復雜的交通規則、潮汐車道、長時序推理等特殊場景時，智駕會比過往理解、應對得更好。

比如在推理時長上，傳統rule-base（基于規則）方案下，智駕只能推理1秒鐘路況信息然后做出決策控制；端到端1.0階段系統能夠推理出未來7秒路況，而VLA能對幾十秒路況進行推理。

“目前基本上大家沿著這條線已經預研1年多了，不過明年想要量產還是有很大難度。”有行業人士表示。

端到端變奏，后發者的機會更少了

在進入規模推廣之前，下一代端到端方案還面臨很現實的挑戰。

一方面，現階段車端芯片硬件不足以支撐多模態大模型的部署落地。有行業人士向汽車表示，將端到端與VLM模型二合一后，車端模型參數變得更大，既要有高效實時推理能力，同時還要有大模型認識復雜世界并給出建議的能力，對車端芯片硬件有相當高要求。

當下，高階智駕的算力硬件基本為2顆英偉達OrinX芯片，算力在508Tops。有行業人士表示，現在車端的算力很難支撐VLA模型的部署。

而英偉達的最新一代車載AI芯片Thor有望改變這種局面，Thor的單片AI算力達1000Tops，并對AI、大模型等算力都有不錯支持。

不過跟英偉達接觸的人士向汽車表示，明年英偉達Thor芯片大概會延期發布，上半年最先有望先推出的是700Tops算力版本。但一顆700Tops算力的芯片也可能支撐不了VLA模型，兩片Thor的成本又高出不少。

英偉達的芯片量產時間與成本挑戰，橫亙在車企前面。為此，一些自研芯片的新勢力也在緊追芯片進度。據汽車了解，一家頭部新勢力的VLA模型預計2026年正式上車。“屆時結合自研的大算力芯片，VLA的效果會更驚艷。”上述行業人士表示。

好在，VLA模型架構下，數據方面的挑戰沒有驟然提升。

有行業人士告訴，在端到端基礎上，VLA模型融入了視覺語言模型、動作模型。但多模態大模型的數據并不難獲得，包括已經開源的大模型、互聯網上已有的通用語言，都可能成為智駕多模態大模型的養料。

更具挑戰的是，如何將端到端與多模態大模型的數據與信息作深度交融。這考驗著頭部智駕團隊的模型框架定義能力、模型快速迭代能力。

這些都決定了VLA模型不會太快進入智駕的量產環節。

然而，技術路線的驟然升級與競賽變奏，為還沒發力端到端的玩家設置了更高門檻，后發制人的機會更加稀少。