作為全球無人駕駛商業化領跑者，仙途智能Autowise.ai憑借前瞻性的視野和強大的產品技術實力，已在全球30余座城市部署了多款無人駕駛產品。為應對多地區、多場景、多產品的運營需求，仙途智能不斷整合吸納前沿人工智能技術和算法，新一代1vN無人駕駛遠程運營體系全面引入多模態大模型技術作為AI安全員，憑借其強大的場景理解能力和精準判斷能力，為無人駕駛車輛筑牢安全屏障。

“多模態大模型”AI安全員：實時處理圖像數據，識別危險場景

多模態大模型是人工智能技術的一個關鍵進步，它將文本、圖像、音頻、視頻等多種數據形式整合進統一的框架中，具備跨模態理解與生成能力，能夠執行圖像描述、視覺問答、視頻生成等多種任務。依靠先進的多模態大模型技術，無人駕駛中的 AI 安全員能夠對車輛運行過程中的相機圖像進行實時處理與分析，識別出車輛行駛時遇到的危險場景和異常情況，為無人駕駛提供安全保障。

算法難以100%覆蓋的長尾場景，AI安全員從容應對

無人駕駛車輛行駛過程中，除了需要與常規的交通參與者產生交互，還需要應對稀有而復雜的長尾場景。它們的發生概率很低，但一旦出現，會對自動駕駛系統帶來巨大挑戰。仙途智能無人駕駛清掃車作業時通常會貼邊行駛，常見的長尾場景包括不規則的路面坑洞、臨時的施工區域、偶發的交通事故等。

長尾場景之所以重要，是因為它們代表了自動駕駛系統必須能夠應對的罕見但危險的情況。對于人類駕駛員來說，處理這些邊緣情況往往基于直覺和多年的經驗積累。對于自動駕駛系統來說，為了在遇到這些罕見情況時仍能安全地操控車輛，需要大量的數據和復雜的算法來模擬人類的決策過程。但由于現實世界復雜多變，算法難以 100% 覆蓋全部場景，此時就需要 AI 安全員介入，利用與人類相似的知識與經驗理解場景、保證安全。

AI安全員應用實例：理解場景，給出建議

仙途智能基于歷史接管數據與閉環仿真數據，利用大模型標注與人工對齊，構建了決策規劃的異常數據集。在仙途智能常態化運營真實數據的不斷充實下，多模態大模型的AI安全員將能夠更加準確地理解場景并給出駕駛建議。

來看幾個實例。綠色框線代表無人駕駛車輛的規劃軌跡（Planning Trajectory），紅色框線代表無人車的關注區域（Region of Interest）。左上角黑色框線中的內容代表AI安全員對當前場景的理解和判斷，包括天氣情況、場景標簽、駕駛建議等。

仙途智能AI安全員場景實例案例集錦

突然發生的交通事故

無人駕駛清掃車正沿右側輔道執行左貼邊作業。雨后路面濕滑，外賣騎手在高速行駛時突然滑倒，非常危險。系統提示交通事故（Traffic Accident）狀態碼，并預警可能需要遠程介入。所幸騎手無大礙，緩慢起身，系統提示減速慢行，小心行駛。

臨時交通管制及施工區域通行

無人駕駛車輛輔道作業過程中，同時遇到輔道地面施工及主道高空作業，交警上前疏導交通。系統提示交警管控（Traffic Police Control）及施工區域（Construction Area）狀態碼，并預警可能需要遠程介入。在遠程運營的協助下，無人駕駛清掃車從主道第二車道繞行。

應急車輛交互

無人駕駛車輛正沿快速路輔路右側執行貼邊清掃任務，一輛閃爍警示燈的救護車突然出現在視野中并停靠在路邊，代表著附近存在人員傷病的緊急情況。系統給出應急車輛（Emergency Vehicles）狀態碼，提示需要遠程介入，同時在確保安全的情況下，車輛減速避讓并變道繞行。

弱勢道路使用者交互

無人駕駛清掃車正沿右側輔道執行無人清掃作業，由于道路右側的臨停機動車，輔道十分狹窄，僅容一輛車通行。此時發現左側有孩童和蹲坐的行人，系統提示高風險行人（High-Risk Pedestrians）狀態碼，表示需要減速慢行并預警可能需要遠程介入。在高精度的感知和規劃下，無人駕駛清掃車略微向右避開行人緩慢通過。

AI的安全托底：人類遠程安全員多途徑輔助脫困

部分緊急和極端場景下，AI安全員將給出請求遠程介入的通知指令，主動告知人類遠程安全員。遠程安全員可以通過高清視頻流（前視角及環視角實時畫面）和實時傳感器數據（高精地圖、各類障礙物識別、路徑規劃等）獲取車輛周邊環境信息，使用多種挪車方式輔助車輛脫困。目前，仙途智能無人駕駛車輛已支持基于遠程運營系統的參考線挪車、方向盤挪車、APP挪車和駕駛艙挪車，為車輛提供在緊急和極端場景下的安全托底和額外保障。

遠程輔助駕駛系統操作界面

云端大模型作為AI安全員的使用，極大程度提升了無人駕駛車輛針對長尾場景的識別和理解能力，提高人類遠程安全員的工作效率，為遠程1vN規模的不斷擴大夯實技術基石，全面擴展仙途智能全球化商業版圖。

未來，仙途智能將以更加開放的姿態，不斷吸納整合前沿人工智能技術和算法，通過持續創新突破，全方位提升無人駕駛技術的安全性與穩定性，為無人駕駛技術商業化的迅猛發展打造堅實的技術壁壘，為全球無人駕駛技術發展和產業變革貢獻卓越力量。