近日，麻省理工學院（MIT）信息與決策系統實驗室(LIDS)的一項研究對生成式AI模型的導航能力提出了質疑。盡管這些模型在紐約市提供近乎完美的逐步導航指引，但它們并未形成精確的地圖。

研究發現，當研究人員對某些街道進行封閉并設置繞行路線時，這些生成式AI模型的性能急劇下降。例如，僅關閉1%的街道，模型的準確率就從接近100%降至67%，顯示出模型在應對環境或任務變化時的不足。

進一步分析顯示，這些模型生成的紐約地圖包含大量不存在的街道，這些街道在網格間扭曲連接，形成了一個“虛構的紐約”。地圖中充斥著隨機跨街橋和以不可思議角度交叉的街道，揭示了模型的缺陷。

研究強調，對于生成式AI模型而言，評估其是否形成了連貫的世界觀至關重要。盡管這些模型在語言領域表現出色，但在探索其他科學領域時，其連貫性和適應性仍需進一步驗證。

此次研究主要關注的是一種名為“transformer”的生成式AI模型，該模型是大型語言模型(如GPT-4)的核心。Transformer模型通過大量基于語言的數據進行訓練，但其局限性在此次研究中得到了凸顯。