近日，麻省理工学院（MIT）信息与决策系统实验室(LIDS)的一项研究对生成式AI模型的导航能力提出了质疑。尽管这些模型在纽约市提供近乎完美的逐步导航指引，但它们并未形成精确的地图。

研究发现，当研究人员对某些街道进行封闭并设置绕行路线时，这些生成式AI模型的性能急剧下降。例如，仅关闭1%的街道，模型的准确率就从接近100%降至67%，显示出模型在应对环境或任务变化时的不足。

进一步分析显示，这些模型生成的纽约地图包含大量不存在的街道，这些街道在网格间扭曲连接，形成了一个“虚构的纽约”。地图中充斥着随机跨街桥和以不可思议角度交叉的街道，揭示了模型的缺陷。

研究强调，对于生成式AI模型而言，评估其是否形成了连贯的世界观至关重要。尽管这些模型在语言领域表现出色，但在探索其他科学领域时，其连贯性和适应性仍需进一步验证。

此次研究主要关注的是一种名为“transformer”的生成式AI模型，该模型是大型语言模型(如GPT-4)的核心。Transformer模型通过大量基于语言的数据进行训练，但其局限性在此次研究中得到了凸显。