超现实的虚拟世界是自动驾驶汽车最好的驾校，没有之一。它可以为车辆提供一个试验平台，在安全的前提下尝试危险驾驶场景，且颇有成效。
特斯拉、Waymo等自动驾驶公司都在很大程度上依靠数据来训练自动驾驶汽车，但“差点撞上”这一情景下的数据通常难以收集、测试和重建。
为此，麻省理工学院计算机科学与人工智能实验室（CSAIL）的科学家们创建了VISTA2.0，这是一个数据驱动的模拟引擎，车辆可以学习现实世界中的驾驶场景，在“即将撞上”的情景下将车辆“拯救”回来。更重要的是，所有的代码都在向公众开放。
今天，只有企业能够拥有像VISTA2.0这种类型的模拟环境和能力的软件，而且这种软件属于专利软件。麻省理工学院教授和CSAIL主任丹妮拉·罗斯（DanielaRus）说：“随着这个版本的发布，研究界将有机会获得一个强大的新工具，加速自动驾驶的自适应稳健控制的研究和开发。”
VISTA2.0建立在该团队以前的版本VISTA的基础上，它与现有的自动驾驶模拟器有根本的不同。由于它是数据驱动的，根据真实世界的数据建立和仿真渲染，所以车辆在模拟器中学习的驾驶能力都能够直接应用到现实中来。
用户可以直接模拟自己的虚拟自动驾驶车辆，在这些虚拟地形中行驶，在模拟器的世界中训练自动驾驶车辆，然后可以直接转移到真正的自动驾驶汽车上。
最初的版本只支持单车跟车，且只拥有一个摄像头传感器，要实现高保真数据驱动的模拟，需要合成不同的传感器和行为互动，这一点需要重新思考。
VISTA2.0是一个数据驱动的系统，可以大规模地模拟复杂的传感器类型、互动场景和路口。用到的数据比旧版本要少得多，但训练出的自动驾驶车辆可能比在大量真实世界的数据上训练的车辆要强大得多。
CSAIL的博士亚历山大·阿米尼（AlexanderAmini）说：“这是自动驾驶车辆数据驱动模拟能力的一次巨大飞跃，也是处理更大驾驶复杂性的规模和能力的提高。”
VISTA2.0展示了模拟传感器数据的能力，远远超过了二维RGB相机，还包括具有数百万点的极高维度三维激光雷达、不定时的基于事件的摄像头，甚至还包括与其他车辆的互动和动态场景。
该团队能够扩大互动驾驶任务的复杂性，如超车、跟车和避让，包括在高度仿真的环境中的多主体场景。
训练自动驾驶车辆的人工智能模型将涉及各种边缘案例和罕见、危险的场景。大部分数据只是日常驾驶的普通数据，从逻辑上讲，在现实世界里，不能仅仅为了教会一个神经网络如何不撞车而真的去撞车。
VISTA不仅可以模拟实时画面，还可以模拟LiDAR数据和事件摄像头，结合其他模拟车辆来模拟复杂的驾驶情况。
以往更常见的模拟环境是由人类设计的，最近由真实世界数据建立的模拟环境更受欢迎。后者具有巨大的逼真度，但前者可以很容易地对虚拟摄像机和激光雷达进行建模。
随着这种模式的转变，出现了一个关键问题，自动驾驶汽车所需要的所有传感器，如激光雷达和基于事件的摄像头能否准确地被合成？
在一个数据驱动的世界里，激光雷达传感器数据更难解密，实际上是试图从世界的稀疏视图中提取并生成具有数百万个点的全新的三维点云。
为了合成三维激光雷达点云，该团队使用了汽车收集的数据，将其投射到来自激光雷达数据的三维空间中，然后让一个新的虚拟车辆从真实车辆所在的地方开始行驶。最后，在神经网络的帮助下，将所有的感官信息投射回这个新的虚拟车辆的视野中。
基于事件的摄像头运行速度超过每秒数千个事件，加上对这种摄像头的模拟，该模拟器不仅能够模拟这种多模态信息，还能做到实时进行，从而能够在离线状态下训练神经网络，还能在增强现实设置中对汽车进行在线测试，进行安全评估。
阿米尼说：“在数据驱动的模拟领域，这种规模的复杂性和逼真度的多传感器模拟是否可能，是一个非常开放的问题。”
有了这个，自动驾驶汽车的驾校就变成了一个云party。在模拟器中，你可以四处走动，有不同类型的控制器，模拟不同类型的事件，创建交互式场景，甚至可以加入一辆不在原始数据中的全新车辆。
他们测试了车道跟踪、车道转弯、汽车跟踪，以及更多棘手的场景，如静态和动态超车。有了多机构，真实的和模拟的主体都可以互动，新的主体可以被丢进场景，并以任何方式控制。
完全在VISTA2.0中训练的自动驾驶汽车在现实世界中非常强大，它们可以处理意料之外的小概率事件。
现在，唯一不能被模拟的就是人类的情感。友好的挥手、点头或眨眼，这是该团队希望在未来工作中实现的。
“这项研究的核心算法是我们如何能够采取一个数据集，并建立一个完全协同的世界，用于学习和自动化。”阿米尼说。
“这是一个平台，我相信有一天可以在整个机器人技术的许多不同的维度扩展。不仅仅是自动驾驶，还有许多依赖视觉和复杂行为的领域。我们很高兴发布VISTA2.0，能够帮助社区收集他们自己的数据集，并将其转换为虚拟世界。”他说。