科学家和工程师们正在联合开发搭载NVIDIAJetson的海底研究助手，以收集有关珊瑚礁、海洋生物和生态系统的数据。
研究人员正在让机器人“深度学习”深海潜水
伍兹霍尔海洋研究所（WHOI）自主机器人与感知实验室（WARPLab）和麻省理工学院（MIT）正在开发一种用于研究珊瑚礁及其生态系统的机器人。
由NVIDIAJetsonOrinNX模块支持的WARPLab自主潜水器（AUV）是这一全球最大的私人海洋研究机构做出的一次努力，以扭转珊瑚礁减少的趋势。
根据伍兹霍尔海洋研究所珊瑚礁解决方案倡议（WHOIReefSolutionsInitiative）的数据，在过去三十年中，全球约有25%的珊瑚礁消失，剩下的珊瑚礁也大多正在濒临灭绝。
这台名为CUREE（CuriousUnderwaterRobotforEcosystemExploration，好奇的水下生态探索机器人）的自主潜水器，能够与潜水员一起收集视觉、声音和其他环境数据，帮助研究人员了解人类对珊瑚礁及其周围海洋生物的影响。该机器人借助不断扩展的NVIDIAJetson边缘AI功能，建立起珊瑚礁的3D模型，并跟踪动植物。它还能通过运行模型来实现自主导航和数据收集。
WHOI的潜水艇曾于1986年首次探索泰坦尼克号，研究所目前正在开发用于数据收集的CUREE机器人，以扩展这项工作的规模并协助制定缓解策略。该机构还在探索如何使用仿真和数字孪生来更好地复制珊瑚礁的状况，并研究像NVIDIAOmniverse（用于构建和连接3D工具和应用的开发平台）这样的解决方案。
NVIDIA正在Omniverse中创建地球的数字孪生，并正在开发世界上最强大的人工智能超级计算机Earth-2，用于预测气候变化。
水下AI：DeepSeeColor模型
浮潜过的人都知道，在水下看东西可不像在陆地上那么清晰。随着距离的增加，水会削弱水下太阳光的可见光谱，使某些颜色比其他颜色更加暗淡。同时，水中的微粒会造成朦胧的视野，即所谓的反向散射。
WARPLab的一个团队最近发表了一篇关于海底视觉校正的研究论文，帮助缓解了这些问题，并为CUREE的工作提供了帮助。这篇论文描述了一个名为DeepSeeColor的模型，该模型在海底使用两个卷积神经网络序列减少反向散射，并在NVIDIAJetsonOrinNX上实时校正颜色。
麻省理工学院机器人学博士候选人、WARPLabAI开发者StewartJamieson表示：“NVIDIAGPU参与了我们的大部分工作流程。一般来说，当有图像进来时，我们就会使用DeepSeeColor校正颜色，然后就可以探测鱼类，并将探测结果传送给船上的科学家。”
水下视觉与听觉：鱼类和珊瑚礁探测
CUREE配备了四个前向摄像头、四个用于捕捉水下声音的水听器以及多个深度传感器和惯性测量单元传感器。由于全球定位系统（GPS）无法在水下工作，因此只能在水面上用它来初始化机器人的起始位置。
借助摄像头、水听器和在JetsonOrinNX上运行的AI模型，CUREE能够收集数据，并以此制作出珊瑚礁和海底地形的3D模型。
为了使用水听器收集音频数据，CUREE需要在关闭马达的情况下漂浮在水中，以避免干扰音频。
该团队一直在训练根据音频和视频输入来追踪生物的探测模型。但在探测清晰的音频样本时，有一种生物的噪音干扰特别大。
Girdhar提到：“问题在于水下枪虾的叫声很大。”在陆地上，如何将声音从背景噪音中分离这一经典难题被称为“鸡尾酒会问题”。Girdhar说：“如果我们能找到一种算法来消除音频中虾叫声的影响就好了，但目前还没有好的解决方案。”
麻省理工学院-WHOI联合项目博士候选人LeviCai表示，尽管现有的水下数据集很少，但鱼类探测和追踪这一开创性的工作进展很顺利。他表示他们正在采用一种半监督方法进行海洋动物追踪，即通过使用鱼类探测神经网络探测到的目标对追踪进行初始化。该网络在开源的鱼类探测数据集上训练而成，这些数据集使用CUREE收集到的图像进行迁移学习并进行微调。
Cai提到：“我们先手动驾驶潜水器，直到看到想要追踪的动物，然后点击它，让半监督追踪器接手。”
JetsonOrin利用能效驱动CUREE
能效对于像CUREE这样的小型自动潜水器来说至关重要。数据收集所需的计算消耗了约25%的可用能源，剩余的能源则用于驱动机器人。
在圣约翰岛（美属维尔京群岛岛屿）执行潜水任务的Girdhar谈到，根据珊瑚礁任务和观测要求，一般来说，CUREE充电一次可以工作两个小时。
为了提高能效，该团队正在研究使用AI来管理传感器，从而使计算资源能够在进行观测时自动唤醒，并在不使用时自动休眠。
Girdhar表示：“我们的机器人很小，所以用在GPU计算上的能量就很重要。借助JetsonOrinNX，我们解决了功耗问题，它还使我们的系统变得更加稳健。”
探索如何使用IsaacSim进行改进
WARPLab团队正在尝试使用NVIDIAIsaacSim（一款由Omniverse提供动力支持、可扩展的机器人仿真应用和合成数据生成工具），以加快CUREE自主性和观测能力的开发。
Yogesh表示此举的目标是在IsaacSim中进行简单的仿真，以便了解需要仿真的问题的核心，然后在真实的海底世界中完成训练。他表示：“在珊瑚礁环境中，我们不能依赖声纳，而是需要近距离观察。我们的目标是观察不同的生态系统和正在发生的过程。”
了解生态系统并制定缓解策略
WARPLab团队打算将CUREE平台提供给他人使用，使人们了解到人类对海底环境造成的影响，并帮助制定缓解策略。
研究人员计划学习从数据中发现的模式。Jamieson表示，CUREE提供了一个几乎完全自主的数据收集‘科学家’，它可以将研究结果传达给人类研究人员，“比起整天盯着屏幕、驾驶着它手动完成任务，‘科学家’的收获多出了不少。”
Girdhar表示，可以为珊瑚礁等生态系统构建一个网络模型，不同节点对应不同类型的物种和栖息地。所有这些不同的相互作用都在这个网络中发生，研究人员可通过了解这个网络来了解各种动物与其栖息地之间的关系。