【智能战场态势感知】2022美国空军AFRL最新综述论文23页：「态势感知」技术、挑战和前景
【作者】
ArslanMunir：堪萨斯州立大学计算机科学系
AlexanderAved：美国空军研究实验室(AFRL)
ErikBlasch：AFRL空军科学研究办公室(AFOSR)
【摘要】
关键词：态势感知；动态数据驱动系统；人工智能；合成视觉系统；雾计算；灰色地带战
1.引言
改进SA一直处于军事技术进步的前沿。军方已利用各种技术创新来改进SA。虽然不可能涵盖已用于改进SA的所有技术和技术，但本节概述了其中一些正在考虑或已被军队和/或空军采用以增强SA的技术进步。
大量情报、监视和侦察(ISR)传感器收集的数据增强了决策者的SA，并帮助他们更好地了解他们的环境和威胁。然而，多种因素阻碍了最终用户的SA增强，包括不兼容的数据格式、带宽限制、传感器持久性（传感器连续感知的能力）、传感器重访率（传感器观察同一地理点的速率；该术语主要用于移动传感器，例如卫星或无人机传感）和多级安全[23]。此外，随着传感器数据量的增加，挑战在于识别最重要的信息片段，融合该信息，然后以合适的格式将该信息呈现给最终用户。
软件定义无线电(SDR)是一种无线电通信系统，它在软件而不是硬件中实现了许多无线电组件，例如混频器、调制器、解调器、纠错和加密，因此可以更轻松地重新配置和适应不同的沟通情况。美国军方的联合战术无线电系统(JTRS)计划的任务是用一组SDR替换现有的军用无线电，这些无线电可以通过简单的软件更新在新的频率和模式（波形）下工作，而不是需要多个无线电用于不同的频率和模式并要求更换电路板进行升级[24]。后来JTRS转变为联合战术网络中心(JTNC)[25]。SDR经常用于小型单位运营商的SA系统，以便为作战人员提供一个系统，该系统可以在限制性环境，特别是城市环境中提供可靠和灵活的通信。SDR提供广泛的调谐范围（例如，从20MHz到2500MHz[26]），使运营商的SA系统能够选择最佳频段，以在各种受限地形中保持链路连接。此外，SDR允许自适应直接序列扩频波形（例如，从0.5MHz到32MHz[26])用于调制。SDR的其他潜在可调参数包括无线电设置的适应（例如，传输功率、频率、天线增益、调制、编码、基带滤波、信号增益控制、采样和量化）、数据链路层参数（例如，信道监控和关联方案、传输和睡眠调度、传输速率和错误检查）和网络层参数（例如，路由、服务质量管理和拓扑控制）[27]。
无人机(UAV)可以极大地帮助改进SA，因为无人机适用于从被认为沉闷、肮脏或危险的环境中收集情报。随着技术的进步，下一代无人机不仅将收集数据，还将能够执行机载数据处理、融合和分析。配备摄像头的情境感知无人机可以生成对视频中观察到的场景的高级描述，并识别潜在的危急情况。可以利用语义技术来识别场景中的对象及其交互[28]。通过使用模糊认知地图推理模型、深度神经网络或其他机器学习模型，可以为无人机添加认知能力，使无人机了解场景中不断变化的情况并识别不稳定的情况。此外，无人机可以通过充当飞雾在边缘SA中发挥关键作用因此，当无人机在传感器上方导航时，作为地面传感器数据的接收器。无人机飞雾的一个理想特性是能够处理、融合和分析机上数据以及将数据（无论是原始形式还是经过处理的形式，取决于性质、复杂性和环境）传输到地面用于存档和详细分析的工作站和/或云。无人机还可以采用DDDAS方法，使无人机能够根据实时传感器数据动态调整其传感、处理和导航（路由），以更好地监控和跟踪目标。
物联网(IoT)可以通过与军事和空军人员的整合极大地增强SA。操作员/地面士兵是战场上的资产，对于实施战术决策至关重要。越来越多的无处不在的传感和计算设备被军事人员佩戴并嵌入军事装备（例如作战服、仪表化头盔、武器系统等）中。这些传感和计算设备联网在一起形成军事物联网(IoMT)或战场物联网(IoBT)[31]。IoMT/IoBT能够获取多种静态和动态生物特征（如人脸、虹膜、眼周、指纹、步态、手势和面部表情），可用于对士兵的心理物理进行上下文自适应的连续监测和场上的情绪状况。除了监测士兵的武器、弹药和位置外，IoMT/IoBT还可以帮助捕获士兵的重要健康参数（例如，心率、心电图(ECG)、血糖水平、体温、血压）。借助IoMT/IoBT，军队和空军人员能够获得战术态势感知，从而获得对敌人的感知以及友军的进展。IoMT/IoBT收集的各种统计数据和参数对于坐在指挥和控制中心的指挥官具有重要价值。然后将这些获取的数据发送到边缘服务器或云，然后可以将信息融合和大数据分析应用于SA、态势评估、决策活动，并为战场上的士兵提供实时支持。指挥官可以了解蓝军的健康参数、武器参数、装备参数和弹药参数，从而可以下达提供适当援助的命令。
雾计算或边缘计算是计算中的一种新趋势，它将应用程序、服务、数据、计算能力、知识生成和决策从集中节点推向网络的逻辑极端。边缘计算和雾计算在本质上是相似的，并且在我们之前的工作中已经概述了一些细微的差异[33]。现有的监视系统难以实时检测、识别和跟踪目标，这主要是由于从传感器传输原始数据、在远程中央平台（例如云）上执行信息融合、计算和分析所涉及的延迟，并将命令发送回执行器以执行控制决策。雾/边缘计算可以在网络边缘附近进行计算，并有助于减轻核心网络的通信负担。雾/边缘计算还支持基于位置的服务、本地分析，并有助于提高SA系统的实时响应能力[34、35]。使用生物识别、环境传感器和其他连接的IoMT/IoBT设备利用雾/边缘计算快速发送和接收数据不仅有助于改善指挥和控制操作，而且还允许军事人员及时应对战场上的潜在危险情况。
监控应用使用大量传感器，例如运动检测器、接近传感器、生物识别传感器以及各种摄像机，包括彩色摄像机、夜视成像摄像机和热成像摄像机，它们从不同的视点和分辨率观察目标。信息融合通过帮助从感知数据中获得有价值的见解，在SA中发挥着重要作用。SA包含低级信息融合（跟踪和识别）、高级信息融合（基于威胁和场景的评估）和用户细化（物理、认知和信息任务）[3]。信息融合最大限度地减少了不同传感器捕获的数据之间的冗余，例如不同相机捕获的相同或相似视图。此外，当系统中的一个相机跟踪的对象移出其视野并进入另一个相机的视野时，信息融合还有助于在相机之间执行切换。在雾/边缘计算范式中，传感器/物联网节点的信息融合减少了需要传输到边缘服务器的数据，从而为物联网设备节省能源，从而有助于延长物联网设备的电池寿命。先进的计算技术，如并行计算和可重构计算，可用于实时信息融合，在物联网和边缘/雾节点提供实时SA。
各种方法已用于事件识别，例如贝叶斯网络、隐马尔可夫模型(HMM)和神经网络[36]。特别是，随着深度学习的最新进展，卷积神经网络(CNN)在视频帧中的自动对象检测、分类和识别方面变得非常流行。图3展示了用于自动对象检测和分类的CNN架构。CNN架构通常由输入层、输出层和多个隐藏层组成。CNN的隐藏层主要包括多个卷积层、全连接层以及可选的非线性层、池化层和归一化层。在图3，来自红外摄像机的输入被馈送到CNN架构，该架构通过多个卷积、非线性、池化、归一化处理输入（注意，为简单起见，图3中未显示非线性、池化和归一化层）和全连接层，并在输出/分类层产生目标检测和分类的输出。图3显示了CNN架构从红外视频输入中检测手枪。
图3.用于自动对象检测和分类的卷积神经网络(CNN)架构
我们注意到HMM和神经网络需要大量的训练数据来配置网络以识别事件。由于许多感兴趣的事件是异常事件，缺乏用于训练的视频数据，因此当训练视频数据稀缺时，贝叶斯网络可用于事件识别[36]。贝叶斯网络还在推理中包含不确定性，并提供指示事件为真的可能性的输出，或对于多状态事件，事件处于特定状态的概率。
增强型视觉系统(EVS)或增强型飞行视觉系统(EFVS)通过主动和被动传感器增强飞行员的能见度和SA，这些传感器可以穿透风暴、雾、霾、黑暗、雨和雪等天气现象。现代军用飞机配备了增强型视觉系统，但是，由于成本、复杂性和技术性，这些系统在商用飞机上并不常见。增强型视觉传感器的性能取决于传感器特性和外部环境。例如，高频雷达（例如94GHz）和红外传感器的范围性能在强降水和某些雾类型中会降低[37]。相反，低频（例如，9.6GHz）和中频（例如，35GHz）雷达的范围有所提高，但显示分辨率较差。此外，当多个有源传感器靠近时，有源雷达传感器可能会相互干扰。尽管增强视觉系统已在军事和空军中大量使用以改进SA，但当代增强视觉系统不提取可能在特定温度或雷达反射条件下产生误导性视觉伪影的颜色特征[37]。EVS/EFVS的示例包括CollinsAerospace的EFVS-4860[38]和CollinsAerospace的EVS-3600[39]，它使用短波红外、长波红外和可见光摄像机的组合来提高飞行员的能见度。EVS的另一个例子是ElbitSystem的ClearVision[40]，它结合了视觉相机、近红外传感器和长波红外传感器来提供改进的SA。
合成视觉系统本质上是不受天气影响的显示器，允许操作员和/或飞行员看到世界，因为它始终处于完美的天气条件下。合成视觉系统使用传感器、全球定位系统(GPS)卫星信号、惯性参考系统和内部数据库的组合，为飞行员提供他们周围世界的合成视图。合成视觉系统通过在姿态参考系统上叠加真实世界图像的增强现实(AR)系统取代了飞机中旧的姿态指示器（即指示地平线位置的蓝棕色姿态指示器）。基于AR的SA系统，例如NASA的合成视觉系统，可以提高航空安全并提高飞机运行效率。
CollinsAerospace的SVS在HUD上提供与天气无关的高清图像显示，其中包含三层信息——地形、障碍物、机场和跑道——以呈现环境的完整画面[39]。CollinsAerospace的SVS将传感器与提供地形轮廓、英里标记、跑道亮点和机场圆顶的全球数据库集成在一起。SVS的另一个例子是霍尼韦尔的SmartView[41]，它将来自各种机载数据库、GPS和惯性参考系统的飞行信息合成为全面的、易于理解的前方地形3-D渲染。
图4.CollinsAerospace的组合视觉系统[43]
战场、军事和空军基地、航空、空中交通管制、紧急情况和/或灾难响应、工业流程管理、城市地区和关键基础设施等各个领域都需要SA，如图5所示。在本节中，我们将概述其中一些领域。不充分的SA通常与导致逆境的人为错误有关，例如战争中的军事损失、紧急情况和灾难响应中平民和急救人员的生命损失以及工业控制中的收入损失。
图5.态势感知领域
5.1战场
SA对于知情和可靠的战场C2系统必不可少。由IoBT/IoMT和雾计算等最先进技术增强的SA可以帮助军队和空军充分利用部署在（未来）中的大量异构IoBT/IoMT设备收集的信息。)战场，并且可以为军队/空军提供相对于对手的战略优势。战场上的SA可以在不同级别提供：（i）监督战场行动的指挥官，（ii）在战术层面执行任务的下马士兵，以及（iii）为士兵提供近距离空中支援的飞行员。SA技术的最新进展可以帮助士兵在低延迟下识别敌人、访问设备和武器系统，并提高SA和士兵的安全性。
在不对称战争或灰色地带战争中特别需要SA[45]识别敌方战斗人员并不总是那么简单，例如，敌人可能以平民的身份出现或使用被盗徽章进入受限军事基地。为了在灰色区域情况下提供SA，生物特征传感器可以扫描虹膜、指纹和其他生物特征数据，以识别可能构成危险的个人。在SA系统中使用DDDAS方法可以帮助有针对性地收集有关已识别个人的数据，还可以动员响应单位（例如狙击手）来分散威胁。SA系统可以提供对站点和潜在灰色区域参与者的实时监控，以帮助防止或减轻灰色区域战争的负面影响，例如错误信息以及服务和关键基础设施的中断。
SA系统是增强国土安全和防御所必需的。实时监控有助于及时发现和应对自然灾害（例如飓风、洪水）和人为事件（例如恐怖主义）。此外，SA系统可以协助执法人员反恐、打击走私和逮捕逃犯。
桥梁、发电和配电网络、供水网络、电信网络、交通网络等关键基础设施的安全需要SA。我们通过几个来自道路网络的例子来说明关键基础设施的SA交通网络的重要组成部分。道路SA需要感知不利的道路状况（例如坑洼）、驾车者、行人和交通状况[10]。道路SA提供的交通监控和可疑车辆检测将减少犯罪、事故和死亡人数。深度学习的进步极大地促进了RoadSA的发展。CNN可用于感知道路图像数据中的车辆类别和位置，从而有助于解决道路交通SA系统中的情境元素识别问题[11]。在灰色地带战争时代，监控关键基础设施变得更加重要，因为敌人通常旨在破坏关键基础设施，从而为军事交战创造有利局面。
专知便捷查看
这项研究得到了空军研究实验室(AFRL)信息局(RI)的部分支持，通过空军科学研究办公室(AFOSR)夏季教师奖学金计划，合同编号FA8750-15-3-6003、FA9550-15-0001和FA9550-20-F-0005。本材料中表达的任何意见、发现和结论或建议均为作者的观点，不一定反映AFRL和AFOSR的观点。APC由堪萨斯州立大学资助。