本发明涉及模拟技术领域，具体涉及一种基于增强现实的变电设备运维仿真培训系统和方法。
背景技术：
随着国家电网公司“三集五大”战略中“大运行”和“大检修”的全面深入推进和实施，实现了电网调度运行和电网设备运行检修的资源集约化、组织扁平化、业务专业化和管理精益化，有效提升了电网生产运行的安全性、可靠性和经济性。然而，“大运行”和“大检修”体系的深入推进使得公司电网运行和检修管理模式发生深刻变化，调控机构设备监控工作及变电设备运维工作面临新的机遇和挑战，对电网调控运行及变电设备运维人员的知识、技术和技能等方面提出了更高要求，也给电网企业的生产运行管理和人才培养带来了巨大的挑战。
经过对国内外研究水平的研究，发现：
1、变电设备运维仿真培训的发展现状：
近年来，电力系统发展十分迅速，电网规模越来越大，各电网公司所管辖的电网设备急剧增加。随着变电设备的更新速度加快和高新技术的大量应用，设备运维管理难度也不断提高，必然催生对具有丰富运行维护经验人员的迫切需求。
变电设备运维一体化是将设备巡视、现场操作、维护(c、d类检修)业务和运行检修人员进行整合。目前，针对电网设备运维人员的培训主要包括理论培训、师傅带徒弟式培训、基于真实设备的培训及基于多媒体和桌面虚拟现实仿真技术的培训等方式。
理论学习主要是根据教员讲授的形式，介绍设备巡视、操作及c、d级检修的流程及注意事项。师傅带徒弟的培训模式是为学员指定师傅，并由师傅在工作过程中随时指导。基于实际设备的培训系统就是建立真实的变电站，包括一次、二次及综自系统等，学员在真实设备上进行运维操作，体验工作过程，在这种实训系统中有使用混合仿真系统将一次设备电流电压等信息驱动二次设备的模式，也有不驱动的模式，有驱动的模式可以模拟实际电网发生故障或异常时变电站设备的反应，让学员更能体验真实设备在运行状态下的情景。基于多媒体和虚拟现实仿真技术的培训方式是采用计算机软硬件技术仿真实际运维的过程和效果，并将运维知识点及危险点等信息进行展示或提示，这种方式可以重复和大规模的培训应用。
2、基于增强现实技术的运维仿真系统研究现状：
西班牙开展的suarmate项目通过语音识别系统实现与虚拟场景的互动。系统通过音neumann和majoros等人在研究认知学习理论和增强现实技术后，设计了用于辅助维修训练和维修任务实施的增强现实原型系统，认为增强现实可以有效增强维修任务执行过程中人的信息处理能力，非常有利于提高人的认知和记忆能力，可广泛应用于各种维修任务的培训。这些系统的应用，初步展现了增强现实技术在维修培训中的应用前景，也说明了国外的增强现实虚拟维修培训系统正在逐步走向实用化，同时也面临着进一步的研究和完善。欧洲航空防务与航天公司利用arvika系统解决了欧洲某型战斗机的布线效率和质量问题，其装配工人可以通过语音调用虚拟指示，轻松地按照每步的提示操作，顺利完成在1*6米板上高密度的布线工作。欧洲共同体发起了starmate项目，主要功能是帮助用户组装维修以及新用户培训。eada公司己将starmate系统应用在欧洲某型飞机机翼组装生产线上，采用视频和虚拟场景中的三维信息来引导维修任务的实施，可用于辅助维修实施和维修训练。但是增强现实技术虽已被应用在维修行业中，但在变电设备运维方面的技术尚未成型，需要进一步贴合电力行业实际情况进行设计改进。
技术实现要素：
针对现有技术中存在的变电设备运维方面的技术不够成熟导致缺少合适的仿真培训设备的问题，本发明实施例的目的是提供一种基于增强现实的变电设备运维仿真培训系统和方法，能够利用基于增强现实技术来实现一种运维仿真培训系统。
为了解决上述问题，本发明实施例提出了一种基于增强现实的变电设备运维仿真培训系统，包括：培训管理服务器、ar子系统、培训实景视觉监测子系统；
其中ar子系统包括ar头盔；所述ar头盔包括：用于对目标设备识别、跟踪和注册的双目立体视觉三维感知单元，将显示虚拟场景叠加在实际场景上的显示单元，用于识别使用者动作的手势识别单元，用于识别使用者语音的语音识别单元；
培训实景视觉监测子系统包括设置在实际场景内的多目立体视觉测量和跟踪摄像头和设备状态监测摄像机；其中所述设备状态监测摄像机用于识别变电设备的工作状态，其中所述多目立体视觉测量和跟踪摄像头用于获取实际场景中的变电设备的三维空间坐标、测量受训人员在培训现场的三维空间坐标，并跟踪测量受训人员的行走轨迹。
培训管理服务器连接ar子系统和培训实景视觉监测子系统，以利用变电设备的状态信息和受训人员的行走轨迹对受训人员实际操作变电设备的规范性进行评价。
其中，所述培训管理服务器通过无线路由器与至少一个ar子系统、培训实景视觉监测子系统进行无线通信。
其中，所述ar子系统通过以下方法建立虚拟场景和现实场景的叠加：
步骤1、采用ar头盔上的双目立体视觉测量单元建立变电设备3d模型或将已有的变电设备3d模型直接导入；其中采用ar头盔上的双目立体视觉测量单元建立变电设备3d模型具体阿伯阔：提取变电设备的3d特征，利用二维图像提取设备铭牌的二维特征，建立设备特征数据库；
步骤2、采用多目立体视觉三维测量和跟踪系统与ar头盔上的双目立体视觉三维测量系统相结合实现变电设备空间定位、ar头盔空间定位和跟踪，以及变电设备、零部件及工具快速识别；
步骤3、基于双目立体视觉技术，实时检测摄像机坐标系和变电设备坐标系之间关系，确定要添加的虚拟内容在摄像机坐标系下的位置，实现变电设备的快速跟踪定位和三维注册技术；
步骤4、利用lcos投射技术，实现变电设备虚拟场景和实际场景的融合显示。
同时，本发明实施例还提出了一种利用如前任一项所述的基于增强现实的变电设备运维仿真培训系统进行培训的方法，包括：
通过ar子系统显示叠加在一起的虚拟场景和实际场景；同时利用ar子系统进行人机交互以确定受训人员的动作和语音；
通过培训实景视觉监测子系统获取变电设备的工作状态，以及变电设备的三维空间坐标、测量受训人员在培训现场的三维空间坐标，并跟踪测量受训人员的行走轨迹；
根据ar子系统和培训实景视觉监测子系统获取的数据，利用培训管理服务器对受训人员实际操作变电设备的规范性进行评价。
其中，所述方法还包括：
当受训人员对实际场景中变电设备的实际操作行为或在虚拟场景中的虚拟操作行为不符合规范要求时培训系统产生反馈，在ar头盔显示器上显示与错误操作相对应的故障现象,且ar头盔的扬声器播放相应的声音；其中所述故障现象包括以下的至少一种：着火、冒烟、打火、电弧、爆炸。
本发明的上述技术方案的有益效果如下：上述技术方案提出了一种基于增强现实的变电设备运维仿真培训系统和方法，借助于增强现实技术、光学测量技术、网络技术等建立了基于增强现实的变电设备运维学习环境、培训环境和考核环境，实现理论学习、理论考核、虚拟操作培训、实际操作培训、虚拟操作考核、实际操作考核等培训方式，完成一次运维、二次运维、带电检测和变电运行等培训内容。
附图说明
图1为本发明实施例提出的基于增强现实的变电设备运维仿真培训系统的结构示意图；
图2为本发明实施例的系统在使用时的示意图；
图3为变电设备运维仿真培训的学习环境构成图；
图4为本发明实施例中的基于增强现实的变电设备运维仿真培训系统学习工具的示意图；
图5为拟建立的基于增强现实的变电设备运维仿真培训系统硬件架构图；
图6为拟建立的基于增强现实的变电设备运维仿真培训系统软件架构图；
图7为基于增强现实的变电设备运维仿真培训系统建设模式图；
图8为基于增强现实的变电设备运维培训训练模型图；
图9为基于增强现实的变电设备运维培训考核模型图；
图10为双目立体视觉三维测量原理示意图；
图11为手势表观特征的提取原理图；
图12为通过小样本的测试训练获取分类条件建立的决策树示意图；
图13为光学透视式显示装置与视频透视式显示装置的对比图；
图14为仿真培训系统建设体系原理图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提出了一种基于增强现实的变电设备运维仿真培训系统和方法，其提供的基于增强现实的变电设备运维仿真培训系统可以将虚拟培训场景叠加在真实的实训场景之上，受训者可以在一个与现实融合的逼真的虚拟环境中进行运维训练和考核。基于增强现实的变电设备运维仿真培训系统工作原理如图1和图2所示的，其核心在于如图1所示的支撑技术，即通过虚拟现实技术来实现虚拟场景；然后可以如图2所示的将虚拟场景叠加在实际场景上，以实现基于增强现实的变电设备运维仿真培训。
如图1所示的，基于增强现实的变电设备运维仿真培训的支撑部分包括：培训管理服务器、ar子系统、培训实景视觉监测子系统、数据传输子系统。
其中ar子系统可以包括：ar头盔；所述ar头盔包括：用于对目标设备识别、跟踪和注册的双目立体视觉三维感知单元，将显示虚拟场景叠加在实际场景上的显示单元，用于识别使用者动作的手势识别单元，用于识别使用者语音的语音识别单元。
培训管理服务器通过数据传输子系统连接ar子系统和培训实景视觉监测子系统，以利用变电设备的状态信息和受训人员的行走轨迹对受训人员实际操作变电设备的规范性进行评价。培训管理服务器通过无线路由器与各个ar头盔和培训实景视觉监测系统进行无线通信。
(1)如图1和图2所示，受训人员通过佩戴的ar头盔上镜片不仅可以看到培训现场的实际场景，而且可以看到虚拟场景，建立了逼真的增强现实培训场景。其中，ar头盔通过以下方法建立虚拟场景和现实场景的叠加：
步骤4、第四步利用lcos投射技术，实现变电设备虚拟场景和实际场景的融合显示。
人机交互是本发明实施例的基于增强现实的变电设备运维仿真培训的一个重要特征。在项目中通过ar头盔上安装的立体声麦克风采集声音信号，利用语音识别技术识别培训中常用的命令，例如：“确认”、“开始”、“向左移动”、“向右移动”、“向下移动”、“向上移动”、“开闸”、“闭闸”、“左旋”、“右旋”以及用于检索的关键词等。此外，利用ar头盔上双目立体视觉三维感知单元的深度摄像头，采用光编码手势识别跟踪技术，识别常用的手势，例如：点击、滑动、开闸、闭闸、左旋、右旋等。
(2)培训系统自动反馈技术是基于增强现实的变电设备运维仿真培训的另外一个重要特征。当受训人员对实际场景中变电设备的实际操作行为或在虚拟场景中的虚拟操作行为不符合规范要求时培训系统产生反馈，在ar头盔显示器上显示与错误操作相对应的现象，如着火、冒烟、打火、电弧和爆炸等，并在ar头盔扬声器上播放相应的声音，形成完整的反馈系统。利用培训反馈技术，可以大大加深受训人员对错误操作的影响，规范操作行为，提高培训效果。
基于增强现实的变电设备运维培训系统借助于增强现实技术、光学测量技术、网络技术等建立了基于增强现实的变电设备运维学习环境、培训环境和考核环境，实现理论学习、理论考核、虚拟操作培训、实际操作培训、虚拟操作考核、实际操作考核等培训方式，完成一次运维、二次运维、带电检测和变电运行等培训内容。
本发明实施例中的基于增强现实的变电设备运维仿真培训系统和方法的技术关键和难点为：
(1)变电设备3d建模和特征点提取:
通过将虚拟的设备3d模型叠加到实训场景上构建ar增强现实场景，模型是否精确直接影响虚实重合程度；模型中特征点的提取精度直接影响跟踪注册的精度。因此变电设备3d建模和特征点提取为技术关键点之一。
拟采用策略：采用ar头盔上的双目立体视觉三维成像系统从多个视角拍摄设备图像，通过立体视觉三维重建和三维拼接过程建立设备的三维模型，并提取特征点。通常，特征点可以由孔洞、拐点或人为设置的标记来提供。其中，对于建模比较困难的设备采用粘贴人为标记特征点方式。在项目中选择编码标记和多边形标记混合标记方式，利用多边形的拐角可以精确确定特征点，利用编码标识别特征点。现成的设备3d模型也可以直接导入使用。
(2)基于增强现实的变电设备运维仿真培训的软硬件系统架构
项目的软硬件架构需要对系统硬件的功能和软件功能拥有全面的了解。硬件架构应在保证工作效果和鲁棒性的情况下尽量节约成本。软件架构应尽量包含多方面功能，对多种情况进行周到考虑。
因为软硬件架构对之后系统的实际搭建和功能扩充意义重大，故作为关键点之一。
(3)面向变电设备的快速跟踪定位和三维注册技术
目标跟踪定位和三维注册是ar的关键环节，需要精确计算实景相机的位置和参数，将虚拟对象以适当的大小加入到场景中的适当位置，其准确性直接影响系统使用者直观感受。增强现实系统的综合性能主要由其注册精度和实时性来决定，如何使跟踪定位和三维注册更加准确与快速是本项目的关键点和难点。
(4)基于多传感器信息融合技术的受训人员操作行为评价
受训人员对实训现场的变电设备的实际操作培训是仿真培训主要方式之一，为了对受训人员实际操作实现自动化考核以及当操作不规范时及时产生冒烟、着火等虚拟培训反馈现象，需要对实际操作行为进行自动评价，因此，建立基于多传感器信息融合技术的受训人员操作行为的分析评价方法为项目关键技术。
拟采用策略：拟利用多目立体视觉三维测量和跟踪技术实时获取受训人员的三维空间位置及行走轨迹，利用光学图像等传感技术监测设备的工作状态。通过多传感器信息的融合分析受训人员操作行为，根据运维规程和操作流程，评价操作行为是否规范，对受训人员实际操作行为进行考核。
本发明的项目研究内容和实施方案
1、研究内容：
基于增强现实的变电设备运维仿真培训的关键技术研究及应用:
1.1研究基于增强现实的变电设备运维仿真培训的学习环境模型、软硬件系统架构以及建设和应用模式:
(1)研究基于增强现实的变电设备运维仿真培训的学习环境模型
研究变电设备运维仿真培训及增强现实技术在培训行业的应用，明确培训流程与可达成的效果，构建基于增强现实的变电设备运维仿真培训的学习环境模型。
学习环境是一个与知识构建有密切联系的复杂系统，通常包含学习情境、学习资源、支持工具、学习共同体、学习活动和评价活动等要素。基于增强现实的变电设备运维仿真培训学习环境是将增强现实技术、网络技术、传感技术和光学测量技术等渗透到学习环境六个构成要素的建构过程中去，变电设备运维仿真培训的学习环境构成如图3所示。
本课题将从增强现实学习环境沉浸性强、虚拟信息多维性，良好的交互性，个性化，高效率等特征出发对学习环境的六个要素进行设计。
1)学习情境指为学生提供一个完整、真实的问题背景。因此，研究基于增强现实的变电设备运维仿真培训基本知识学习情境、实践情境和考核评价情境的设计方法。基本知识情景的主要目的是在培训初期对受训人员进行教育使用，通过文字、图片、音频、视频、模型、动画等方式在受训人员头盔显示器上展示变电设备运维培训有关的陈述性知识和程序性知识，包括变电设备运维制度和章程、变电设备运维手册、变电设备功能、原理、结构及操作与维修步骤演示等内容。受训人员通过语音或手势等交互方式利用显示器上显示的目录或检索功能查找自己想要学习的内容。实践情景主要功能为在学习完成基本知识后对受训人员操作过程进行指导和检测，通过对变电设备的实际操作或者虚拟操作提高受训人员的理论水平和实际动手能力。评价情景的目的是对受训人员运维操作的规范程度进行评价，给出考核成绩。
2)学习资源是指支持教学活动，实现教学目标的各种客观存在形态，通常可以分为物质资源和信息资源，因此，研究运用增强现实技术、网络技术、光学测量技术等对信息资源进行组织和设计，完成学习任务。
3)学习工具支持学习者的知识建构。基于增强现实的变电设备运维仿真培训系统学习工具如图4所示。因此，需要研究培训人员、受训人员、服务器端、客户端和变电设备相互之间的支持工具。
4)学习共同体指一个由学习者(受训人员)、助学及考核者(培训人员)构成的团体。
5)学习活动指学习者为了完成特定的学习目标而进行的操作总和。基于增强现实的变电设备运维仿真培训学习活动包括基本理论知识学习、实际操作和虚拟操作等，因此，需要对这些学习活动目标、任务、基本流程和步骤进行设计。
6)评价活动指为了对学习者完成特定学习目标的规范程度进行考核而进行的操作总和。基于增强现实的变电设备运维仿真培训评价活动包括基本理论知识评价、实际操作评价和虚拟操作评价等，因此，需要对评价科目、任务、方法、基本流程和步骤进行设计。
(2)研究基于增强现实的变电设备运维仿真培训的软硬件系统架构
研究增强现实的基本技术，架构变电设备运维仿真培训的软硬件系统，明确系统结构和功能，寻找高效率，低成本的设计方案。
项目研究在现有变电设备实训系统基础上，利用增强现实技术、网络技术、传感技术和光学测量技术等构建培训系统硬件架构的方法，图5为拟建立的基于增强现实的变电设备运维仿真培训系统硬件架构，包括实训现场的n台变电设备实物，m个ar头盔，培训实景视觉监测系统、培训管理服务器以及无线路由器。ar头盔是增强现实的必备设备，ar头盔利用其双目立体视觉三维感知单元进行目标设备识别、跟踪和注册，利用显示单元将虚拟空间融入实际空间，利用手势识别单元和语音识别单元识别受训人员的操作手势和声音命令，形成良好的人机交互的增强现实环境。培训实景视觉监测系统摄像机、监测计算机和无线通信单元组成，通过在培训现场布置的多目立体视觉测量和跟踪摄像机(摄像机数目根据现场范围设定，一般4个即可)测量培训现场各个变电设备的三维空间坐标、测量受训人员在培训现场的三维空间坐标并跟踪其行走轨迹，通过设备状态监测摄像机识别变电设备的工作状态，利用变电设备的状态信息和受训人员的行走轨迹对受训人员实际操作变电设备的规范性进行评价。培训管理服务器通过无线路由器与各个ar头盔和培训实景视觉监测系统进行无线通信。
图6为拟建立的基于增强现实的变电设备运维仿真培训系统软件架构，软件系统采用c/s模式。在客户端模型库和客户端数据库支持下，呈现培训内容或生成虚拟培训环境，包括理论知识培训、理论知识考核、虚拟操作培训、虚拟操作考核和培训反馈部分。服务器端培训管理系统负责对整个系统的运行进行控制、监督、记录、协调培训过程。
(3)研究基于增强现实的变电设备运维仿真培训系统建设模式和应用模式
1)研究基于增强现实的变电设备运维仿真培训系统建设模式
如图7所示的，将与现有智能变电站实训系统单位合作共同研发基于增强现实的变电设备运维仿真培训系统，涉及到培训平台建设、培训科目建设、培训制度建立与规划、培训运作流程等。仿真培训系统建设体系如图14所示。
培训平台建设的基本原则在现有智能变电站实训系统的基础上增加增强现实培训系统，将实训系统和增强现实培训有机统一在一个培训平台。因此，在培训系统建设中要在不影响原有实训系统正常工作的前提下，增加硬件设备，建设增强现实平台。
培训科目建设是培训系统建设的重中之重，应具有知识性、表现方式多样性、易扩张性、良好的交互性。拟建设培训科目有理论知识培训、理论知识考核、实际操作培训、实际操作考核、虚拟操作培训和虚拟操作考核。
培训制度建立与规划需要建立学员管理制度、培训纪律制度、培训档案管理和培训评估制度。
培训运作流程是完成一次培训需要完成的具体步骤，包括培训需求分析、培训方案设计、培训实施管控和培训效果评价。
2)研究基于增强现实的变电设备运维仿真培训系统应用模式
为充分发挥基于增强现实的变电设备运维仿真培训系统的强大功能，需要研究其应用模式。以规范化的操作流程和电力安全规程为主线，将作业地点设置为作业的主环境，电力作业项目设置为作业中的目标，作业人员设置为作业中的人员，把工器具和材料设置为作业中的装备，把危险点、注意事项和安全措施设置等作为作业中的活动，对选定的具体作业流程进行工作指导和过程辅助，实现与增强现实(ar)、光学测量等硬件设备的完美融合，使受训人员从视觉、听觉等方面获得信息增强和场景感知能力，实现互动演示、场景重现、数据与信息增强、诱导指引、智能检索与场景感知等功能，进一步强化受训学员的安全意识，帮助和启发工作思维，提升培训效果，克服恐惧心理，增强动手能力，提高电力生产现场安全水平
培训科目包括理论知识训练模块、虚拟操作训练模块、实际操作训练模块、理论知识考核、虚拟操作考核和实际操作考核；实际操作考核可以采用培训系统自动考核或人工考核方式；可以选择训练、考核、或训练+考核。在培训时，受训人员根据引导进行操作，实时指导，达到增强培训体验的目的，在考核时，没有提示信息。
培训前需要确定每个受训人员的个人信息、培训科目，并通过无线网络将人员信息和培训科目信息从服务器端发送到各个客户端(ar头盔)；在收到培训人员的命令后对受训者展开所选科目的培训或考核；在实际操作训练或考核中，通过多传感器融合技术对受训人员行为进行评价，在虚拟操作训练或考核中，通过语音与手势动作的交互对受训人员的行为进行评价，如果在虚拟操作或实际操作中出现错误操作行为，产生爆炸、烟雾等虚拟反馈现象；受训者可以开展属于自己的个性化应用，提供个性化培训服务。
1.2研究变电设备特征数据库建立、空间定位、快速识别和三维注册技术以及变电设备虚实融合的培训环境
(1)研究目标识别特征数据库建立方法
目标变电设备或零部件的识别是增强现实的首要任务，目标识别首先要建立目标特征数据库。考虑培训现场变电设备的复杂情况，拟采用结构特征识别、变电设备铭牌识别和人工标识相结合的方法。因此，需要根据目标的特点研究其特征与特征提取方法及数据库建立方法。
(2)研究基于光学测量的变电设备空间定位技术以及基于空间位置的变电设备快速识别
研究内容包括：多目立体视觉三维测量和跟踪系统的标定方法、三维坐标测量方法和人体跟踪方法；基于二维图像处理技术的铭牌和标识特征提取与匹配方法；双目立体视觉三维测量系统标定方法、构建3d模型、三维特征提取与三维匹配方法。
(3)研究开发面向变电设备的快速跟踪定位和三维注册技术
目标跟踪定位和三维注册技术是ar的关键环节，决定现实场景和虚拟场景的重合精度。三维注册过程，即通过实时检测摄像机坐标系和变电设备坐标系之间关系，确定要添加的虚拟内容在摄像机坐标系下的位置。项目中提出双目立体视觉三维重建与基于kanade-lucas-tomasi(klt)的特征点跟踪相结合实现实时、稳定、准确的增强现实三维注册的方法。
(4)研究开发变电设备虚实融合的培训环境：项目中采用lcos投射技术，在ar镜片上可看到现实场景并叠加虚拟场景，达到虚实融合的培训环境。
1.3研究基于增强现实的变电设备运维仿真培训环境人机自然交互技术以及培训反馈技术：
(1)研究基于增强现实的变电设备运维仿真培训语音识别人机自然交互技术
在基于增强现实的变电设备运维仿真培训过程中，培训科目选择、信息查询、检修诱导指引、设备虚拟操作等涉及到可以用语音识别的命令，例如：“确认”、“开始”、“向左移动”、“向右移动”、“向下移动”、“向上移动”、“开闸”、“闭闸”、“左旋”、“右旋”以及需要检索的关键词等。
(2)研究基于增强现实的变电设备运维仿真培训手势识别人机自然交互技术
在基于增强现实的变电设备运维仿真培训过程中，培训科目选择、信息查询、检修诱导指引、设备虚拟操作等涉及到可以用手势识别的命令，例如：点击、滑动、开闸、闭闸、左旋、右旋等。项目中手势识别跟踪采用基于红外发射与接收的光编码(lightcoding)技术。
(3)研究培训反馈技术
当受训人员对实际场景中变电设备的实际操作行为或在虚拟场景中的虚拟操作行为不符合规范要求时培训系统产生反馈，在ar头盔显示器上显示与错误操作相对应的现象，如着火、冒烟、打火、电弧和爆炸等，并在ar头盔扬声器上播放相应的声音。虚拟现象需要和变电设备实际发生位置对准。
1.4研究构建基于增强现实的变电设备运维学习、训练和考核综合环境
(1)研究构建基于增强现实的变电设备运维学习环境
研究基于增强现实的变电设备运维学习模型建模技术：
建立基于增强现实的变电设备运维学习环境，将虚拟场景叠加到变电设备实训系统的真实场景之上，进行融合显示，在受训人员头盔上显示器上通过图文、视频、音频、动画、模型等方式展示变电设备运维通用规则、手册、设备工作原理、技术参数、检修、检测、运行等知识。学习模式如下：
●自主规划学习，确定学习目标、选择学习课程、规划学习策略和实施学习活动。
●知识推送，实时感知场景，将匹配的知识要点自动推送给受训人员，强化培训重点，做到有针对性，解决传统在线学习理论和实际脱节“学时不能用，用时不能学”和“遗忘曲线”的困境。
研究基于增强现实的变电设备运维学习虚拟融合和交互展示技术：
基于增强现实的运维学习过程需要将与学习内容有关的虚拟的检修、检测和运行场景叠加到真实场景之上，进行融合显示技术，产生真实感和沉浸感，并且通过对受训者语言和手势动作的捕捉，完成人与系统的交互，可根据用户的命令改变展示内容。
(2)研究构建基于增强现实的变电设备运维训练环境
研究变电设备运维流程的增强现实训练模型的建模技术：
基于增强现实的变电设备运维训练环境包括原有的实训环境和增加的虚实结合的训练环境。因此，变电设备运维流程的训练包括对变电设备的实际操作训练和ar环境下虚拟操作训练。在虚拟场景的流程信息引导下，受训人员对变电设备进行实际操作训练；在虚拟场景的流程信息引导下，受训人员通过语音或手势交互技术完成虚拟操作训练；
基于增强现实的变电设备运维培训训练模型如图8操作和虚拟操作训练模式下，学习活动是一个不断重复训练的过程。
研究变电设备运维流程的增强现实训练交互和操作引导技术：
“开闸”、“闭闸”、“左旋”、“右旋”等语音命令，点击、滑动、开闸、闭闸、左旋、右旋等操作手势。
(3)研究基于多传感器信息融合技术的和增强现实、虚实结合的受训人员操作行为分析评价和考核方法：
研究基于增强现实的变电设备运维培训考核模型
基于增强现实的变电设备运维培训系统除了理论考核外还有实际操作考核和虚拟操作考核两种培训模式。对受训人员既可以进行实际操作考核，也可以进行虚拟操作考核。实际操作考核可以采用多传感器信息融合技术的自动考核或者利用视频录像的人工考核方式。基于增强现实的变电设备运维培训考核模型如图9所示。对操作人员运维行为进行考核不仅需要给出定性考核结果(通过和不通过)，而且需要给出定量结果，即具体的分值。需要将每一项考核项目分为若干步骤和规则，将步骤和规则量化，设定评分标准，如果有操作失误则根据其行为导致后果的严重程度来进行相应的扣分，得到量化的考核成绩。
研究基于多传感器信息融合技术的受训人员实际操作行为分析评价方法
通过培训现场多目立体视觉测量和跟踪系统实时获取培训过程中受训人员的三维空间坐标及行走轨迹，通过设备状态监测相机采集变电设备的图像，分析变电设备的工作状态，通过多个图像传感器的信息融合判断受训人员实际操作行为是否符合规范要求。因此研究基于二维图像传感的设备状态识别方法；研究基于多目立体视觉测量和跟踪技术的人体捕捉跟踪方法；研究多传感器信息融合判断受训人员实际操作行为的方法。
研究基于增强现实技术的受训人员虚拟操作行为分析评价方法
在增强现实环境下，受训人员通过手势和语音对虚拟设备进行虚拟操作，通过与正确的操作流程进行比对可判断虚拟操作是否正确。
1.5研究开发基于增强现实技术的变电设备运维仿真培训示范验证系统
在现有智能变电站实训系统基础上构建开发基于增强现实技术的变电设备运维仿真培训示范验证系统。
基于增强现实技术的变电设备运维仿真培训示范验证系统包括以下培训内容：
(1)一次设备
断路器、隔离开关、变压器及辅助设备等一次设备的识别、状态数据显示、检测与维护知识与技能。
(2)二次设备
二次设备的识别、状态数据显示、继电保护基础知识、二次设备巡视、设备清扫、功能投退以及二次专业化特巡等专业知识与技能。
(3)带电检测
红外测试、主变铁芯接地电流测试、sf6电气设备气体检漏等指引。
(4)变电运行
倒闸操作指引，设备巡视导航，事故异常重现及远程协助处理。
实施方案
基于本课题的研究内容及预期目标，实施方案的总体思路是在全面调研国内外研究现状的基础上，制定相应的研究方法及线路，在深入研究及对比各种方案、方法及理论的基础上，针对每一问题提出相应最有效的解决方法及策略，并最终达到或超过预期目标。本课题将采用的实施方案如下：
(1)研究分析本课题各研究内容的国内外研究现状，总结国内外已经取得的最新研究成果，分析已有成果对项目研究的借鉴作用，分析当前研究成果在解决本课题问题方面的不足，明确研究内容和技术路线。
(2)在全面调研的基础上，建立正确准确的学习培训系统的模型，根据模型设计软硬件系统架构，作为实现系统功能的指导。深入研究培训单位与被培训者的需求，充分考虑基于这些需求的系统模型的建立。
(3)分析ar技术的目标识别技术、首先是针对不同对象进行识别确认及建模方法。首先研究根据特征的识别方法；研究各种情况下对象特征的变化；进而基于以上模型，搭建数据库，对目标进行识别与匹配。
(4)研究动作捕捉与跟踪注册技术，分析各种算法的优劣，选择合适的跟踪算法对目标进行跟踪并进行三维注册。
(5)研究融合显示和交互技术，深入研究目前融合显示的技术，建立真实的显示模型，配合准确的定位技术进行人机交互技术的开发，并且研究语义准确性，利用语音识别模块使交互技术更加有效。
(6)开发实现基于沉浸式虚拟现实技术的变电设备监控仿真培训示范系统并应用部署进行验证。
(7)通过对于上述研究的总结，撰写论文、专利及研发报告，并验收通过。
提出利用多目立体视觉三维测量和跟踪技术实时获取受训人员的三维空间位置及行走轨迹，利用光学图像等传感技术监测设备的工作状态，通过多传感器信息的融合分析评价受训人员操作行为是否规范的方法，可以用于对受训人员实际操作行为的考核。
以下对本发明实施例的实现原理和理论进行说明：
1、双目立体视觉三维测量原理：如图10所示的，双目立体视觉原理是从两个视点观察同一物体，以获取在不同视角下的感知图像，通过三角几何原理计算图像像素间的位置偏差(即视差)来获取景物的三维信息。空间点是构成三维空间结构的最基本单元，理论上可以由点形成线,由线形成面，再由各种面构成三维立体结构。因此，空间点的坐标测量是双目立体视觉的最基本内容。
三维空间点成像模型如图10所示,对于空间物体表面任意一点p，如果用c1和c2两个摄像机同时观察p点，p在两相机的投影分别为p1与p2，并且己经确定p1与p2为双目视觉图像的匹配点，那么可以得出，p点既位于直线o1p1，上,又位于直线o2p2上，因此，p就是这两条直线的交点，它的三维位置是唯一确定的。
令世界坐标系下空间点p(x,y,z)在两个摄像机像平面上的投影坐标分别为p1(u1,v1)和p2(u2,v2)，点p1、p2坐标均以像素为单位。根据针孔成像模型，经过理论推导可以得到像素坐标和世界坐标之间的关系为；
在上述的公式里，s是比例系数；ax＝f/dx，ay＝f/dy；矩阵r为旋转矩阵，t为平移矩阵；f为摄像机焦距；dx和dy分别为图像坐标系中相邻像素在x轴和y轴方向上的距离。
在测量系统中,摄像机是基于双目平行的空间关系进行配置的。要求空间点p的坐标，先用摄像机定标的方法分别求出双目摄像机的投影矩阵，再将这两个投影矩阵分别带入上述公式，从而可以得到关于x、y、z的四个线性方程构成的超定方程组，可利用最小二乘法解得该点的世界坐标。
2、目标识别原理：
1)静态目标识别
从变换或映射的角度来看，它是对某一模式的一组测量值进行变换，以突出该模式具有代表性特征的一种方法，通过影像分析和变换，将部分区域内满足要求的特征点选取出来作为继续识别的信息输入，后续处理的起点缘于图像特征。图像特征体现着图像本身的最基本属性，它能结合视觉进行量化表示。
能够从数字图像中提取的图像特征种类很多，比较典型的有角点特征，边缘特征和斑点特征。
一旦检测到了图像的兴趣区域，接下来的工作就是从数量上描述这一区域。得到定量的图像特征描述称为图像的特征描述符。
经过图像特征提取和图像特征描述符的构建，每一幅图像被抽象为一系列的局部特征。为了进行图像匹配，需要应用查询技术比较两幅图像提取的特征，然后通过匹配策略判别图像是否匹配。图像特征匹配过程主要包括三个部分：相似度度量，匹配策略和查询技术。
利用特征进行模式匹配是目前目标匹配识别中最常用也最有效的方法，其具体含义是指图像中目标的特征同模型库中的模型相匹配。在许多图像目标识别任务中，待识别的目标数量较多，每一个目标拥有的特征也有许多，因此，在建立识别系统的时候，必须考虑特征的有效性和匹配算法的高效率。
假设每一个特征类别是由它的特征来表示的。即假设第i类物体的第j个特征值表示为fij。对于一个未知物体，其特征表示为uj。该物体和第i类的相似性由下式给出：
其中，wj是第j个特征的权值。权值的选择是以特征的相对重要性为基础的。第j个特征相似值是sj，它可以是绝对差、规范化差或其它距离测量值。最常用的方法是用下式并考虑同特征一起使用的权值规范化：
sj＝|uj-fij|(3-3)
一个物体不仅可以用它的特征来表示，而且可以用特征之间的联系来表示。特征之间的关系可以是空间的，或者是其它形式的。在这样的情况下，物体可能被表示为一个图形。图形的每一个节点都表示一个物体，弧线连接节点表示物体之间的联系。
因此，物体识别问题可以认为是图形匹配问题。
一个图形匹配问题可以定义如下：有两个图形g1和g2，包含nij个节点，其中i表示图形数，j表示节点数，节点j和节点k之间的联系表示为rjk。在图形上定义一个相似性测量值，该测量值包含了所有节点和函数的相似性。
在目标识别的多数应用中，待识别的物体可能是部分可见的。因此，一个识别系统必须能从物体的部分视图来识别它们。
2)手势识别
本科题采用深度探测传感技术获取场景深度图像，识别手势。
在人机交互的过程中，手势动作往往都置于身体位姿之前，利用手势区域与背景区域不同的深度值分割出手势区域。同一深度的像素点在深度图像中灰度值相同，但是每次人和深度摄像头的之间的距离都不完全相同，无法用固定深度阈值实现区域的分割。本课题使用基于灰度直方图的方法寻找手势区域与背景的分割阈值。
灰度直方图表示图像中具有每种灰度级的象素的个数，反映图像中每种灰度出现的频率。针对深度值所对应的灰度图像，计算出灰度直方图。手势部位往往是离深度摄像头较近的区域，且相对于背景区域面积较小，因此从灰度值由大到小开始寻找像数点变化，比较大的灰度值处作为区域分割的灰度阈值。
通过提取手势的表观特征，根据表征手势的指头数以及指间的夹角的不同对手势进行分类，实现手势在旋转缩放条件下的快速识别。相比于其他的手势特征提取方法，手势的表观特征具有更加直观、无需训练样本、适应性强、运算速度快实时性好等优点。
如图11所示的，手势表观特征的提取步骤如下：
(1)通过数学形态学中的腐蚀操作获取手势区域中心位置点。由于手掌作为手势表观的主要组成部分，在手势区域中它占有最大的面积而且点较为集中。通过连续的腐蚀操作，可以消除手势区域的边界点，使手势区域逐步缩小，最终得到手势区域的中心位置点c0。
(2)计算出中心点与手势区域边缘的最大距离值l，对距离进行10等分，以d＝l/10。以手势区域中心点为圆心做出圆轨迹，圆半径从d开始到l，每次递加值为d，得到10个圆轨迹线，如图所示。
(3)按顺时针方向记录每条圆轨迹线上像素值变化点pij(0～1，即从黑色区域到白色区域)和qij(1～0为即从白色区域到黑色区域)的位置坐标值，i表示轨迹圆的编号，j表示同一轨迹圆上p或者q点编号，同时删除单独存在的pij点和qij点。
(4)通过pij和qij的位置坐标，计算每对pij和qij之间的距离dij，当轨迹圆与指尖部分区域相截时获得较小的dij，不能表现手指的实际宽度值；所以当dij小于阈值δ时，删除对应的pij和qij点，一些手指的指间处pij和qij点被去除，根据经验设置阈值为δ＝d/4。
(5)每个轨迹圆上获得的j最大值，为与手掌相连分支数量总和n＝max(j)。由于分支中包含手指和手腕分支，则手指数量是nf＝n-1。
(6)由每个分支的平均值计算得到分支的平均宽度wj＝dij。在手形上可知手腕宽度大于手指，在分支中手腕对应于最大宽度的分支。由除手腕分支外的其他分支在各自截取的最大轨迹圆上取pij和qij的中点与中心位置点c0连线，得到指间夹角aj-1。
人机交互中需要自然的手势动作，而不局限于某些特定手势位姿或是特定手势区域大小。距离的远近以及手势的位姿会造成图像中手势大小以及旋转的问题。在特征提取中，利用等分轨迹圆消除手势区域大小对特征提取的影响，同时对轨迹上的变化点进行特征计算，提取的手指数量nf和指间夹角aj-1特征都具有旋转和缩放的不变性，不受手势距离远近和旋转的影响。
通过提取手势的表观特征，建立决策树模型，对手势进行识别分类。决策树是通过对训练样本进行归纳学习，生成决策树或决策规则，然后使用决策树或决策规则对新数据进行分类的一种数学方法。决策树通过把实例从根节点排列到某个叶子节点来分类，叶子节点即为实例所属的分类。构造好的决策树的关键在于如何选择恰当的逻辑判断或属性。
手势主要的提取特征是手指数量nf和指间夹角aj-1特征，作为决策树的分类节点。不同手势之间手指数量特征区分比较明显，建立的决策树首先以手指数量nf作为决策树的根节点，对于手指数相同的手势，再建立子节点对各个指间夹角aj-1差异情况进行区分。子节点上对于指间夹角aj-1，
通过小样本的测试训练获取分类条件，建立的决策树如图12所示。
手势1、手势3、手势4、手势5的手指数量特征具有唯一性，可直接通过根节点分类；手势2和手势6的nf＝2，下一层子节点通过判断指间夹角a1大小加以区分；手势7、手势8、手势9的nf＝3，需要通过2层子节点判断指间夹角a1和a1大小进行区分。
3)目标跟踪与三维注册方法
a、立体视觉三维重建原理
基于立体视觉的三维重建是由两幅或多幅图像恢复物体三维几何形状的方法，用于重建的图像序列是由移动的单台摄像机或处于不同视点的多台摄像机所拍摄的。摄像机通过透视变换获取了三维空间物体的二维图像，该图像中的点实际物体上的点存在着一定的对应关系。就像我们的双眼一样，两台ccd摄机从不同方向对空间中一个点进行拍摄后得到的两幅图像，然后依据对应关系向推出实际空间中点的位置坐标，这就是双目立体视觉三维重建的过程。
通过完成摄像机标定、图像匹配、空间点重建后，就可以利用这些数据对物体进行三维重建。
空间点重建算法：在汇聚式立体视觉模型下，假定空间任一点p在两个摄像机c1与c2上的图像点p1与p2己经从两个图像中分别检测出来，即己知p1与p2为空间同一点p的对应点。而且，假定c1与c2摄像机己经标定,它们的投影矩阵分别为m1与m2。于是有
其中,(u1,v1,1)与(u2,v2,2)分别为p1与p2点在各自图像中的图像齐次坐标,(x,y,z,1)为p点在世界坐标系下的齐次坐标；mikj(k＝1,2；i＝1,…,3；j＝1,…,4)分别为mk的第i行j列元素。
按照摄像机的线性模型公式(3-6),可在上式中消去zc1和zc2,得到关于x,y,z的四个线性方程:
式(3-7)和(3-8)的几何意义是过o1p1和o2p2的直线。由于空间点(x,y,z)是o1p1和o2p2是的交点，它必然同时满足上面两个方程。因此，可以将上面两个方程联立求出空间点p的坐标(x,y,z)。但在实际应用中，由于数据总是有噪声的，通常利用最小二乘法求出空间点的三维坐标。将这些点进行曲面拟合即可得到空间三维图形。
b、光流法目标跟踪方法
光流法用于目标跟踪的原理是：
●对一个连续的视频帧序列进行处理；
●针对每一个视频序列，利用一定的目标检测方法，检测可能出现的前景目标；
●如果某一帧出现了前景目标，找到其具有代表性的关键特征点(可以随机产生，也可以利用角点来做特征点)；
●对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；
●如此迭代进行，便可实现目标的跟踪。
c、三维注册方法
三维注册包括了图像平面坐标系，摄像机坐标系，世界坐标系之间的平移和投影转换。在针孔相机成像模型下，以齐次坐标表示世界坐标系的点
xw＝(xw，yw，zw，1)t，x＝(x，y，1)t(3-9)
x,y为其在像平面上的投影。它们之间的关系可以用下式(3-10)表示：
当xw在标识平面上式，zw＝0，则公式(3-10)转为下式(3-11)：
其中，式(3-10)和(3-11)中的k表示摄像机的内部参数，m表示摄像机的外部参数。三维注册主要是求出内部参数与外部参数。摄像机的内部参数矩阵k在摄像机标定后可确定，k在系统运行过程中保持不变。m包括3个旋转分量(r1r2r3)和一个平移分量(t)，注册过程中的关键问题就是求出这四个分量。由上式(3-11)可知，若在内部参数k和单应性矩阵hw已知的情况下，且r1，r2和r3满足正交性，则(r1r2r3)和(t)就能够被求出，从而可求出摄像机的外部参数m。只要求出每一帧的m，即包括了旋转矩阵又包含平移矩阵，就可以把虚拟物体正确注册到真实世界中，从而实现虚实融合。
3、虚实融合显示原理
目前主流的头戴式显示装置按其实现原理来分，主要分为两类，一为光学透视式显示装置，二是视频透视式显示装置，其原理如图13左侧和右侧的对比。
光学透视式显示装置的特点是让用户能够直接看到真实的环境,再通过投影设备等装置把虚拟物体的影像叠加上去。由于光学透视式显示装置允许用户能够直接观看到真实环境,因此,用户的视野范围宽阔,不易产生头晕等现象,用户的舒适度较高。但由于光学透视式显示装置的虚拟物体影像是直接投影到用户的眼睛,虚拟物体一般只能够直接叠加到真实物体上面,很难正确处理虚拟物体与真实物体之间的遮挡问题。此外,由于真实环境与虚拟物体之间完全独立分离,容易造成因虚拟物体绘制或更新速度不足而导致真实环境的变化与虚拟物体的变化不同步的问题第三,因此它要在双目部分重叠中,由于双目观察的图像差异产生双目竞争,严重情况下会导致图像分裂,产生视觉疲劳,加重使用者的工作负担。因此,它要求增强现实的实时响应性很高。
视频透视式显示装置是把用户完全与真实环境分隔开来,用户对真实环境的感知仅能通过安装在装置上的摄像头的视频影像进行间接的感知。增强现实系统把视频信号与虚拟物体进行叠加后,转化成虚实融合的视频信号再输出到显示屏内,让用户观看到虚实融合的混合环境。视频透视式显示装置由于把用户与真实环境完全分隔开来,用户对真实环境的感知是通过摄像头间接获得的,因此,相对于光学透视式显示装置而言,它的视野范围较小,用户观察的舒适度没有光学透视式高。但视频透视式显示装置有着光学透视式显示装置无可比拟的优势。
①虚实融合效果好。由于真实环境通过摄像头获取后,会经过计算机处理再传送给用户,因此,这种显示装置为解决真实环境与虚拟物体之间的光照一致性问题提供了基础。此外,计算机可以通过对视频帧进行适当的处理,实现虚拟物体与真实物体之间的遮挡关系正确显示。
②实现简单,制作成本低。视频透视式显示装置的核心部件一摄像头与微型显示器目前都有非常成熟的产品,并且价格比较适中,不需要对核心部分进行研发,只需要对摄像头与微型显示器进行简单的改装即可使用。
③虚实影像同步性能好。由于用户是通过摄像头所捕获的视频对真实世界进行感知的,因此,当虚拟物体与真实环境的输出不同步时,可以通过延迟视频输出等方式使虚拟物体与真实环境的视频影像保持同步。
选择视频透视式头盔,视频透视式头盔主要分为双目式的与单目式两类。单目式的头盔由于只有一个摄像头,因此,用户无法通过单帧视频图像完全获得真实环境的深度信息,从而导致用户无法对真实物体的距离进行准确的判断,在增强现实系统中会经常出现无法一次抓拿住真实物体的问题。在头盔上安装了两个观察摄像头,形成左、右两路视频输入并通过立体显示眼镜分别传输到用户的左右眼内,使用户能够获得真实环境的完整深度信息。另一方面,由于人眼的瞳距不一,如果两个观察摄像头与人眼瞳距不相匹配,不但会导致立体感减弱,严重时还会引起头晕等不良现象。为了减少用户因瞳距与预设值不匹配时产生的不适感,设计了利用步进电机对两个观察摄像头之间的距离进行微调,以便用户能够获得最佳体验效果的立体显示装置。
(lcos技术)现在的科技水平决定了，人们想看到一个虚拟的图像，那么一定需要有：图像源。并且由于光线最终是要进入人眼的，因此其显示部分不仅要有显示能力，还需要有光的定向投影能力。所以说仅仅是液晶显示器，其发射光的亮度和效率是远远不够的。在ar头显中，准确的说，实际需求的是微型投影机(micro-projector)。
传统的投影机的结构包括这一堆的透镜，其看起来就离“微型”两个字很远。是的没错，这套系统很难做小，并且功耗很大。
液晶覆硅(又称硅基液晶，英文：liquidcrystalonsilicon，缩写：lcos)是小型化ar头显的关键技术之一。
三片式的lcos成像系统，首先将投影机灯泡发出的白色光线，通过分光系统系统分成红绿蓝三原色的光线，然后，每一个原色光线照射到一块反射式的lcos芯片上，系统通过控制lcos面板上液晶分子的状态来改变该块芯片每个像素点反射光线的强弱，最后经过lcos反射的光线通过必要的光学折射汇聚成一束光线，经过投影机镜头照射到屏幕上，形成彩色的图像。
在hololens中，靠近鼻梁处的两处发光点就是lcos微型投影仪所在处。整体看来结构，其实非常小而精巧，而不像meta2那样直接摆一个那么大的显示屏，简单粗暴。
液晶覆硅具有利用光效率高、体积小、开口率高、制造技术较成熟、低成本等特点，它可以很容易的实现高分辨率和充分的色彩表现。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。