节选于卢荣胜,史艳琼,胡海兵《机器人视觉三维成像技术综述》一文。
这种测距方式也称为直接TOF(DTOF)。D-TOF通常用于单点测距系统,为了实现面积范围3D成像,通常需要采用扫描技术。
扫描3D成像
1、扫描测距
扫描测距是利用一条准直光束通过一维测距扫描整个目标表面实现3D测量。典型扫描测距方法有:
2、激光散射干涉法,如基于多波长干涉、全息干涉、白光干涉散斑干涉等原理的干涉仪;
3、共焦法,如色散共焦、自聚焦等。
其他几种单点扫描方法有:单点激光干涉法、共焦法和单点激光主动三角法,测量精度较高,但前者对环境要求高;线扫描精度适中,效率高。
2、主动三角法
主动三角法是基于三角测量原理,利用准直光束、一条或多条平面光束扫描目标表面完成3D测量的。
在多线扫描方法中,条纹极数可靠识别是难点。为了准确识别条纹编号,通常采用两组垂直光平面高速交替成像,这样还可以实现“FlyingTriangulation”扫描,其扫描与三维重构过程如下图所示。多线条投影一次频闪成像产生一幅稀疏3D视图,通过纵横向条纹投影扫描生成若干幅3D视图序列,再通过三维图像准配生成高分辨率的完整致密的三维曲面模型。
3、色散共焦法
色散共焦似乎可以扫描测量粗糙和光滑的不透明和透明物体,如反射镜面、透明玻璃面等,目前在手机盖板三维检测等领域广受欢迎。
色散共焦扫描有三种类型:单点一维绝对测距扫描、多点阵列扫描和连续线扫描,下图分别列出了绝对测距和连续线扫描两类示例,其中连续线扫描也是一种阵列扫描,只是阵列的点阵更多、更密集。
结构光投影3D成像
结构光投影三维成像目前是机器人3D视觉感知的主要方式,结构光成像系统是由若干个投影仪和相机组成,常用的结构形式有:单投影仪-单相机、单投影仪-双相机、单投影仪-多相机、单相机-双投影仪和单相机-多投影仪等典型结构形式。
常用的投影仪主要有下列几种类型:液晶投影(LCD)、数字光调制投影(DLP,如数字微镜器件(DMD)、激光LED图案直接投影
根据结构光投影次数划分,结构光投影三维成像可以分成单次投影3D和多次投影3D方法。
1、单次投影成像
目前在机器人手眼系统应用中,对于三维测量精度要求不高的场合,如码垛、拆垛、三维抓取等,比较受欢迎的是投射伪随机斑点获得目标三维信息,其3D成像原理如下图所示。
2、多次投影成像
在实际应用中,常采用格雷码投影、正弦相移条纹投影或格雷码十正弦相移混合投影3D技术。
3、偏折法成像
对于粗糙表面,结构光可以直接投射到物体表面进行视觉成像测量;但对于大反射率光滑表面和镜面物体3D测量,结构光投影不能直接投射到被测则表面,3D测量还需要借助镜面偏折技术,如下图所示。
在这种方案中,条纹不是直接投影到被测则轮廓上,而是投射到一个散射屏上,或用液晶显示屏代替散射屏把条纹直接显示出来。相机通过光亮表面折返光路,获取被光亮表面曲率变化调制的条纹信息,然后解算出三维轮廓形貌。
立体视觉3D成像
立体视觉字面意思是用一只眼睛或两只眼睛感知三维结构,一般情况下是指从不同的视点获取两幅或多幅图像重构目标物体3D结构或深度信息。
深度感知视觉线索可分为ocularcues和Binocularcues(双目视差)。目前立体视觉3D可以通过单目视觉、双目视觉、多(目)视觉、光场3D成像(电子复眼或阵列相机)实现。
1、单目视觉成像
单目视觉深度感知线索通常有:透视、焦距差异、多视觉成像、覆盖、阴影、运动视差等。在机器人视觉里还可以用镜像1,以及其他shapefromX10等方法实现。
2、双目视觉成像
典型的双目立体视觉计算过程包含下面四个步骤:图像畸变矫正、立体图像对校正、图像配准和三角法重投影视差图计算,如下图。
3、多(目)视觉成像
也称多视点立体成像,用单个或多个相机从多个视点获取同一个目标场景的多幅图像,重构目标场景的三维信息。其基本原理如下图所示。
多视点立体成像主要用于下列几种场景:
1)使用多个相机从不同视点,获取同一个目标
场景多幅图像,然后基于特征的立体重构等算法求取场景深度和空间结构信息
4、光场成像
光场3D成像的原理与传统CCD和CMOS相机成像原理在结构原理上有所差异,传统相机成像是光线穿过镜头在后续的成像平面上直接成像,一般是2D图像。
光场相机成像是在传感器平面前增加了一个微透镜阵列,将经过主镜头入射的光线再次穿过每个微透镜,由感光阵列接收,从而获得光线的方向与位置信息,使成像结果可在后期处理,达到先拍照,后聚焦的效果,如下图所示。
机器人视觉3D成像方法比较
(1)类似于ToF相机、光场相机这类相机,可以归类为单相机3D成像范围,它们体积小,实时性好,适合Eye-in-Hand系统执行3D测量、定位和实时引导。
但是,ToF相机、光场相机短期内还难以用来构建普通的Eye-inHand系统,主要原因如下:
(2)结构光投影3D系统,精度和成本适中,有相当好的应用市场前景。它由若干个相机-投影仪组成,如果把投影仪当作一个逆向的相机,可以认为该系统是一个双目或多目3D三角测量系统。
(3)被动立体视觉3D成像,日前在工业领域也得到较好应用,但应用场合有限。因为单目立体视觉实现有难度,双目和多目立体视觉要求目标物体纹理或几何特征清晰。
(4)结构光投影3D、双目立体视觉3D都存在下列缺点:体积较大,容易产生遮挡。因为这几种方法都是基于三角测量原理,要求相机和投影仪之间或双目立体两个相机之间必须间隔一定距离,并且存在一定的夹角θ(通常大于15°)才能实现测量。
如果减小相机与投影仪(结构光光源)的夹角,虽然在某些程度上可以解决问题,但是却会严重降低系统的测量灵敏度,影响该测量系统的应用。
针对上述问题虽然可以增加投影仪或相机覆盖被遮挡的区域,构成投影仪-相机-投影仪系统、相机-投影仪-相机测量系统或者多个相机投影仪系统,增大可视范围,减小阴影区域,扩大測量区域,但会增加成像系统的体积,减少在Eyen-hand系统中应用的灵活性。从Eye-in-Hand系统的角度来看,最佳的方案是开发一种成本低廉、精度适中、被动单目3D成像系统。