基于瞳孔定位技术的视觉跟踪系统的研究AET

(广东技术师范学院,广东广州510665)

关键词:瞳孔定位;视觉跟踪;图像处理;嵌入式系统

0引言

本文设计了一款基于瞳孔定位技术的视觉跟踪系统。系统基本结构如下:在一款普通树脂眼镜的右上角部位安装微型摄像头,用以采集眼球活动数据,并由数据线将图像传输至微处理器,再由微处理器对眼球图像数据进行算法计算,得出眼睛瞳孔的准确运动方向。微处理器模块由于机械尺寸较大,暂时无法固定在普通树脂眼镜之上,因此目前采用外置方式。

系统原理结构图如图1所示。

1系统各功能模块

1.1微型摄像头模块

摄像头是采集人眼球活动数据的基本设备,它的采集精度和准确性对系统的质量有着关键的影响。经过综合考虑,本系统选择了OV7960摄像头模块,该模块尺寸较小,最大尺寸只有9mm,具有480TVL的水平清晰度,可以满足眼球瞳孔定位追踪的精度要求。

1.2视频同步分离模块

为了能够对采集到的视频信号进行数字化处理,必须首先对采集到的彩色视频信号进行视频同步分离,以获取视频中的彩色图像数据,这就需要视频同步分离电路来完成。为了减少处理器的负荷,本文采用硬件方法对视频信号进行同步分离,电路采用专用的视频分离芯片LM1881N完成分离功能,其电路如图2所示。

1.3微处理器模块

本系统采用S3C6410嵌入式芯片作为微处理器。S3C6410采用ARM1176JZFS的内核,主频可以达到533MHz/667MHz,最大支持到8bit纠错,实现了MMU、AMBABUS和Harvard高速缓冲体系结构[2]。

2瞳孔追踪原理及算法

系统通过跟踪人瞳孔实时运动轨迹来实现视觉跟踪的目的,需要较为复杂的图像处理算法完成瞳孔识别与追踪的工作。其中第一步是实现对视频图像信息的采集任务,这可以在S3C6410处理器上运行图像采集程序实现。图3图像处理算法流程图

在一般情况下,系统采集到的眼部图像存在着背景光线干扰、光线反射变化、眼部运动变化等多种复杂的环境影响,因此图像的质量并不高,难以获得精确的瞳孔运动数据。因此必须通过专业的图像处理算法才可以提取到清晰的眼部瞳孔图像,系统采用的图像处理算法流程图如图3所示。

2.1图像的灰度化处理

为加强图像目标区域的对比度,本文采用了一种有选择性的灰度化方法[3],该方法将常规的R、G、B数值映射到新的坐标空间Rn、Gn、Bn。以Rn为例,其计算过程由式(1)、式(2)确定。

当Rs≥128时,Rn的数值由式(1)给出:

按照以上方法得到的灰度图像可以产生比传统方法更好的灰度化效果,使瞳孔部分的灰度效果在背景图像中表现得更加突出。

2.2图像的滤波处理

本系统选择了模糊矢量滤波算法。当采集到的图像存在一定的噪声干扰的情况下,滤波器难以区分目标图形的边缘与噪声图像之间的界线,使得目标图像识别率降低,而模糊滤波理论可以解决以上问题[4]。图像模糊滤波算法的核心是构造一个模糊加权均值滤波器,其计算过程由式(3)确定[5]:

其中,wk是对应于图像像素点x(l)k的归一化权值,它的数值由下列条件限定:

而图像像素点的归一化权值wk数学形式由式(5)定义:

2.3图像的阈值分割

运用图像阈值分割技术可以从已经滤波的图像中提取所需的跟踪目标信息,常用的图像阈值分割方法有最大类间方差法和最大熵法等[6]。本文选择最大熵法进行阈值分割。最大熵法的最佳阈值由式(6)确定[7]:

T*=argMax[Hf(t)+Hb(t)](6)

2.4轨迹特征提取

系统采用选择最小二乘法来实现瞳孔运动轨迹的直线拟合。最小二乘法的原理非常简单,可以用式(7)来实时地描述每一条运动轨迹:

Y=kx+b(7)

其中,k表示直线的斜率,b表示直线的截距。只要求解出k和b的数值,就可以得到图像的运动轨迹,而根据最小二乘法原理,k、b的值由式(8)、式(9)确定[8]:

按上述方法,可以把瞳孔的运动轨迹拟合成若干段直线的组合形式,既能够减小处理器的计算量,同时也不影响对瞳孔运动方向的判断,符合系统对运动轨迹判决精度的要求。

3实验及性能分析

使用该系统,对人双眼的瞳孔运动轨迹进行了多次的跟踪实验与判断。实验过程如下:系统在进行视觉追踪时,由算法自动设定眼球正中位置为初始位置,当人的眼球转动时,瞳孔的相对位置及运动轨迹发生改变,通过跟踪瞳孔的运动轨迹,系统可以判断出瞳孔的相对位置,并给出判断后的二进制数值。瞳孔的位置真值表如图4所示。

对系统进行了多次实验及测试,得到的实测数据如表1、表2所示。

4结论

在一般应用条件下,本文所提出的系统已经可以满足视觉跟踪技术对于实时性和准确度的要求,但在更高要求的场合应用时,系统的性能还需要进一步提高,这可以通过采用更高性能的硬件处理器以及设计更高效的软件算法来实现,这些工作可以在下一步的研究中继续优化与改进。

参考文献

[1]BABURV,PEREZP,BOUTHEMYP.Robusttrackingwithmotionestimationandlocalkernelbasedcolormodeling[J].ImageandVisionComputing,2007(25):12051216.

[2]徐媛媛,匡斐,钟璐远,等.基于ARM11平台和GPRS远程无线图像报警系统的研究[J].微型机与应用,2015,34(2):3840.

[3]周金和,彭福堂.一种有选择的图像灰度化方法[J].计算机工程,2006,32(10):198200.

[4]SHENY,BARNERKE.Fastadaptiveoptimizationofweightedvectormedianfilters[J].IEEETransactionsonSignalProcessing,2006,54(7):24972510.

[5]LUKACR,PLATANIOTISKN,VENETSANOPOULOSAN,etal.Astatisticallyswitchedadaptivevectormedianfilter[J].JournalofIntelligentandRoboticSystems:TheoryandApplications,2005,42(4):361391.

[6]QiZhengwei,YouJinyuan.FormalizationofPsystemsbyMaude[J].JournalofShanghaiJiaotongUniversity(Science),2005,10(3):260264.

[7]MORILLASS,GREGORIV,PERISFAJARNESG,etal.Afastimpulsivenoisecolorimagefilterusingfuzzymetrics[J].RealTimeImaging,2005,11(56):417428.

[8]GHEORGHEP.Psystemswithactivemembranes:attackingNPcompleteproblems[J].JournalofAutomataLanguagesandCombinatorics,2001(6):7590.

THE END
1.特工任务眼镜上有微型摄像头?特工任务|眼镜上有微型摄像头? 北京卫视 2023-10-02 18:37 +关注 国安局对朱言进行调查,发现她是可以接触到竞标组核心机密的工作人员。朱言换了新眼镜,是肖逸送的。吴熙接下来的任务是想办法接近朱言的眼镜,果然发现眼镜上有微型摄像头。 浏览687 推好文,得时间币 评论 https://m.btime.com/item/router?gid=423cg6raq138qtbdoc356bi7e27
2.高清无孔眼镜摄像机眼镜摄像头针孔摄像机微型摄像头采购类型现货/标准品采购总量1剩余报价天数0天 发布时间2019-06-23截止时间2019-08-23报价条数0 条 询价产品(现货/标准品) 产品名称品牌采购数量单位产品描述 高清无孔眼镜摄像机 眼镜摄像头 针孔摄像机 微型摄像头--1副调查取证 对供应商要求 期望收货日期2019-08-23 https://www.912688.com/buy/407773.html
3.OpenEyeTap:基于树莓派的开源AR智能眼镜·Issue#I4JVUE我们这一款EyeTap智能眼镜,使用3D打印组件,内置光学微型显示器,微型摄像头和带wifi功能的树莓派ZeroW。具有电子记录功能(类似车载记录仪)和快照功能。以下是项目团队对该项目的说明。 欢迎各位了解Open EyeTap项目!我们是一个具有雄心壮志的创作团队,致力于打造世界上最灵活的智能眼镜和可穿戴增强现实的社区。我们希望提https://gitee.com/shiliupi/OpenEyeTap/issues/I4JVUE
4.这次,Google把摄像头做进了智能隐形眼镜如果你觉得佩戴在脸上的Google Glass还不够酷,那么把摄像头做进隐形眼镜里的Google这次可不会让你失望。根据PatentBolt的报道,Google提交了一个可用于智能隐形眼镜的微型摄像系统专利,用户可以通过眨眼等动作来进行操控,并获得像超人那样的仿生人超级视觉。 https://www.pingwest.com/a/30405
5.高清平光微型眼镜摄像机使用说明书.doc世界首款带加密读盘功能高清数字摄像眼镜。 色彩鲜艳,图像逼真,效果自然纯真。 设计灵活多样适合不同脸型需要及不同品位追求。 时尚酷炫设计紧跟潮流脚步。 完美融合多项时尚概念及流行元素,更有为潮流达人专门设计的限量专版来满足个性品质需求。 5百万像素CMOS摄像头。 https://www.taodocs.com/p-11719044.html
6.Google筹划配备摄像头的隐形眼镜还记得 Google 那款能够检测血糖的隐形眼镜吗?它开启了人们对穿戴式健康设备的新想象,但 Google 的野心可不仅仅局限于此。刚刚曝光的一份专利文件显示,Google 还在筹划一款配备摄像头的隐形眼镜。这副眼镜采用微型摄像头,直接整合在镜片上。使用者佩戴后,镜片能够随着眼球转动,随时拍照。 https://m.zol.com.cn/article/4474704.html
7.老黄现身站台“AR眼镜的iPhone时刻”另外,Meta选择了Micro LED微型LED显示器,且眼镜中间采用相当大的棱形四边形波导片(较大的波导片能够带来更广范围的显示区域)。 与此同时,Orion在镜框边缘嵌入了7个微型摄像头,可以将虚拟物体固定在现实空间中。 说人话就是,用户可以让虚拟窗口保持打开状态,转过头走开,只要眼镜还在,窗口仍然在那里。 https://blog.csdn.net/QbitAI/article/details/142581852
8.安全和防护微型摄像头全部企业,东北制造网,东北地区唯一制造业主营产品:摄像表,MP3摄像太阳镜,纽扣摄像机,摄像笔,录音笔,808车钥匙微型摄像机,打火机摄像机,MP3蓝牙眼镜,防水摄像腕表,微型摄像头,无线微型摄像机,高清微型摄像机,小型摄像机,808微型摄像机,新能源技术转让,太阳能玩具企业类型: 制造业营业额:5百万 -- 1千万http://www.dbzz.net/qiye/qy.php/,%B0%B2%C8%AB%BA%CD%B7%C0%BB%A4,,,,%CE%A2%D0%CD%C9%E3%CF%F1%CD%B7.html
9.从微型摄像头到无线摄像头再到黑白摄像机,深圳微智最专业在微智,你可以找到你所需要的各种微型摄像头,无线摄像头,黑白摄像机,通过微智,你可以构建出业内最小的微型摄像头,发射最远的无线摄像头,清晰度最高,照度最低的黑白摄像机,微智给你最专业的微型摄像解决方案,请认准13826510318https://www.misptc.com/
10.SolosAirGoVisionAI智能音频眼镜发布,模块设计可配摄像头该音频眼镜可选七种颜色和两种不同风格镜框,眼镜没有配备屏幕,仅带有微型扬声器,用户必须通过语音与 ChatGPT-4o助理进行交互。 Solos强调这款眼镜采用模块化设计,用户还可以选装摄像头模块,实现快速拍照,或让AI语音助理“看到”用户身边的世界,以向用户提供更多帮助。https://finance.sina.cn/2024-12-10/detail-incyzcyi1368368.d.html
11.小米AI眼镜采用了高通AR1和搭载索尼IMX681传感器的定制微型摄像头小米AI眼镜采用了高通AR1和搭载索尼IMX681传感器的定制微型摄像头。这一配置选择表明,小米在硬件性能上志在与Meta展开直接竞争。除小米外,其他手机制造巨头也在积极开发AI眼镜产品。这一举动可能促使其他手机厂商加快AI眼镜的研发和上市进程。AI+AR想象空间广阔,眼镜有望成为理想硬件载体,软硬加速迭代为内容爆发奠定基础https://caifuhao.eastmoney.com/news/20241111172552297612060
12.微型无镜头相机可以藏在衣服眼镜里“手机的整个背面可能是一个摄像头,”加州理工学院(Caltech)电气工程和医学工程教授、该研究论文的主要研究者阿里•哈吉米里(Ali Hajimiri)在描述这一新发现时说摄像机。哈吉米里在接受《生活科学》采访时说:可以嵌入手表、眼镜或布料中。哈吉米里说:“它甚至可以被设计成一个小包裹发射到太空,https://zhidao.baidu.com/question/434413240344297092.html
13.你的裙底已经被偷拍了南方plus眼镜上的摄像头 在网上购入一个针孔摄像头简直轻而易举,许多微型摄像头还能接受定制,安装在雨伞上、鞋子上、插座中、瓶装的沐浴露洗发水等等大家都想不到的地方。当然,设备的隐蔽性越强,操作越简便,像素越高,就越贵。基本上,千元以下的质量都可以。一位卖家说:“500万像素,750元一个,不还价,一天内可以制作完https://static.nfapp.southcn.com/content/201906/21/c2345352.html