一文读懂智能汽车驾驶员监控系统人工智能

驾驶员监控系统,缩写DMS,是英文DriverMonitorSystem的缩写,即驾驶员监控系统。主要是实现对驾驶员的身份识别、驾驶员疲劳驾驶以及危险行为的检测功能。

福特DMS系统

在现阶段开始量产的L2-L3级自动驾驶中,其实都只有在特定条件下才可以实行,很多状况下需要驾驶员能及时接管车辆进行处置。因此,在驾驶员太信任自动驾驶而放弃或减弱对驾驶过程的掌控时可能会导致某些事故的发生。而DMS-驾驶员监控系统的引入可以有效减轻这一问题的出现。

麦格纳DMS系统,截取自麦格纳介绍视频

因此,近年来各国的政策法规等多方面开始推进DMS的上车:欧盟和中国均出台法律法规。国内已率先对“两客一危”等商用车车型安装DMS系统作出强制要求,乘用车搭载要求也在推进制定中。而欧盟则将DMS纳入EuroNCAP五星安全评级的关键要素,而且是必要条件。几乎是从2020年开始,DMS系统的装车率快速提升,行业进入发展快车道。

21年7月由工信部、公安部和交通运输部联合印发的《智能网联汽车道路测试与示范应用管理规范(试行)》强调要求智能网联汽车要具备在线监控功能,可以反映驾驶人和人机交互状态的车内视频及语音监控情况。

DMS的核心功能主要是疲劳监测、分心监测、危险行为监测。早期的DMS方案主要通过非生物特征的技术来实现,比如通过方向盘及转向传感器,监测任何不稳定的方向盘运动、车道偏离或无故改变速度等。但由于系统复杂,非直观感知,整体的搭载率一直很低。

现阶段的DMS则大多是基于摄像头的面部识别和眼球跟踪技术,通过红外光等采集驾驶员面部信息再经过算法分析出人员当下的身体状态,在检测到驾驶员处于不安全状态时,再通过闪烁红光或是方向盘震动等方案对驾驶者进行提醒。整个系统的硬件部分是由摄像头+集成座舱车机/域控制器解决方案组成;软件部分则主要涉及AI视觉算法。

2D/3D的摄像头配置

目前大部分用于检测驾驶员疲劳的驾驶员监测系统均采用成本较低的传统2D可见光摄像头(配合IR红外LED)。

水晶光电DMS摄像头简介

理想L9的DMS系统

2022年,理想L9搭载了Melexis的3D-ToF传感器,并将之应用DMS系统。这种采用近红外光的3D光学传感技术可以构建驾驶员头部“深度图”,通过“深度图”可以精准的分析驾驶员的独特面部特征,性能远超2D技术。除了Melexis外,NXP、艾迈斯欧司朗等也都有类似的技术方案布局。

摄像头的集成

麦格纳将摄像头集成在后视镜中

天马发布可集成DMS摄像头的挖孔屏

DMS系统的功能拓展

驾驶员监控系统的基础功能是疲劳监测、分心监测、危险行为监测。但随着2D/3D摄像头的引入以及人脸识别算法的发展,DMS系统也在融合ADAS等自动驾驶技术的发展,催生出了一些创新人机交互HMI智能化的场景应用,提升高级别自动驾驶/智能网联汽车时代的驾乘体验。

作为创新人机交互的传感器,这些DMS功能的拓展功能主要是获取驾驶员信息,从而进一步完善未来汽车座舱中的新应用,并实现定制化体验:

1、面部身份识别

当用户靠近传感器时,无需动作配合,即可快速完成活体判断并进行身份识别,主动为用户打开车门,调整座椅位置,并快速登陆车机系统,保障座舱系统高效运行。

面部识别的引入,不仅提升了驾驶的舒适体验,更可以提高车辆使用安全,比如说防盗功能。

2、眼球追踪

松下ARHUD

3、手势识别

手势识别,基于视觉手势识别技术,与车机系统相连,提供新的结合方式,通过车载摄像头完成全部功能。如做了相应手势之后,主机会进行歌曲切换或静音等操作,具体定义由各个主机厂自己定义。

手势交互方案属于在传统触摸控制方案之外的新交互方案,在宝马上已经应用多年。这个摄像头与DMS系统也可以产生一定联动。

4、表情识别,情绪感应

通过创新AI算法,识别出驾驶员当下的情绪,可以联动氛围灯、香氛系统。这种应用丰田在CES2019上有展示。

丰田纺织的AceS概念

5、娱乐互动

自动驾驶技术研发商MINIEYE在其I-CS座舱感知量产方案中创新性地打通了前后排的互动空间,借助视线、手势、头部动作等多种自然身体语言的交互方式,可实现多人多位置便捷互动。

图源MINIEYE

6、座舱乘员检测OMS

将专门对应驾驶员的摄像头拓展到整个座舱内部,可以进一步提升整体车内的安全性。

通过位于车顶的摄像头,并结合毫米波雷达的感知数据,系统可以综合分析人脸属性、人体骨骼比例以及身长信息,能够准确判断成人与儿童。当识别到儿童,系统将主动触发儿童看护功能,持续对儿童进行状态、行为监测,并实时反馈给前排家长,提醒其采取必要措施。

THE END
1.什么是手势控制目前,这项技术被称为"TOF "(飞行时间)在业内。此外,该技术还在系统中保留了一个用户自定义的手势控制动作,用户可以通过在空中点击食指和中指来设置个性化的手势。 手势操作虽然方便,但在实际应用中仍存在一些问题,如准确性、识别范围、使用效率、对传统交互的替代性等,有待进一步加强。https://www.pcauto.com.cn/cxxj/3569/35699011.html
2.合创汽车的手势互动,让驾车更便捷确定了 明年汽车补贴力度加码 扩大人群 持续有效 鬼斗车17万次播放 05:10 德味儿新能源一汽-大众ID.4 CROZZ 还得是欧系的底子 音速大梦11124万次播放 08:24 世界极寒之地雅库茨克过冬,今天把庇护所大门做好,瞬间暖和多了 868黑娃黑妹29万次播放 05:31 看似平平无奇的零跑C10凭什么拿设计界奥斯卡? 阿豪的阁楼17https://www.dongchedi.com/ugc/article/7267394049651409466
3.车辆交通指挥手势易车汽车新闻为您提供关于车辆交通指挥手势的最新汽车资讯,车辆交通指挥手势相关的最新易车号文章,为你购车提供参考。https://news.yiche.com/tag/4376809.html
4.奇瑞吉利东风比亚迪车联网系统功能介绍汽车行业资讯就车载系统的功能来看,语音控制(免唤醒、声纹识别)、车内支付、云端账号体系、智能家居互联、人脸识别、AR导航等功能部分已经进入车载。 一、奇瑞LION智能座舱 对比以往的cloudrive车联网系统,LION智能座舱拥有语音、远程控制、娱乐、导航、OTA等常规功能,新技术为全息投影、AR、智能家居互联、人脸识别、手势识别等。具体https://www.auto-testing.net/news/show-97474.html
5.手势控制背后的三种感应技术玄机大众的手势识别技术在体验过程中虽然反应略慢,但是准确率还不错;英特尔的实感技术据称已经研发了三年之久,在游戏上也已经开始实用;谷歌的Project Soli则还只是个展示,尚未正式应用。但是不管是哪一个,车载的路依然很长。大众的工程师表示至少还需要两年的时间才能够把手势识别正式带到量产车型之上,英特尔的实感技术还http://www.cheyun.com/content/1647
6.如图所示,交通警察发出的是禁止通行手势信号。手势示意:交警面向的车辆不准通行。 点击查看交警手势动图 【识别技巧】交警的面部对着交警的哪个方向,就是在指挥哪个方向的车。 扫一扫查看更多精彩分析 张芙荣2024-11-16学霸分析 游客学员1496 交警左臂向前上方直伸,掌心向前;右臂沿裤中缝对齐,无任何动作。表示交警面向的车辆不准通行。【交警面部对着哪个方向就是https://tiba.jsyks.com/Post/003c0.htm
7.百度apollo汽车环境感知自动驾驶激光雷达slamteca1m8在自动驾驶场景中,动态场景的分析尤为重要,本节将介绍三种较为复杂的动态场景分析方法:多目标追踪、路径实时预测和行人手势识别。追踪技术可以产生目标运动轨迹,路径实时预测对汽车的路径规划有着十分重要的作用,行人手势识别是未来自动驾驶发展的一个方向。 行人手势识别经讨论过后可以加上,多加了一部分描述 https://blog.csdn.net/weixin_44523062/article/details/120799794
8.风廓线雷达FFT格式谱数据python读取hackernew的技术博客2、汽车内部场景应用 主要包括:邻近感测;驾驶员生命体征监控;手势识别;占位检测。 (1)邻近感测 邻近感测传感器扩展了雷达探测障碍物的能力,比如开车门或后备箱时的防撞功能。这一应用功能利用了雷达的高距离分辨率及其近距离探测障碍物的能力(障碍物包括电线杆、停车障碍物、墙壁、邻近停放的车辆等)。如图所示,邻近https://blog.51cto.com/u_56701/12231102
9.max25405推荐新设计使用带有透镜的汽车级ir手势识别传感器基于IR技术的低成本、汽车级手势识别传感器 Info :推荐新设计使用 不是您想寻找的产品? 去产品选项表 特性 设计灵活的低成本手势检测方案,适用于汽车应用 只需低功耗、低成本外部CPU即可处理传感器输出数据 支持轻扫、旋转和接近手势识别 高度集成 集成透镜、光圈和可见光滤镜 https://www.analog.com/cn/products/max25405.html
10.智东西早报:特斯拉将裁员3000多人降成本英特尔收购HERE15%股份1月21日消息,据报道,LG电子将为戴姆勒公司旗下梅赛德斯-奔驰一款车型提供手势识别系统。这款车在配备上述动作检测系统后,可以通过识别驾驶员的手势来实现巡航控制、调整音量等任务。LG最终设想的是开发一种能够执行变速等更复杂功能的系统。目前,LG还在研发该驾驶辅助系统,并计划于今年晚些时候或2020年初向戴姆勒交付。https://zhidx.com/p/140551.html
11.语音交互和手势交互在汽车上的发展与应用目前的汽车语音交互和手势交互还处于萌芽状态,虽然手势控制能实现的功能不少,甚至和语音交互的功能还有一定重复。但是手势和语音的关系绝不是非此即彼,是相辅相成的。未来人机交互一定是多维度的,多模态交互才是未来的发展趋势。在未来,手势识别、语音识别以及人脸识别等技术一道,将更好的应用于汽车交互,成为未来车内https://www.yoojia.com/ask/17-11610877940738835292.html
12.一文读懂汽车驾驶员监控DMS手势识别,基于视觉手势识别技术,与车机系统相连,提供新的结合方式,通过车载摄像头完成全部功能。如做了相应手势之后,主机会进行歌曲切换或静音等操作,具体定义由各个主机厂自己定义。 手势交互方案属于在传统触摸控制方案之外的新交互方案,在宝马上已经应用多年。这个摄像头与DMS系统也可以产生一定联动。 https://www.smartautoclub.com/p/47474/