CONTENTS智能座舱的定义PART0101智能座舱的定义智能座舱就是在智能化和网联化发展下的车载产品,可以与人、路、车本身进行智能交互的座舱,是人车关系从工具向伙伴演进的重要纽带和关键节点。
通俗来讲,智能座舱其实就是汽车驾驶舱中的人机交互,是将汽车的驾驶信息与娱乐信息进行整合,并利用大数据信息的处理能力,为各用户提供更加便捷、有效且充满未来科技感的汽车驾驶体验。01智能座舱的定义汽车从最早能够反映车速和发动机转速的机械仪表,已经完全演变为当前主流的显示驾驶信息的液晶仪表和实现人机交互的中控屏。屏幕的变化01智能座舱的定义屏幕数量也随着智能化发展而有所变化。中控屏的技术发展也从小屏到大屏,再从大屏到双联屏,双联屏到三联屏,再到贯穿的一体超大屏的不断“进化”。屏幕的变化特斯拉modelS17英寸大屏比亚迪唐独立中屏红旗HS5双联屏01智能座舱的定义超大贯穿屏通常应用在豪华车型上,例如林肯Z的贯穿式大屏、福特EVOS的27英寸贯穿屏、全新一代蒙迪欧1.1米的超大屏、奔驰EQS轿车的17.7寸+12.3寸大彩电。屏幕的变化奔驰EQS贯穿式大屏多屏交互已成为发展的主流。目前大部分车企采用1-2块中控屏幕的方案,随着座舱朝着车辆感知精细化、实现机器自主/半自主决策方向发展,3块屏幕及以上方案的占比也将明显提升。智能座舱的基本组成部件PART0202智能座舱的基本组成部件
操控系统包括:方向盘;
娱乐系统包括:中控台屏幕、后排多媒体、麦克风等;
通信系统包括:蓝牙、WIFI、NFC等;
交互系统包括:中控屏、仪表盘、HUD(HeadUpDisplay,抬头显示系统);
感知系统包括:雷达、摄像头、驾驶员健康监控系统、空气质量传感器等。从硬件范围来看:智能座舱包括了带给驾驶员和乘客更加安全、舒适、智能的驾乘体验所有模块,主要包含:02智能座舱的基本组成部件02智能座舱的基本组成部件智能座舱包含了车机互联、语音交互、驾驶员状态监控、生物识别、车路协同、安全预警、物联网、信息安全等功能,主要是在用户体验上进行功能设计,在舒适化、智慧化等方向上不断提升。从软件范围来看:智能座舱的应用场景PART0303智能座舱的应用场景一、人机共驾场景
人机共驾场景下,智能座舱能通过交互感知技术为用户提供一定程度的机械自主决策。车内感知系统(IVS)将对驾驶员状态进行主动提醒,信息显示系统的智能化程度也将提升。
对智能座舱系统的基本认知任务二
CONTENTS智能座舱的发展历程PART0101智能座舱的发展历程
智能座舱的发展呈现显著的“三段式”发展节奏。分别为2000年以前机械时代、2000年-2015年电子时代、2015年至今智能时代。
第一阶段,以驾驶和控制为中心,仅包含机械仪表盘以及功放机头的驾驶环境。只有单一的机械仪表,简单的音频播放设备,物理操作按键,没有中控显示屏,并且集成度较低,安全程度极低,智能化无。01智能座舱的发展历程
第二阶段,汽车开始智能化,网联化,更多的传感器和芯片技术,使汽车的感知能力和信息化处理能力有了较大进步。
座舱多为机械仪表,极少数有液晶仪表,除此之外,多为物理按键,极少数为触屏,拥有娱乐系统,小尺寸娱乐显示,除此之外,集成度较低,安全程度较低,智能化程度低。01智能座舱的发展历程2015年至今的智能时代,这阶段的座舱也随着汽车技术发展已正式进入了智能化发展进程当中。
座舱大尺寸屏显示、多联屏出现,信息娱乐系统功能逐渐丰富,交互方式多样,且为高度集成化,安全程度较高,智能化程度高。智能座舱的发展前景PART0202智能座舱的发展前景
交互界面走向多元化、复合化;
大屏化、多屏化、便捷化的聚屏时代来临;
人性化驾驶体验的不断升级;
自动驾驶技术的不断成熟。
汽车智能座舱的快速发展,使得越来越多的用户对驾驶场景的要求也越来越高。通过消费者需求调研可看到,除了传统的导航地图,消费者对车机上装有丰富APP实现影视音乐、生活服务功能的需求较高。人性化驾驶体验的不断升级02智能座舱的发展前景
对智能座舱系统的基本认知任务三
CONTENTS当前主流智能座舱的技术路线分类认知PART0101当前主流智能座舱的技术路线分类认知
阿里、腾讯在智能座舱领域的发展主张“软件定义”,专注于车内场景的内容应用端,关联用户在车内的休闲、娱乐和工作需求。
阿里、腾讯
百度和华为在技术开发上更注重的是智能座舱软硬件的深度集成。屏幕的变化智能座舱典型车型应用PART0202智能座舱典型车型应用相比蔚来其他车型,蔚来ET7在基础硬件上做了不少提升,从英伟达TegraX1升级到了高通骁龙8155,车机系统和NOMI的反应速度都有明显提升。蔚来ET7智能座舱典型应用
对智能座舱硬件的基本认知任务一
了解智能座舱的技术架构作为一名智能座舱测试岗位实习生,在培训期间,上级要求你快速熟悉架构体系,对今后的开发测试工作整体模块有更清晰的认知,你需要整理一份智能座舱整理架构体系的思维导图,并整理目前常见的智能网联汽车车型的技术架构。任务引入Tasktointroduce01智能座舱的整体架构简介02智能座舱基础平台架构的核心目录
CONTENTS03目前座舱技术架构及算法分析智能座舱的整体架构简介PART0101智能座舱的整体架构简介例如:导航主机是一家,液晶仪表是一家,同时还有一个AVM系统(全景式监控影像系统)是一家,线束连接就非常复杂。
在传统座舱中,仪表、娱乐、中控等系统相互独立,主要由单一芯片驱动单个功能/系统,通信开销大。01智能座舱的整体架构简介
在软件部分,智能座舱的核心架构为SOA架构,其中域控制器能够实现软硬件解耦。应用层功能独立,基础软件平台创造新的机遇。架构需从“信号导向”转变为“服务导向”(SOA)。02智能座舱基础平台架构的核心SOA架构可以实现多功能、多终端的无缝连接。02智能座舱基础平台架构的核心
对智能座舱硬件的基本认知任务二
CONTENTS03信息输出部件认知信息输入部件认知PART0101信息输入部件认知座舱内的摄像头有多种类型,根据安装位置不同,车载摄像头可分为前视摄像头、侧视摄像头、环视摄像头、后视摄像头及舱内摄像头。车载摄像头被称为“自动驾驶的眼睛”,通过镜头和图像传感器实现图像信息采集,超过80%的自动驾驶技术都会运用到摄像头,或将摄像头作为一种解决方案。车载摄像头01信息输入部件认知
HUD显示示意图
HUD关键参数03信息输出部件认知HUD在汽车市场上,W型抬头大多应用于豪华轿车,豪华轿车还配备了先进的驾驶辅助系统(ADAS),包括自适应巡航控制、车道辅助等。WHUD用于显示来自ADAS的信息,可以直接引导司机。w型抬头页面显示内容03信息输出部件认知HUD
目前,C型的抬头通常是使用一块透明树脂材料作为辅助装置进行组合投影,方便装卸。不同的CHUD因附加投影设备的位置而异。大部分显示在仪表板上(左图),少数显示在遮光板上(右图)。C型抬头:在仪表板上显示(左),在遮光板上显示(右)03信息输出部件认知音响之所以可以称为音响,最基本的条件就是有回放声音的功能。其防干扰技术是分别对电源线的干扰采用扼流圈串在电源与音响之间进行滤波,用以降低外界的噪声干扰。车载音响是指安装在车内的声音播放系统。03信息输出部件认知音响例如,音响结合前后排多屏操作,能够实现个性化、可定制的前排左右的分区音量。
对智能座舱硬件的基本认知任务三
完成智能座舱台架的认知与传感器安装车载摄像头和车载传声器随着使用年限的增加,会造成接触不良等故障。作为初级技术人员,上级要求你对智能座舱台架系统进行认知,完成定期检测工作,需要完成台架配套传声器与摄像头的安装,并熟悉故障分析。任务引入Tasktointroduce01智能座舱台架初步认知02实现常见智能座舱传感器的安装目录
CONTENTS03常见智能座舱传感器拆装注意事项与故障分析智能座舱台架初步认知PART0101智能座舱台构初步认知目前主流的智能座舱的构成主要包括:全液晶仪表大屏中控系统车载信息娱乐系统抬头显示系统流媒体后视镜等核心控制部件是域控制器
传统座舱域是由几个分散子系统或单独模块组成,这种架构无法支持多屏联动、多屏驾驶等复杂电子座舱功能,因此催生出座舱域控制器这种域集中式的计算平台。01智能座舱台构初步认知具体由教学系统、主娱乐显示屏、副娱乐显示屏、仪表盘、座舱域控制主机、天线、CAN等组成。
汽车智能座舱系统实训台架是一个集车载智能驾驶系统、车载舒适系统和车载娱乐系统为一体的操作系统。01智能座舱台构初步认知智能座舱控制主机作为智能座舱台架的“大脑”,完成绝大部分功能的实现,因此其后端会设计很多接口完成与各模块的连接。01智能座舱台构初步认知教学系统分别是:电子助力转向系统、车身控制模块、电池管理系统、车辆控制单元、空调控制器、智能座舱控制单元、集成测试、驾驶员状态监控单元、手势识别控制单元以及语音识别控制单元教学系统载体为台架右侧的一块大幅显示屏,内搭载汽车智能座舱实训软件系统,共有10个功能。01智能座舱台构初步认知智能座舱小车四个AVM摄像头拍摄图像,可以收集车外环境数据,更好地全方位无死角了解车的周边环境,实现360°全景式监控影像系统(AroundViewMonitor,AVM)。智能座舱小车除了基础框架,还在前后左右分别安装了AVM摄像头。01智能座舱台构初步认知屏幕如图所示:①号与②号分别是主、副娱乐屏,在教学系统下方的③号屏幕为仪表屏,用于观察模拟车辆现象与车辆系统各类指标变化。在智能座舱台架上,除了教学系统的大屏,还有三块屏幕发挥作用。01智能座舱台构初步认知操作平台硬件
在中控屏、娱乐屏下方为智能座舱的操作与接线平台,在操作平台左下侧主要为天线区域,从左到右依次为收音机天线、GPS天线、Wi-Fi天线与蓝牙天线,在GPS天线下方还安装了一个左声道咪头,用于收发声音信息。右侧区域安装了MDS摄像头、媒体USB接口与USB接口,在MDS摄像头下方也配备了右声道咪头。01智能座舱台构初步认知台架电路连接模块
最左侧紫色模块为屏幕连接模块,蓝色区域包含了教学系统的四个端口(CAN0、CAN0、CAN1、CAN1),可以外接一个红色CAN卡-进行单独测试CAN数据。01智能座舱台构初步认知台架电路连接模块
在右下方的接口模块为座舱域控制单元,从左到右依次是40P连接器(含喇叭、电源、CAN口、咪头等)、3.0USB接口、DMS摄像头连接线、行车记录仪接口、AVM摄像头接口、WiFi天线接口、仪表连接线接口、蓝牙连接线接口、备用接口、收音机接口、副娱乐显示屏接口、GPS天线接口、主娱乐显示屏接口、网口。实现常见智能座舱传感器的安装PART02一、安装喇叭02实现常见智能座舱传感器的安装智能座舱传感器安装安装过程:将喇叭安装到支架的上方位置。二、安装左右声道咪头
将右声道咪头拿出来后,首先找准右声道咪头的安装孔,再将咪头从控制台架板面的后面往前插进来,进行安装。02实现常见智能座舱传感器的安装智能座舱传感器安装二、安装左右声道咪头
左声道咪头以同样的方式从面板的后方往前插入孔中进行安装,安装位置如下图所示。02实现常见智能座舱传感器的安装智能座舱传感器安装一、MDS摄像头安装
将台架配置好的MDS摄像头安装在仪表屏右侧,安装位置如图所示,在安装过程中需要使用到六角扳手进行固定。02实现常见智能座舱传感器的安装智能座舱摄像头安装二、AVM摄像头安装
智能座舱台架配套的小车有配套4个AVM摄像头,4个摄像头画面拼接能够实现360°全景式监控影像系统。如图所示,四个摄像头的安装位置分别为小车的前后左右,除此之外,记录仪摄像头安装在小车的中前位置。注意,在摄像头的安装过程中,需要将摄像头安装到对应的朝向。02实现常见智能座舱传感器的安装智能座舱摄像头安装常见智能座舱传感器拆装注意事项与故障分析PART0303常见智能座舱传感器拆装注意事项与故障分析车载摄像头拆装注意事项关闭电源:在拆卸摄像头之前,一定要先关闭车辆的电源,以防止电流引起的危险。工具选择:使用正确的工具进行拆卸,以避免造成不必要的损坏。确定安装位置:确定正确的安装位置,在拆卸摄像头之前,一定要先确认摄像头的安装位置和固定方式。
车载麦克风是汽车音响系统中的一个重要组成部分,通常用于语音交流或者语音控制。下面是一些车载麦克风拆装注意事项:03常见智能座舱传感器拆装注意事项与故障分析车载麦克风拆装注意事项小心线路连接:在拆卸或安装麦克风时,需要小心线路的连接,确保线路连接正确并紧固。安装麦克风:注意选择正确的位置并固定好,以确保麦克风与语音源之间的距离合适,且不会被其他汽车零部件挡住。测试麦克风:测试时需要使用测试设备或者语音控制系统,以确保麦克风能够准确地捕捉语音信号并传递给控制系统。03常见智能座舱传感器拆装注意事项与故障分析常见的车载麦克风故障和排除方法没有声音输入:可能是线路故障、麦克风损坏或者车载媒体设备故障造成的。可以检查麦克风是否连接正常、线路是否损坏、媒体设备是否设置正确等问题。噪音干扰:可能是由于线路不良、车辆环境噪音干扰等原因造成的。可以检查线路是否连接稳定,车辆环境是否影响麦克风的使用等问题。
掌握智能座舱中机器视觉技术的应用任务一
上个世纪20年代,数字图像处理最早应用于报纸行业。由于报纸行业信息传输的需要,一根海底电缆从英国伦敦连输到美国纽约,实现了第一幅数字照片的传送。01图像处理的发展过程认知1972年10月芝加哥北美放射年会上展出了让整个医学界震惊的脑部以及完成该图像的计算机辐射X线头部成像设备,向世界隆重展示了CT,引起了医学界的轰动,这是当时图像处理在医学诊断应用中最重要的事件之一。
上个世纪80年代,研究人员将数字图像处理应用于地理信息系统。从这个阶段开始数字图像处理技术的应用领域不断扩大,在工业检测、遥感等方面也得到了广泛应用,在遥感方面实现了对卫星传送回来的图像的处理。01图像处理的发展过程认知
到20世纪90年代,数字图像处理技术得到了一个快速发展,其中特别是小波理论和变换方法的诞生,更好地实现了数字图像的分解与重构。01图像处理的发展过程认知从目前数字图像处理技术的特点进行分析,可以发现图像信息量巨大,在图像处理综合性方面显示出十分明显的优势,其中就借助了图像信息理论与通信理论的紧密联系。加上数字图像处理技术具有处理精度高、灵活性强、再现性好、适用面广、信息压缩的潜力大等特点,因此已经成功地应用在各个领域。
进入到21世纪,借助计算机技术的飞速发展与各类理论的不断完善,数字图像处理技术的应用范围被拓宽,甚至已经在某些领域取得突破。视觉预处理技术认知PART0202视觉预处理技术认知图像预处理的目的一方面,图像在采集中有可能发生几何失真,为恢复场景和图像的空间对应关系,需要进行坐标变换。为了更方便有效地获取其中的信息,提高后续加工的效率,常需对图像进行一定的预处理。另一方面,对图像的幅度也需要进行一定的调整,以改善图像的视觉质量。02视觉预处理技术认知坐标变换
对图像进行坐标变换实际上是对像素坐标的空间位置进行变换,变换的结果是改变了像素在图像中的分布和关系,不改变图像的像素值。在坐标变换中,主要包括三类:图像平移、尺度变换和图像旋转。坐标变换图像平移尺度变换图像旋转02视觉预处理技术认知坐标变换
一、图像平移
图像中的所有像素点按照给定的平移量进行水平或垂直方向上的移动。如图所示,假设原始像素的位置坐标为(x0,y0),经过平移量(△x,△y)后,坐标变为(x1,y1)。一张图像中的所有像素点均按照平移量进行整体移动,图像就能够实现平移效果。02视觉预处理技术认知坐标变换
二、尺度变换
尺度变换也称放缩变换,它改变像素间的距离,对物体来说则改变了物体的尺度。尺度变换一般是沿坐标轴方向进行的,或可分解为沿坐标轴方向进行的变换;简单来说,尺度变换是对数字图像的大小进行调整的过程。02视觉预处理技术认知坐标变换
三、图像旋转
图像旋转是指图像以某一点为中心旋转一定的角度,形成一幅新的图像的过程。图像旋转变换会有一个旋转中心,这个旋转中心一般为图像的中心,旋转之后图像的大小一般会发生改变。如图图表示原始图像的坐标(x0,y0)旋转至(x1,y1)的过程。02视觉预处理技术认知几何失真较正
在许多实际的图像采集处理过程中,图像中像素之间的空间关系会发生变化,这时可以说图像产生了几何失真或几何畸变。这时需要通过几何变换来校正失真图像中的各像素位置,以重新得到像素间原来应有的空间关系。实现畸变矫正之前我们需要知道两个重要参数,一个是相机内参,另一个是畸变参数。02视觉预处理技术认知灰度化处理
灰度化处理是一种基于图像像素的操作,通过对原始图像中的每个像素赋予一个新的灰度值来增强图像,对原始图像中的每个像素都用这个映射函数将其原来的灰度值s转化成另一灰度值t再进行输出。简单来说就是输入一幅图像,将产生一幅输出图像,输出图像的每个像素点的灰度值由输入像素点决定。02视觉预处理技术认知
色图像通常包括R、G、B三个分量,分别显示出红绿蓝等各种颜色,灰度化就是使彩色图像的R、G、B三个分量相等的过程,灰度图像中每个像素仅具有一种样本颜色,其灰度是位于黑色与白色之间的多级色彩深度,灰度值大的像素点比较亮,反之比较暗,像素值最大为255(表示白色),像素值最小为0(表示黑色)。灰度化处理02视觉预处理技术认知直方图修正
假设存在一幅6×6像素的图像,接着统计其1至6灰度级的出现频率,并绘制如所示的柱状图,其中横坐标表示灰度级,纵坐标表示灰度级出现的频率。借助对图像直方图的修改或变换,可以改变图像像素的灰度分布,从而达到对图像进行增强的目的。直方图修正以概率论为基础,常用的方法主要有直方图均衡化和直方图规定化。02视觉预处理技术认知
一、均衡化
直方图均衡化是一种典型的通过对图像的直方图进行修正来获得图像增强效果的自动方法,主要用于增强动态范围偏小的图像的反差。这个方法的基本思想是把原始图像的直方图变换为在整个灰度范围内均匀分布的形式,这样就增加了像素灰度值的动态范围,从而达到增强图像整体对比度的效果。直方图修正02视觉预处理技术认知
二、规定化
直方图规定化方法,用户可以指定需要的规定化函数来得到特殊的增强功能。一般来说正确地选择规定化的函数常有可能获得比进行直方图均衡化所能获得的更好的效果。简单来说就是按照给定的直方图形状调整原先图像的直方图信息。直方图匹配使用到了直方图变换以及均衡化的思想,通过建立映射关系,使期望图像的直方图达到一种特定的形态。直方图修正特征检测与匹配技术应用PART0303特征检测与匹配技术应用特征检测算法一、Harris角点检测
角点检测是最早提出的特征点检测之一;角点没有严格的定义,通常认为角点是二维图像亮度变化剧烈的点,或图像边缘曲线的曲率局部极大值点或多条边缘曲线交汇点。
这种方法的缺点是响应值非各向同性,对噪声和边缘敏感,对旋转不具备不变性。03特征检测与匹配技术应用特征检测算法二、尺度不变特征变换(SIFT)SIFT算法的不变特征提取具有无与伦比的优势,但其仍然存在实时性不高、有时特征点少、对边缘模糊的目标无法准确提取特征点等缺陷。事实上,SIFT描述子最大的问题在于计算量大、效率不高,不利于后面的特征点匹配。03特征检测与匹配技术应用特征检测算法
行人检测是车辆辅助驾驶系统中不可或缺的一部分。行人检测需要及时检测出车辆前方的行人并由系统或者驾驶员针对实际状况采取相应的措施。目前行人检测方法主要分为两类:深度学习算法在行人检测中的应用04深度学习在自动驾驶中的应用认知
掌握智能座舱中机器视觉技术的应用任务二实现手势交互技术的应用作为一名智能座舱方向的开发助理,在智能控制板块的开发过程中,主管需要你完成手势识别功能,因此你的工作是制作一份PPT进行手势交互应用实例展示,同时完成云端调用API实现手势识别。任务引入Tasktointroduce01手势交互的应用场景02云端调用API实现目录
CONTENTS03本地model部署手势交互的应用场景PART0101手势交互的应用场景
人机交互种类多样化,常见的人机交互技术有基于键盘和鼠标的输入、基于声音和面部表情以及手势识别技术,其中手势是一种具有特定意义的语言,具有自然、直观以及灵活等优点,手势识别在模式识别和人机交互领域逐渐成为热点研究。万物互联,人机交互技术越来越贴近于我们的生活,人机交互是计算机领域中的一项重要技术。01手势交互的应用场景VR手势
VR是利用计算机技术来创建模拟环境。与传统的用户界面不同,VR通过模拟尽可能多的感官(例如视觉,听觉,触觉甚至气味),将用户带入一种看似真实的体验,让用户沉浸在其中并能够与3D世界互动。在汽车行业内,VR应用于汽车驾驶、选款定制汽车内饰、模拟驾驶、汽车设计制造等方面。01手势交互的应用场景VR手势
得益于计算机视觉和深度学习技术的发展,现在能够在普通摄像头上实现精度较高的手势识别。VR强调沉浸感,而手势交互可以极大地提升VR使用中的沉浸感。所以VR+手势这个落地方向很有前景,等VR得到普及后,定会改变人类的娱乐方式。此类代表产品:LeapMotion、uSens、极鱼科技等。01手势交互的应用场景
AR,即增强现实(AugmentedReality,简称AR),可以简单理解为,将一些很难体验到的实体信息(视觉信息、声音、味道、触觉等)模拟仿真叠加放在真实世界空间内,被人类感官所感知。AR手势01手势交互的应用场景
AR手势技术,原理是输入双目灰度图像,输出双手23关键点的3D位置和旋转信息、手势类别。以HoloLens为代表的很多公司都在做AR眼镜。AR眼镜可能会脱离实体的触屏和鼠标键盘这些输入工具,取而代之的输入是图像和语音等。AR手势01手势交互的应用场景这里用到的手势识别比较简单,基本只要识别单点多点。但在使用过程中手很容易挡住投影仪显示的屏幕,而且还有显示清晰度的问题。桌面手势此场景可能更多的是一种探索,落地的可能性较小。以SonyXperiaTouch为代表的投影仪+手势识别,将屏幕投影到任何平面上,再通过手势识别模拟触屏操作。01手势交互的应用场景车载手势识别是指计算机能够识别人的不同手势,并判断不同手势的相应含义,从而实现对应的功能。车载手势手势识别对人的限制非常小,并且自然、直观,这令其在人机交互方式中脱颖而出。人和计算机之间的通信逐渐不再依赖中间媒介,人手成了终端设备的中间输入工具,计算机被用户预先定义的各类手势加以操纵。云端调用API实现PART0202云端调用API实现调用百度云实现手势识别API
云API的主要功能有:识别图片中的手势类型,返回手势名称、手势矩形框、概率分数,可识别24种常见手势,适用于手势特效、智能家居手势交互等场景。
手势识别的场景要求:主要适用于3米以内的自拍、他人拍摄,1米内识别效果最佳,拍摄距离太远时,手部目标太小,无法准确定位和识别。02云端调用API实现一、注册API密钥操作步骤
(三)创建应用
在应用列表内,点击“创建应用”,填写应用名称为“手势识别”,端口选择:勾选“人体分析”内的“手势识别”,应用归属选择“个人”,应用描述为“手势识别”,点击立即创建。创建过程如下所示。调用百度云实现手势识别API02云端调用API实现调用百度云实现手势识别API接上一页02云端调用API实现
(四)查看API密钥和Secret密钥
创建完毕后返回到应用列表,可查看到已经创建好的应用,在右侧可查看该应用对应的API密钥和Secret密钥。调用百度云实现手势识别API02云端调用API实现(五)调用代码调用百度云实现手势识别API02云端调用API实现(六)返回结果调用百度云实现手势识别API02云端调用API实现百度智能云实现手势识别实例测试
在熟悉创建手势识别应用的步骤之后,我们可以利用汽车智能座舱实训软件系统来进行实例测试。在汽车智能座舱系统实训台上,打开教学系统屏幕,在软件系统页面点击“手势识别控制单元(AGR)”。02云端调用API实现百度智能云实现手势识别实例测试
在手势识别控制单元页面中,点击“百度智能云实现方法”,点击“实例测试”,可观察到中间开启了摄像头,将对拍摄到的画面进行手势识别,右上侧为信息输入(上下框内分别输入创建应用环节中获取到的APIKey和SecretKey信息),信息输入后点击运行按钮,摄像头捕捉到的画面进行手势识别,识别结果将返回到“识别结果”这一空白框内。本地model部署PART0303
本地model部署TensorRT框架TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型,可以转化为TensorRT的格式,然后利用TensorRT推理引擎去运行我们这个模型,从而提升这个模型在英伟达GPU上运行的速度。03本地model部署OpenVINO框架
本地model部署TensorRT框架
掌握智能座舱中机器视觉技术的应用任务三
完成DMS状态监测系统的调试图像处理技术在智能座舱领域的另一个应用是驾驶员监测,通过在危险情境下向驾驶员发出警示,帮助驾驶员改善驾驶行为,并根据驾驶员状态进行相应干预,从而提高行车安全。主管需要你熟悉驾驶员监测系统主要预警功能,根据实际开发案例整理一份算法流程图进行展示汇报,并基于前期理论基础,完成DMS状态监测系统的应用测试。任务引入Tasktointroduce01驾驶员检测应用场景简介02常见智能座舱算法开发认知目录
CONTENTS03案例:基于机器视觉的抽烟驾驶检测算法开发04百度智能云实现驾驶员状态监控驾驶员检测应用场景简介PART0101驾驶员检测应用场景简介通常检测人脸眼睛和其他脸部特征以及行为,同时跟踪变化,实现驾驶员疲劳、分神等不规范驾驶检测,从而保障驾驶员的生命财产安全。
除了上述所列的行为状态外,在DMS研究中还有情绪激动,醉酒驾驶等状态检测等。除此之外,智能汽车舱内摄像头不仅仅是识别到驾驶员的行为,还能够根据不同的驾乘人员,学习并记忆他们的操作习惯,并在不同的驾乘人员乘车时,做出个性化的推荐,打造个性化驾驶模式。常见智能座舱算法开发认知PART0202常见智能座舱算法开发认知算法开发流程