“大模型”是实现自动驾驶的唯一出路!

您是否想浏览中国自主品牌出口车型,可以为您切换到易车国际站。

“大模型”是实现自动驾驶的唯一出路!

什么是大模型?为了说明这个问题,我们先看一个简单的方程:y=f(x)

这里的x有几个,我们就说有几个参数。那么什么是大模型呢?就是这个x有几十亿甚至上百亿个。是的,没错,就是:百亿个!

大模型:泛指具有数十亿甚至上百亿“参数”的深度学习模型。

为了说明大模型是否可以让自动驾驶真的走向无人?咱们先看看“自动驾驶”的前世今生!

自动驾驶一直是汽车人的梦想,为了实现自动驾驶,从上个世纪开始,汽车人们就在做着各种尝试:

无线电控制的自动驾驶汽车用线圈引导控制汽车

美国为了促进自动驾驶的发展,2001年开始开展了DARPA挑战赛。是在美国的西南部的沙漠里进行,需要完成150英里长的赛道。前几期,15支参赛队伍,几乎无人能行走超过8英里。而在2005年,来自斯坦福大学的车队,用了七个小时顺利完成全部比赛。

这是一次非常大的跨越,不同于其他没有完赛的车队,斯坦福车队的”自下而上的数据驱动型人工智能“打败了其他车队”自上而下的指令符号型人工智能“。

这场比赛的结果,证明了汽车的自动驾驶的关键问题在于“软件”,而不是“硬件”。而软件的关键问题又是“算法”。数据型驱动的人工智能更加能够适应千变万化的路况,而不是程序员预先抽象出来的逻辑。

既然方向已经确定,那么剩下的关键:就是如何采集和处理数据的问题了。

上面描述的过程,大概描述了自动驾驶采用“神经网络、训练算法"的初始。

与早期的人工智能模型相比,后期发展出来的大型模型在“参数”量上取得了质的飞跃,尤其是Transformer模型的出现,导致了在复杂任务的建模能力整体上的提升:1)学习能力增强:以应对更复杂的任务;2)泛化能力加强:以实现更广泛的适用性;3)鲁棒性提高;4)具备更高层次认知互动能力:可模拟某些人类能力等。

1.CNN模型:2011-2016年

自动驾驶汽车最初大规模采用的就是CNN模型,也叫:卷积神经网络。CNN极大提升了自动驾驶车辆的环境感知能力:

但是,CNN模型需要大量的标注数据,而量大、高质量的标记数据获取起来有难度。这就导致其适应多种尤其是小概率路况的能力不强,时序处理能力也较RNN弱。

卷积神经网络

2.RNN模型:2016-2018

3.GAN模型:2016-2018

与RNN同步采用的GAN模型,也叫做“生成对抗网络”。它的生成能力缓解自动驾驶系统训练数据不足的问题。GAN可以学习复杂分布,生成高质量的合成数据可用于缓解自动驾驶系统训练数据不足的问题。

例如GAN可以生成模拟的传感器数据、场景信息,测试自动驾驶算法的鲁棒性,也可以用于交互式模拟场景生成。

GAN模型:生成的数据质量难以控制,很难达到足够逼真的程度。在具体应用时相对有限。

4.BEV模型:2018-2020

BEV也叫做“鸟瞰模型”,核心思想是将车辆周围的三维环境数据(如来自激光雷达和摄像头的点云、图像等数据)投影到俯视平面上生成二维的鸟瞰图。这种从3D降维到2D的的方式,获得了一个巨大的好处:比原始传感器数据更加直观和信息丰富的环境表达。可以更清晰地观察道路、车辆、行人等元素和位置关系,增强自动驾驶对复杂环境的感知能力。

另外,在这个压缩为二维的方法,可以将多种传感器数据融合在一起,进行一个共享的表达中,可以获得更一致和全面的信息。

但是BEV也有自己的缺点:大量的坐标变换和数据处理,增加了计算和对硬件的要求。另外三维到二维的处理,一定会损失一些细节信息,如遮挡关系。

5.Transformer模型:2021至今

Transformer模型最大的创新在于提出了“注意力机制”,这一机制极大地改进了模型学习远距离依赖关系的能力,突破了传统RNN和CNN在处理长序列数据时的局限。

在Transformer出现之前,自然语言处理一般使用RNN或CNN来建模语义信息。但RNN和CNN均面临学习远距离依赖关系的困难:RNN的序列处理结构使较早时刻的信息到后期会衰减;而CNN的局部感知也限制了捕捉全局语义信息。这使RNN和CNN在处理长序列时,往往难以充分学习词语之间的远距离依赖。

Transformer解决了传统模型的长序列处理难题,并给出了可无限扩展的结构,奠定了大模型技术实现的计算基础。也成为现在大家竞相使用的模型之一。

一方面,BEV可以高效表达自动驾驶系统周围的丰富空间信息;另一方面,Transformer在处理序列数据和复杂上下文关系方面展现了独特优势。两者结合可以充分利用BEV提供的环境空间信息,以及Transformer在多源异构数据建模方面的能力,实现更精确的环境感知、更长远的运动规划和更全局化的决策。两者组合可实现互补,增强对复杂场景的理解表达。

2020年以来,Transformer+BEV结合正在成为自动驾驶领域的重要共识,推动自动驾驶技术进入崭新发展阶段。

6.占用模型:2022-至今

BEV+Transformer的不足:鸟瞰图为2D图像,会缺失一些空间高度信息,无法真实反映物体在3D空间的实际占用体积,故而在BEV中更关心静止物体(如路沿、车道线等),而空间目标的识别(如物体3D结构)难以识别。

特斯拉在2023年AIDay公开了occupancynetwork(占用网络)模型,基于学习进行三维重建,意图为更精准地还原自动驾驶汽车行驶周围3D环境,可视作BEV视图的升华迭代。

占用网络基于学习将三维曲面表示为深度神经网络分类器的连续决策边界,可以在没有激光雷达提供点云数据的情况下对3D环境进行重建,得到更加准确的三维场景信息。

总之,

Transformer+BEV+占用网络算法让车辆能够更精准地理解复杂的交通环境,为L3和更高级别的自动驾驶系统提供更强的环境感知能力,从而真正的落地实现“无人驾驶”。

THE END
1.新能源时代!看大模型(LLMs)如何助力汽车自动驾驶!本文主要介绍大模型(LLMs)如何助力汽车自动驾驶,简单来说,作者首先带大家了解大模型的工作模式,然后介绍了自动驾驶大模型的3大应用场景,最后指出自动驾驶大模型将会是未来的发展趋势,只要坚持,国内新能源造车新势力还是很有机会的。本文没有深入讲解算法架构,而是化繁为简,能够让您很快的对自动驾驶大模型有个较为全面https://blog.csdn.net/m0_71745484/article/details/141711644
2.大模型+自动驾驶专题:AI大模型在高阶自动驾驶中的应用大模型+自动驾驶专题:AI大模型在高阶自动驾驶中的应用 在自动驾驶技术的发展过程中,AI大模型以其强大的学习能力和处理复杂任务的能力,正逐渐成为推动高阶自动驾驶实现的关键因素。AI大模型在高阶自动驾驶中的应用主要体现在以下几个方面: 感知环境:自动驾驶汽车需要实时感知周围环境,包括车辆、行人、交通标志等。AIhttps://www.sgpjbg.com/task/2725503.html
3.首个自动驾驶领域大模型来了,噱头还是突破?南方+日前,首个自动驾驶领域大模型迎来面世,毫末智行发布自动驾驶生成式大模型“雪湖·海若”,通过引入驾驶数据建立RLHF(人类反馈强化学习)技术,对自动驾驶认知决策模型进行持续优化,最终实现端到端自动驾驶。 21世纪经济报道记者了解到,“雪湖·海若”现阶段主要用于解决自动驾驶的认知决策问题。目前,“雪湖·海若”实现了https://static.nfapp.southcn.com/content/202304/18/c7582743.html
4.大模型日新月异,自动驾驶企业“跟得紧才能跑在前”?其中,“1.0”时代以早期无人驾驶车辆为代表,比拼传感器特别是激光雷达的数量和线束精度,数据积累在数百万公里;“2.0”时代以深度学习技术上车为标志,车规级传感器大量上车,但更注意车端感知算法和人工规则为主的决策模型优化,数据积累在千万公里以上;“3.0”时代以AI大模型在自动驾驶领域的应用为标注,以数据驱动方式来http://www.xzrbw.com/info/1221/362508.htm
5.大模型人工智能大模型在自动驾驶领域的应用随着ChatGPT的火爆,大模型受到的关注度越来越高,大模型展现出的能力令人惊叹。 第一个问题:怎样的模型可以称之为大模型呢? 一般来说,我们认为参数量过亿的模型都可以称之为“大模型”。而在自动驾驶领域,大模型主要有两种含义:一种是参数量过亿的模型;另一种是由多个小模型叠加在一起组成的模型,虽然参数量不过https://cloud.tencent.com/developer/article/2345050
6.从奔驰到自行车都在集成的大模型,是汽车智能化的下个风口?2.用于自动驾驶等智能系统。前者如前面说到的奔驰与微软的合作,以及接入通义千问的阿里巴巴AliOS智能汽车操作系统;后者如理想汽车自研的MindGPT,摆脱对高清地图的依赖,让汽车更接近人类司机的驾驶表现,以及毫末智行的自动驾驶生成式大模型DriveGPT,帮助解决认知决策问题,最终实现云端到车端的自动驾驶。此外,长城、奇瑞https://www.iyiou.com/analysis/202308041049665
7.2023年度十大前沿科技趋势发布:这项技术排第一!今年的CVPR最佳论文颁给了端到端自动驾驶,这几乎代表着一种共识:端到端自动驾驶是行业的未来。 随着生成式AI的发展,以ChatGPT为代表的大语言模型的泛化能力有了极大提升,端到端自动驾驶技术也因此受到广泛关注。 端到端自动驾驶技术以全部模块神经网络化为特征,对规则的依赖度低,具备智能涌现能力和跨场景应用潜力。https://wlxy.yangtzeu.edu.cn/sysywlglzx1/info/1027/1466.htm
8.小鹏AI天玑5.4.0全球首发,智驾云端大模型竞争拉开序幕【2024年10月24日,广州】今日,“小鹏P7+AI智驾技术分享会暨首发AI天玑5.4.0先享会”在广州成功举办,小鹏汽车副总裁、自动驾驶负责人李力耘博士、小鹏汽车智能体验负责人于桐,分别介绍了小鹏端到端大模型的技术优势,和首发搭载在小鹏P7+上的AI天玑5.4.0版本。 https://www.xiaopeng.com/news/company_news/5393.html
9.覆盖200+服务嘲,阿里「通义」大模型系列打造国内首个AI统一底座通义- 视觉大模型自下往上分为了底层统一算法架构、中层通用算法和上层产业应用。据了解,通用 - 视觉大模型可以在电商行业实现图像搜索和万物识别等场景应用,并在文生图以及交通和自动驾驶领域发挥作用。 阿里始终秉持开源开放的理念。此次通义大模型系列中语言大模型 AliceMind-PLUG、多模态理解与生成统一模型 AliceMindhttps://developer.aliyun.com/article/1214284
10.人工智能大模型原理与应用实战:利用大模型进行自动驾驶研究自动驾驶技术是人工智能领域的一个重要研究方向,它旨在通过集成计算机视觉、机器学习、路径规划和控制等技术,实现无人驾驶汽车的智能化和自主化。在过去的几年里,自动驾驶技术取得了显著的进展,尤其是在深度学习和大模型方面的研究。这篇文章将介绍如何利用大模型进行自动驾驶研究,包括背景介绍、核心概念与联系、核心算法https://blog.51cto.com/universsky/8997161