AI大模型研究:大模型对整车智能化将带来颠覆性影响

继《2024年汽车AI大模型技术和应用趋势研究报告》从宏观层面探讨AI大模型对汽车行业的影响之后,佐思汽研推出第二份研究报告《2024年AI大模型对整车智能化设计和开发的影响研究报告》,从汽车硬件层、操作系统层、应用功能层、云端大数据层等方面研究AI大模型对整车智能化设计和开发的影响。

2023年,长安汽车在原有的SDA软件驱动架构上(SDA原来包含L1-L6层),加入了AI边缘侧和AI服务层。可以看到AI技术已经影响到智能汽车的大多数层面:L3电子电器架构层,L4整车操作系统层,L6整车功能应用层(含座舱、网联和智驾),L7云端大数据层等。L1机械层的底盘部分,L2动力层的电池部分,实际上也已经开始有AI应用案例。

长安汽车AI+SDA整车架构

总结当前主机厂和Tier1的大模型应用情况,主要还处于整车智能化的局部层面,或开发流程的某个环节。

AI大模型在整车智能化架构各层级的应用案例

整理:佐思汽研

观察AI大模型在汽车应用的大趋势,我们还需要从大模型的演进中寻找思路。根据腾讯研究院的成果,AI将从大脑进化到AIAgent,从CoPilot进化到自主驾驶。

那么,什么是AIAgent?

佐思汽研认可这样的观点:AI大模型即OS,AIAgent(智能体)即应用。智能化产品的开发范式将从传统的OS-APP生态系统范式转变为AI大模型-AIAgent生态系统范式。

什么是AIAgent?AIAgent是一种超越简单文本生成的人工智能系统。它使用大型语言模型(LLM)作为其核心计算引擎,使其能够进行对话、执行任务、推理并展现一定程度的自主性。简而言之,Agent是一个具有复杂推理能力、记忆和执行任务手段的系统。可见,蔚来汽车座舱里的NOMIGPT,特斯拉FSDV12就分别是座舱域和智驾域的AIAgent。

在汽车座舱应用中,要做到真正的千人千面,还需要车企根据自家车型和服务的特点,对AI大模型做进一步的定制,也就是基于平台级AI大模型基础上的AIAgent。我们可以看到,吉利车型(譬如极越、银河)基于百度文心一言推出的座舱系统,奔驰接入ChatGPT后的车载语音助手,实际上都是一种AIAgent。

目前,智驾AIAgent和座舱AIAgent是分离的,未来随着舱驾融合的发展,智驾AIAgent和座舱AIAgent也将走向融合。但是,主机厂和Tier1现在考虑舱驾融合,就不能只考虑硬件层面的融合,还需要考虑操作系统和整车系统架构层面,特别是要考虑大模型/AIAgent模式的快速演进。

大模型/AIAgent目前是操作系统/APP生态的一部分,未来会取代操作系统/APP模式吗?我们认为是有可能的。

基于大模型的Agent不仅可以让每个人都有增强能力的专属智能助理,还将改变人机协同的模式,带来更为广泛的人机融合。人类与AI协同有三种模式:嵌入(embedding)模式,副驾驶(Copilot)模式,智能体(Agent)模式。

在智能驾驶中,嵌入(embedding)模式相当于L1-L2级自动驾驶,副驾驶(Copilot)模式相当于L2.5和高速NOA,智能体(Agent)模式相当于城市NOA和L3级自动驾驶。

在智能体(Agent)模式下,人类设定目标和提供必要的资源(例如计算能力),然后AI独立地承担大部分工作,最后人类监督进程以及评估最终结果。这种模式下,AI充分体现了智能体的互动性、自主性和适应性特征,接近于独立的行动者,而人类则更多地扮演监督者和评估者的角色。

在AI智能体(Agent)模式下,原来通过车机APP实现的大量交互操作,现在通过自然形态交互(语音,手势等)就能实现目标。甚至AIAgent主动观察车内外情况,提出需求问询,经过车主确认后即可执行某项任务。

因此,AIAgent的发展必然让以前的大量APP变得没有必要,必将给智能座舱和智能驾驶的开发及应用,带来颠覆性影响。

AI大模型和AIAgent的发展对未来操作系统的影响包括:

《2024年AI大模型对整车智能化设计和开发的影响研究报告》目录

共160页

01

AI大模型应用现状与未来趋势

1.1AI大模型应用简介

1.1.1各类AI模型介绍

1.1.2多模态大模型VLM:通用架构和演进趋势

1.1.3大模型对3D道路场景理解的演进趋势

1.1.4多模态大模型对智能汽车行驶道路场景理解的演进趋势总结

1.2应用现状

1.2.1AI大模型应用分类

1.2.2AI大模型应用现状:供应商

1.2.3AI大模型应用现状:主机厂

1.2.4AI大模型在整车不同层级的应用

1.2.5AI大模型在不同场景中的应用实例

1.3Sora文本生成视频大模型

1.3.1自动驾驶AD基础大模型:世界模型与视频生成

1.3.2视觉生成大模型:历史回顾与对比分析

1.3.3Sora文本生成视频大模型:基本原理与社会价值

1.3.4Sora文本生成视频大模型:基本系统介绍

1.3.5Sora文本生成视频大模型:基本功能

1.3.6Sora文本生成视频大模型:优势与局限

1.3.7Sora文本生成视频大模型:案例分析

1.3.8解读Sora模块(1)

1.3.9解读Sora模块(2)

1.3.10解读Sora模块(3)

1.3.11解读Sora模块(4)

1.3.12SoravsGPT-4:算力需求对比分析

1.3.13Sora文本生成视频大模型:对自动驾驶行业的推动预测

1.4总结

1.4.1AI大模型导致涌现效应

1.4.2AI大模型相对于传统AD模型的优势

1.4.3AI大模型对操作系统的影响

1.4.4AI大模型对SOA架构/仿真设计/SoC设计的影响

1.4.5AI大模型对自动驾驶开发的影响

1.4.6AI大模型演进趋势1

1.4.7AI大模型演进趋势2

1.4.8智能汽车行业AI大模型的痛点分析与解决思路

1.4.9AI大模型的现存问题

1.4.10Sora文本生成视频大模型对智能汽车行业的影响分析与预测

1.4.11AI计算芯片设计的痛点和应对措施

1.4.12AI大模型:人机融合决策控制的新突破

1.4.13AI大模型对汽车智能化的影响总结(1)

1.4.14AI大模型对汽车智能化的影响总结(2)

1.4.15AI大模型对汽车智能化的影响总结(3)

1.4.16AI大模型对汽车智能化的影响总结(4)

1.4.17AI大模型对汽车智能化的影响总结(5)

1.4.18AI大模型对汽车智能化的影响总结(6)

02

AI大模型对汽车硬件层的影响

2.1AI大模型对芯片设计和功能的影响

2.1.1AI大模型对芯片的影响趋势(1)

2.1.2AI大模型对芯片的影响趋势(2)

2.1.3AI大模型对芯片的影响趋势(3)

2.1.4LLM大模型对智能汽车SoC设计范式的变革

2.1.5案例1

2.1.6案例2

2.1.7NVIDIA自动驾驶DRIVE系列芯片

2.1.8案例3

2.1.9AI大模型对座舱芯片设计和规划的影响

2.1.10案例4

2.2AI大模型对ADAS传感器和感知系统开发的影响

2.2.1大模型驱动:感知能力融合与共享的演进趋势

2.2.2案例5

2.2.3案例6

03

AI大模型对汽车SOA架构/操作系统的影响

3.1AI大模型对SOA/EE架构的影响

3.1.1EE架构演进的驱动因素

3.1.2AI大模型对算力需求也推动EE架构进化

3.1.3多模态大模型与EE架构3.0

3.1.4从大模型Agent技术看SOA发展方向

3.1.5案例1

3.2AI大模型对操作系统设计和开发的影响

3.2.1AI大模型如何影响OS(1)

3.2.2AI大模型如何影响OS(2)

3.2.3AI大模型如何影响OS(3)

3.2.4案例2

3.2.5案例3

3.2.6案例4

3.2.7案例5

3.2.8案例6

04

AI大模型对汽车数据闭环/仿真系统的影响

4.1AI大模型对数据闭环的影响

4.1.1数据驱动的自动驾驶系统

4.1.2数据驱动与数据闭环

4.1.3大模型在智能驾驶的应用

4.1.4长安数据闭环

4.1.5东信创智云端数据闭环解决方案SimCycle

4.1.6华为盘古大模型与数据闭环

4.1.7华为盘古大模型如何赋能自动驾驶开发平台

4.1.8商汤数据闭环方案

4.1.9觉非科技采用地平线芯片与大模型完成数据闭环

4.2AI大模型对仿真系统的影响

4.2.1自动驾驶视觉大基础模型VFM

4.2.2Sora与TeslaFSD-GWM视频生成能力对比分析

4.2.3Sora与LLM对比

4.2.4Sora与ChatSim对比

4.2.5多模态基础大模型

4.2.6生成式世界模型GAIA-1系统架构

4.2.7案例1

4.2.8案例2

4.2.9案例3

4.2.10案例4

05

AI大模型对自动驾驶和智能座舱的影响

5.1AI大模型对自动驾驶的影响

5.1.1自动驾驶AD基础大模型:应用场景与战略意义

5.1.2自动驾驶AD基础大模型:典型应用

5.1.3自动驾驶AD基础大模型:典型应用和局限性分析

5.1.4自动驾驶AD基础大模型:主要适配场景与应用方式

5.1.5自动驾驶视觉基础大模型VLM/MLM/VFM:行业适配场景与主要应用

5.1.6自动驾驶AD基础大模型:适配场景案例

5.1.7自动驾驶视觉大模型:数据表征方式与主要应用

5.1.8智驾域控的演进趋势

5.1.9多模态大模型智驾应用

5.2AI大模型在自动驾驶的应用案例

5.2.1案例1

5.2.2案例2

5.2.3案例3

5.2.4商汤Drive-MLM:世界模型构建

5.2.5商汤Drive-MLM:多模态生成式交互

5.2.6案例4

5.2.7案例5

5.2.8案例6

5.2.9高通混合式AI:在智驾中的应用

5.2.10高通AI模型库

5.2.11案例7

5.2.12案例8

5.3AI大模型对座舱域控的影响

5.3.1多模态基础大模型

5.3.2大模型对交互设计的影响:数据分析与决策

5.3.3大模型对交互设计的影响:通过自主学习提供个性化服务

THE END
1.新能源时代!看大模型(LLMs)如何助力汽车自动驾驶!本文主要介绍大模型(LLMs)如何助力汽车自动驾驶,简单来说,作者首先带大家了解大模型的工作模式,然后介绍了自动驾驶大模型的3大应用场景,最后指出自动驾驶大模型将会是未来的发展趋势,只要坚持,国内新能源造车新势力还是很有机会的。本文没有深入讲解算法架构,而是化繁为简,能够让您很快的对自动驾驶大模型有个较为全面https://blog.csdn.net/m0_71745484/article/details/141711644
2.大模型+自动驾驶专题:AI大模型在高阶自动驾驶中的应用大模型+自动驾驶专题:AI大模型在高阶自动驾驶中的应用 在自动驾驶技术的发展过程中,AI大模型以其强大的学习能力和处理复杂任务的能力,正逐渐成为推动高阶自动驾驶实现的关键因素。AI大模型在高阶自动驾驶中的应用主要体现在以下几个方面: 感知环境:自动驾驶汽车需要实时感知周围环境,包括车辆、行人、交通标志等。AIhttps://www.sgpjbg.com/task/2725503.html
3.首个自动驾驶领域大模型来了,噱头还是突破?南方+日前,首个自动驾驶领域大模型迎来面世,毫末智行发布自动驾驶生成式大模型“雪湖·海若”,通过引入驾驶数据建立RLHF(人类反馈强化学习)技术,对自动驾驶认知决策模型进行持续优化,最终实现端到端自动驾驶。 21世纪经济报道记者了解到,“雪湖·海若”现阶段主要用于解决自动驾驶的认知决策问题。目前,“雪湖·海若”实现了https://static.nfapp.southcn.com/content/202304/18/c7582743.html
4.大模型日新月异,自动驾驶企业“跟得紧才能跑在前”?其中,“1.0”时代以早期无人驾驶车辆为代表,比拼传感器特别是激光雷达的数量和线束精度,数据积累在数百万公里;“2.0”时代以深度学习技术上车为标志,车规级传感器大量上车,但更注意车端感知算法和人工规则为主的决策模型优化,数据积累在千万公里以上;“3.0”时代以AI大模型在自动驾驶领域的应用为标注,以数据驱动方式来http://www.xzrbw.com/info/1221/362508.htm
5.大模型人工智能大模型在自动驾驶领域的应用随着ChatGPT的火爆,大模型受到的关注度越来越高,大模型展现出的能力令人惊叹。 第一个问题:怎样的模型可以称之为大模型呢? 一般来说,我们认为参数量过亿的模型都可以称之为“大模型”。而在自动驾驶领域,大模型主要有两种含义:一种是参数量过亿的模型;另一种是由多个小模型叠加在一起组成的模型,虽然参数量不过https://cloud.tencent.com/developer/article/2345050
6.从奔驰到自行车都在集成的大模型,是汽车智能化的下个风口?2.用于自动驾驶等智能系统。前者如前面说到的奔驰与微软的合作,以及接入通义千问的阿里巴巴AliOS智能汽车操作系统;后者如理想汽车自研的MindGPT,摆脱对高清地图的依赖,让汽车更接近人类司机的驾驶表现,以及毫末智行的自动驾驶生成式大模型DriveGPT,帮助解决认知决策问题,最终实现云端到车端的自动驾驶。此外,长城、奇瑞https://www.iyiou.com/analysis/202308041049665
7.2023年度十大前沿科技趋势发布:这项技术排第一!今年的CVPR最佳论文颁给了端到端自动驾驶,这几乎代表着一种共识:端到端自动驾驶是行业的未来。 随着生成式AI的发展,以ChatGPT为代表的大语言模型的泛化能力有了极大提升,端到端自动驾驶技术也因此受到广泛关注。 端到端自动驾驶技术以全部模块神经网络化为特征,对规则的依赖度低,具备智能涌现能力和跨场景应用潜力。https://wlxy.yangtzeu.edu.cn/sysywlglzx1/info/1027/1466.htm
8.小鹏AI天玑5.4.0全球首发,智驾云端大模型竞争拉开序幕【2024年10月24日,广州】今日,“小鹏P7+AI智驾技术分享会暨首发AI天玑5.4.0先享会”在广州成功举办,小鹏汽车副总裁、自动驾驶负责人李力耘博士、小鹏汽车智能体验负责人于桐,分别介绍了小鹏端到端大模型的技术优势,和首发搭载在小鹏P7+上的AI天玑5.4.0版本。 https://www.xiaopeng.com/news/company_news/5393.html
9.覆盖200+服务嘲,阿里「通义」大模型系列打造国内首个AI统一底座通义- 视觉大模型自下往上分为了底层统一算法架构、中层通用算法和上层产业应用。据了解,通用 - 视觉大模型可以在电商行业实现图像搜索和万物识别等场景应用,并在文生图以及交通和自动驾驶领域发挥作用。 阿里始终秉持开源开放的理念。此次通义大模型系列中语言大模型 AliceMind-PLUG、多模态理解与生成统一模型 AliceMindhttps://developer.aliyun.com/article/1214284
10.人工智能大模型原理与应用实战:利用大模型进行自动驾驶研究自动驾驶技术是人工智能领域的一个重要研究方向,它旨在通过集成计算机视觉、机器学习、路径规划和控制等技术,实现无人驾驶汽车的智能化和自主化。在过去的几年里,自动驾驶技术取得了显著的进展,尤其是在深度学习和大模型方面的研究。这篇文章将介绍如何利用大模型进行自动驾驶研究,包括背景介绍、核心概念与联系、核心算法https://blog.51cto.com/universsky/8997161