AI大模型研究:大模型对整车智能化将带来颠覆性影响

继《2024年汽车AI大模型技术和应用趋势研究报告》从宏观层面探讨AI大模型对汽车行业的影响之后,佐思汽研推出第二份研究报告《2024年AI大模型对整车智能化设计和开发的影响研究报告》,从汽车硬件层、操作系统层、应用功能层、云端大数据层等方面研究AI大模型对整车智能化设计和开发的影响。

2023年,长安汽车在原有的SDA软件驱动架构上(SDA原来包含L1-L6层),加入了AI边缘侧和AI服务层。可以看到AI技术已经影响到智能汽车的大多数层面:L3电子电器架构层,L4整车操作系统层,L6整车功能应用层(含座舱、网联和智驾),L7云端大数据层等。L1机械层的底盘部分,L2动力层的电池部分,实际上也已经开始有AI应用案例。

长安汽车AI+SDA整车架构

总结当前主机厂和Tier1的大模型应用情况,主要还处于整车智能化的局部层面,或开发流程的某个环节。

AI大模型在整车智能化架构各层级的应用案例

整理:佐思汽研

观察AI大模型在汽车应用的大趋势,我们还需要从大模型的演进中寻找思路。根据腾讯研究院的成果,AI将从大脑进化到AIAgent,从CoPilot进化到自主驾驶。

那么,什么是AIAgent?

佐思汽研认可这样的观点:AI大模型即OS,AIAgent(智能体)即应用。智能化产品的开发范式将从传统的OS-APP生态系统范式转变为AI大模型-AIAgent生态系统范式。

什么是AIAgent?AIAgent是一种超越简单文本生成的人工智能系统。它使用大型语言模型(LLM)作为其核心计算引擎,使其能够进行对话、执行任务、推理并展现一定程度的自主性。简而言之,Agent是一个具有复杂推理能力、记忆和执行任务手段的系统。可见,蔚来汽车座舱里的NOMIGPT,特斯拉FSDV12就分别是座舱域和智驾域的AIAgent。

在汽车座舱应用中,要做到真正的千人千面,还需要车企根据自家车型和服务的特点,对AI大模型做进一步的定制,也就是基于平台级AI大模型基础上的AIAgent。我们可以看到,吉利车型(譬如极越、银河)基于百度文心一言推出的座舱系统,奔驰接入ChatGPT后的车载语音助手,实际上都是一种AIAgent。

目前,智驾AIAgent和座舱AIAgent是分离的,未来随着舱驾融合的发展,智驾AIAgent和座舱AIAgent也将走向融合。但是,主机厂和Tier1现在考虑舱驾融合,就不能只考虑硬件层面的融合,还需要考虑操作系统和整车系统架构层面,特别是要考虑大模型/AIAgent模式的快速演进。

大模型/AIAgent目前是操作系统/APP生态的一部分,未来会取代操作系统/APP模式吗?我们认为是有可能的。

基于大模型的Agent不仅可以让每个人都有增强能力的专属智能助理,还将改变人机协同的模式,带来更为广泛的人机融合。人类与AI协同有三种模式:嵌入(embedding)模式,副驾驶(Copilot)模式,智能体(Agent)模式。

在智能驾驶中,嵌入(embedding)模式相当于L1-L2级自动驾驶,副驾驶(Copilot)模式相当于L2.5和高速NOA,智能体(Agent)模式相当于城市NOA和L3级自动驾驶。

在智能体(Agent)模式下,人类设定目标和提供必要的资源(例如计算能力),然后AI独立地承担大部分工作,最后人类监督进程以及评估最终结果。这种模式下,AI充分体现了智能体的互动性、自主性和适应性特征,接近于独立的行动者,而人类则更多地扮演监督者和评估者的角色。

在AI智能体(Agent)模式下,原来通过车机APP实现的大量交互操作,现在通过自然形态交互(语音,手势等)就能实现目标。甚至AIAgent主动观察车内外情况,提出需求问询,经过车主确认后即可执行某项任务。

因此,AIAgent的发展必然让以前的大量APP变得没有必要,必将给智能座舱和智能驾驶的开发及应用,带来颠覆性影响。

AI大模型和AIAgent的发展对未来操作系统的影响包括:

《2024年AI大模型对整车智能化设计和开发的影响研究报告》目录

共160页

01

AI大模型应用现状与未来趋势

1.1AI大模型应用简介

1.1.1各类AI模型介绍

1.1.2多模态大模型VLM:通用架构和演进趋势

1.1.3大模型对3D道路场景理解的演进趋势

1.1.4多模态大模型对智能汽车行驶道路场景理解的演进趋势总结

1.2应用现状

1.2.1AI大模型应用分类

1.2.2AI大模型应用现状:供应商

1.2.3AI大模型应用现状:主机厂

1.2.4AI大模型在整车不同层级的应用

1.2.5AI大模型在不同场景中的应用实例

1.3Sora文本生成视频大模型

1.3.1自动驾驶AD基础大模型:世界模型与视频生成

1.3.2视觉生成大模型:历史回顾与对比分析

1.3.3Sora文本生成视频大模型:基本原理与社会价值

1.3.4Sora文本生成视频大模型:基本系统介绍

1.3.5Sora文本生成视频大模型:基本功能

1.3.6Sora文本生成视频大模型:优势与局限

1.3.7Sora文本生成视频大模型:案例分析

1.3.8解读Sora模块(1)

1.3.9解读Sora模块(2)

1.3.10解读Sora模块(3)

1.3.11解读Sora模块(4)

1.3.12SoravsGPT-4:算力需求对比分析

1.3.13Sora文本生成视频大模型:对自动驾驶行业的推动预测

1.4总结

1.4.1AI大模型导致涌现效应

1.4.2AI大模型相对于传统AD模型的优势

1.4.3AI大模型对操作系统的影响

1.4.4AI大模型对SOA架构/仿真设计/SoC设计的影响

1.4.5AI大模型对自动驾驶开发的影响

1.4.6AI大模型演进趋势1

1.4.7AI大模型演进趋势2

1.4.8智能汽车行业AI大模型的痛点分析与解决思路

1.4.9AI大模型的现存问题

1.4.10Sora文本生成视频大模型对智能汽车行业的影响分析与预测

1.4.11AI计算芯片设计的痛点和应对措施

1.4.12AI大模型:人机融合决策控制的新突破

1.4.13AI大模型对汽车智能化的影响总结(1)

1.4.14AI大模型对汽车智能化的影响总结(2)

1.4.15AI大模型对汽车智能化的影响总结(3)

1.4.16AI大模型对汽车智能化的影响总结(4)

1.4.17AI大模型对汽车智能化的影响总结(5)

1.4.18AI大模型对汽车智能化的影响总结(6)

02

AI大模型对汽车硬件层的影响

2.1AI大模型对芯片设计和功能的影响

2.1.1AI大模型对芯片的影响趋势(1)

2.1.2AI大模型对芯片的影响趋势(2)

2.1.3AI大模型对芯片的影响趋势(3)

2.1.4LLM大模型对智能汽车SoC设计范式的变革

2.1.5案例1

2.1.6案例2

2.1.7NVIDIA自动驾驶DRIVE系列芯片

2.1.8案例3

2.1.9AI大模型对座舱芯片设计和规划的影响

2.1.10案例4

2.2AI大模型对ADAS传感器和感知系统开发的影响

2.2.1大模型驱动:感知能力融合与共享的演进趋势

2.2.2案例5

2.2.3案例6

03

AI大模型对汽车SOA架构/操作系统的影响

3.1AI大模型对SOA/EE架构的影响

3.1.1EE架构演进的驱动因素

3.1.2AI大模型对算力需求也推动EE架构进化

3.1.3多模态大模型与EE架构3.0

3.1.4从大模型Agent技术看SOA发展方向

3.1.5案例1

3.2AI大模型对操作系统设计和开发的影响

3.2.1AI大模型如何影响OS(1)

3.2.2AI大模型如何影响OS(2)

3.2.3AI大模型如何影响OS(3)

3.2.4案例2

3.2.5案例3

3.2.6案例4

3.2.7案例5

3.2.8案例6

04

AI大模型对汽车数据闭环/仿真系统的影响

4.1AI大模型对数据闭环的影响

4.1.1数据驱动的自动驾驶系统

4.1.2数据驱动与数据闭环

4.1.3大模型在智能驾驶的应用

4.1.4长安数据闭环

4.1.5东信创智云端数据闭环解决方案SimCycle

4.1.6华为盘古大模型与数据闭环

4.1.7华为盘古大模型如何赋能自动驾驶开发平台

4.1.8商汤数据闭环方案

4.1.9觉非科技采用地平线芯片与大模型完成数据闭环

4.2AI大模型对仿真系统的影响

4.2.1自动驾驶视觉大基础模型VFM

4.2.2Sora与TeslaFSD-GWM视频生成能力对比分析

4.2.3Sora与LLM对比

4.2.4Sora与ChatSim对比

4.2.5多模态基础大模型

4.2.6生成式世界模型GAIA-1系统架构

4.2.7案例1

4.2.8案例2

4.2.9案例3

4.2.10案例4

05

AI大模型对自动驾驶和智能座舱的影响

5.1AI大模型对自动驾驶的影响

5.1.1自动驾驶AD基础大模型:应用场景与战略意义

5.1.2自动驾驶AD基础大模型:典型应用

5.1.3自动驾驶AD基础大模型:典型应用和局限性分析

5.1.4自动驾驶AD基础大模型:主要适配场景与应用方式

5.1.5自动驾驶视觉基础大模型VLM/MLM/VFM:行业适配场景与主要应用

5.1.6自动驾驶AD基础大模型:适配场景案例

5.1.7自动驾驶视觉大模型:数据表征方式与主要应用

5.1.8智驾域控的演进趋势

5.1.9多模态大模型智驾应用

5.2AI大模型在自动驾驶的应用案例

5.2.1案例1

5.2.2案例2

5.2.3案例3

5.2.4商汤Drive-MLM:世界模型构建

5.2.5商汤Drive-MLM:多模态生成式交互

5.2.6案例4

5.2.7案例5

5.2.8案例6

5.2.9高通混合式AI:在智驾中的应用

5.2.10高通AI模型库

5.2.11案例7

5.2.12案例8

5.3AI大模型对座舱域控的影响

5.3.1多模态基础大模型

5.3.2大模型对交互设计的影响:数据分析与决策

5.3.3大模型对交互设计的影响:通过自主学习提供个性化服务

THE END
1.智能化对汽车主机厂及供应链的影响有哪些?问答集锦高阶竞争要素是AI生态,格局寡头垄断。1.对主机厂影响:能力的强弱导致主机厂自研方案的分化 上述几大https://www.vzkoo.com/question/1733799771392150
2.AI对汽车行业的冲击和比亚迪新能源汽车市场占比人工智能(AI)对汽车行业的冲击正在迅速改变该行业的面貌,从智能驾驶到生产自动化,再到个性化的消费者体验,AI带来的技术革新在各个层面影响着汽车产业。与此同时,新能源汽车市场,特别是以比亚迪为代表的中国企业,正在全球范围内迅速崛起。AI对汽车行业的冲击与比亚迪等新能源汽车企业的市场占比之间,存在着紧密的联系。这https://blog.csdn.net/sixpp/article/details/142352070
3.汽车AI技术是如何实现的?AI技术对汽车行业带来哪些改变和影响?AI技术对汽车行业带来哪些改变和影响? 汽车AI技术实现的关键在于搭载在汽车中的计算机和传感器系统,能够收集并处理各种数据,包括车辆状态、驾驶者行为、环境信息等等。这些数据可以被用来支持多种功能,例如: 1. 自动驾驶:通过运用机器学习和图像识别等技术,汽车可以自主地分析周围环境和路面情况,从而帮助驾驶员更安全和https://cloud.tencent.com/developer/news/1072204
4.AI技术在汽车后市场用得怎样了?4、自动驾驶技术对后市场的影响 随着自动驾驶技术的逐渐普及,汽车后市场将面临新的挑战和机遇。自动驾驶汽车的传感器、软件和算法需要更高级的维护和更新服务,同时也将催生新的保险和维修模式。 5、预测性维护的普及 利用AI 的数据分析能力,不仅能够提前预测车辆故障,还能对车辆的整体健康状况进行持续监测。这将使车辆https://maimai.cn/article/detail?fid=1857159014&efid=IFRwN6wWHGgCs7k9yK4iFg
5.2022年92个令人惊叹的人工智能统计数据和事实91、84%企业表示,拥有深度学习AI解决方案将使其比同行业的其他企业更具有战略竞争优势。 92、75%高管认为,如果不实施人工智能或机器学习,其企业就会倒闭。 无论是企业高管、仓库员工,甚至只是智能手机用户,都能看到人工智能对我们日常生活的影响。随着这项智能技术的不断发展,不可否认的是,其将对我们的世界产生持久https://www.51cto.com/article/721456.html
6.关于2024年中国车市的五个预判至少在2024年,AI对汽车行业的影响并不大。 AI对汽车行业的影响无非是两方面:智能座舱和智能驾驶。 按照目前GPT大模型的运用方式,实际上更重要的感知是拉平了新势力和传统车企在智能座舱体验上的差距。 之前新势力更强调自己的语音识别模型、指令的及时性和对模糊指令的理解,而传统车企由于依靠通用化供应商,很难做出https://www.dongchedi.com/article/7337549763296231973
7.人工智能技术对汽车维修与保养的影响.pptx人工智能技术对汽车维修与保养的影响.pptx 关闭预览 想预览更多内容,点击免费在线预览全文 免费在线预览全文 人工智能技术在汽车维修与保养领域的应用概述人工智能技术正在汽车维修与保养领域发挥着越来越重要的作用。人工智能技术可以帮助汽车维修人员提高工作效率,并提供更准确的诊断和维修方案。老魏老师魏 https://max.book118.com/html/2024/0708/7060165112006131.shtm
8.?多元碰触,思想激流,共绘更美好的世界图景——2023年IPP国际曾敬涵认为,AI的快速发展对社会带来的影响是深远的。AI技术有潜力重塑我们对工作、价值甚至生活的意义的看法。他引用了马克思的观点,提出了一个有趣的问题:“AI的持续发展,是否会带来一种贴近共产主义的社会模式?” 斯蒂芬.海姆: 电动化和数字化时代下汽车行业的演变 https://ipp.scut.edu.cn/2023/1008/c35519a520638/page.htm
9.日经中文网的微博【链接——°车企在EV转型中的崛起与沉沦】在电动化转型和智能化进程的推动下,汽车行业正经历百年一遇的大变革,特斯拉和比亚迪(BYD)等先行者的表现突出,而各大传统车企的“阵痛”随之而来。震源地是占全球市场三分之一份额的中国…… @日经中文网 【欧洲对EV误判,汽车行业今年要裁员5万】 “对员工来说,就https://www.weibo.com/2478163131?refer_flag=1001030103_
10.AI对汽车IC设计的影响人工智能(AI)以及利用神经网络的深度学习是实现高级驾驶辅助系统(ADAS)和更高程度车辆自主性的强大技术。随着人工智能研究的快速发展,设计人员正面临激烈的竞争,他们需要提供高效、灵活、可扩展的芯片和软件,以便处理各种深度学习汽车应用,例如嵌入式视觉中的推理。尽管这些技术或许可以自由地应用于车辆的非安全关键方面,例https://www.synopsys.com/zh-cn/china/resources/dwtb/dwtb-cn-ai-impact-on-auto-ic-design-2018q3.html