继《2024年汽车AI大模型技术和应用趋势研究报告》从宏观层面探讨AI大模型对汽车行业的影响之后,佐思汽研推出第二份研究报告《2024年AI大模型对整车智能化设计和开发的影响研究报告》,从汽车硬件层、操作系统层、应用功能层、云端大数据层等方面研究AI大模型对整车智能化设计和开发的影响。
2023年,长安汽车在原有的SDA软件驱动架构上(SDA原来包含L1-L6层),加入了AI边缘侧和AI服务层。可以看到AI技术已经影响到智能汽车的大多数层面:L3电子电器架构层,L4整车操作系统层,L6整车功能应用层(含座舱、网联和智驾),L7云端大数据层等。L1机械层的底盘部分,L2动力层的电池部分,实际上也已经开始有AI应用案例。
长安汽车AI+SDA整车架构
总结当前主机厂和Tier1的大模型应用情况,主要还处于整车智能化的局部层面,或开发流程的某个环节。
AI大模型在整车智能化架构各层级的应用案例
整理:佐思汽研
观察AI大模型在汽车应用的大趋势,我们还需要从大模型的演进中寻找思路。根据腾讯研究院的成果,AI将从大脑进化到AIAgent,从CoPilot进化到自主驾驶。
那么,什么是AIAgent?
佐思汽研认可这样的观点:AI大模型即OS,AIAgent(智能体)即应用。智能化产品的开发范式将从传统的OS-APP生态系统范式转变为AI大模型-AIAgent生态系统范式。
什么是AIAgent?AIAgent是一种超越简单文本生成的人工智能系统。它使用大型语言模型(LLM)作为其核心计算引擎,使其能够进行对话、执行任务、推理并展现一定程度的自主性。简而言之,Agent是一个具有复杂推理能力、记忆和执行任务手段的系统。可见,蔚来汽车座舱里的NOMIGPT,特斯拉FSDV12就分别是座舱域和智驾域的AIAgent。
在汽车座舱应用中,要做到真正的千人千面,还需要车企根据自家车型和服务的特点,对AI大模型做进一步的定制,也就是基于平台级AI大模型基础上的AIAgent。我们可以看到,吉利车型(譬如极越、银河)基于百度文心一言推出的座舱系统,奔驰接入ChatGPT后的车载语音助手,实际上都是一种AIAgent。
目前,智驾AIAgent和座舱AIAgent是分离的,未来随着舱驾融合的发展,智驾AIAgent和座舱AIAgent也将走向融合。但是,主机厂和Tier1现在考虑舱驾融合,就不能只考虑硬件层面的融合,还需要考虑操作系统和整车系统架构层面,特别是要考虑大模型/AIAgent模式的快速演进。
大模型/AIAgent目前是操作系统/APP生态的一部分,未来会取代操作系统/APP模式吗?我们认为是有可能的。
基于大模型的Agent不仅可以让每个人都有增强能力的专属智能助理,还将改变人机协同的模式,带来更为广泛的人机融合。人类与AI协同有三种模式:嵌入(embedding)模式,副驾驶(Copilot)模式,智能体(Agent)模式。
在智能驾驶中,嵌入(embedding)模式相当于L1-L2级自动驾驶,副驾驶(Copilot)模式相当于L2.5和高速NOA,智能体(Agent)模式相当于城市NOA和L3级自动驾驶。
在智能体(Agent)模式下,人类设定目标和提供必要的资源(例如计算能力),然后AI独立地承担大部分工作,最后人类监督进程以及评估最终结果。这种模式下,AI充分体现了智能体的互动性、自主性和适应性特征,接近于独立的行动者,而人类则更多地扮演监督者和评估者的角色。
在AI智能体(Agent)模式下,原来通过车机APP实现的大量交互操作,现在通过自然形态交互(语音,手势等)就能实现目标。甚至AIAgent主动观察车内外情况,提出需求问询,经过车主确认后即可执行某项任务。
因此,AIAgent的发展必然让以前的大量APP变得没有必要,必将给智能座舱和智能驾驶的开发及应用,带来颠覆性影响。
AI大模型和AIAgent的发展对未来操作系统的影响包括:
《2024年AI大模型对整车智能化设计和开发的影响研究报告》目录
共160页
01
AI大模型应用现状与未来趋势
1.1AI大模型应用简介
1.1.1各类AI模型介绍
1.1.2多模态大模型VLM:通用架构和演进趋势
1.1.3大模型对3D道路场景理解的演进趋势
1.1.4多模态大模型对智能汽车行驶道路场景理解的演进趋势总结
1.2应用现状
1.2.1AI大模型应用分类
1.2.2AI大模型应用现状:供应商
1.2.3AI大模型应用现状:主机厂
1.2.4AI大模型在整车不同层级的应用
1.2.5AI大模型在不同场景中的应用实例
1.3Sora文本生成视频大模型
1.3.1自动驾驶AD基础大模型:世界模型与视频生成
1.3.2视觉生成大模型:历史回顾与对比分析
1.3.3Sora文本生成视频大模型:基本原理与社会价值
1.3.4Sora文本生成视频大模型:基本系统介绍
1.3.5Sora文本生成视频大模型:基本功能
1.3.6Sora文本生成视频大模型:优势与局限
1.3.7Sora文本生成视频大模型:案例分析
1.3.8解读Sora模块(1)
1.3.9解读Sora模块(2)
1.3.10解读Sora模块(3)
1.3.11解读Sora模块(4)
1.3.12SoravsGPT-4:算力需求对比分析
1.3.13Sora文本生成视频大模型:对自动驾驶行业的推动预测
1.4总结
1.4.1AI大模型导致涌现效应
1.4.2AI大模型相对于传统AD模型的优势
1.4.3AI大模型对操作系统的影响
1.4.4AI大模型对SOA架构/仿真设计/SoC设计的影响
1.4.5AI大模型对自动驾驶开发的影响
1.4.6AI大模型演进趋势1
1.4.7AI大模型演进趋势2
1.4.8智能汽车行业AI大模型的痛点分析与解决思路
1.4.9AI大模型的现存问题
1.4.10Sora文本生成视频大模型对智能汽车行业的影响分析与预测
1.4.11AI计算芯片设计的痛点和应对措施
1.4.12AI大模型:人机融合决策控制的新突破
1.4.13AI大模型对汽车智能化的影响总结(1)
1.4.14AI大模型对汽车智能化的影响总结(2)
1.4.15AI大模型对汽车智能化的影响总结(3)
1.4.16AI大模型对汽车智能化的影响总结(4)
1.4.17AI大模型对汽车智能化的影响总结(5)
1.4.18AI大模型对汽车智能化的影响总结(6)
02
AI大模型对汽车硬件层的影响
2.1AI大模型对芯片设计和功能的影响
2.1.1AI大模型对芯片的影响趋势(1)
2.1.2AI大模型对芯片的影响趋势(2)
2.1.3AI大模型对芯片的影响趋势(3)
2.1.4LLM大模型对智能汽车SoC设计范式的变革
2.1.5案例1
2.1.6案例2
2.1.7NVIDIA自动驾驶DRIVE系列芯片
2.1.8案例3
2.1.9AI大模型对座舱芯片设计和规划的影响
2.1.10案例4
2.2AI大模型对ADAS传感器和感知系统开发的影响
2.2.1大模型驱动:感知能力融合与共享的演进趋势
2.2.2案例5
2.2.3案例6
03
AI大模型对汽车SOA架构/操作系统的影响
3.1AI大模型对SOA/EE架构的影响
3.1.1EE架构演进的驱动因素
3.1.2AI大模型对算力需求也推动EE架构进化
3.1.3多模态大模型与EE架构3.0
3.1.4从大模型Agent技术看SOA发展方向
3.1.5案例1
3.2AI大模型对操作系统设计和开发的影响
3.2.1AI大模型如何影响OS(1)
3.2.2AI大模型如何影响OS(2)
3.2.3AI大模型如何影响OS(3)
3.2.4案例2
3.2.5案例3
3.2.6案例4
3.2.7案例5
3.2.8案例6
04
AI大模型对汽车数据闭环/仿真系统的影响
4.1AI大模型对数据闭环的影响
4.1.1数据驱动的自动驾驶系统
4.1.2数据驱动与数据闭环
4.1.3大模型在智能驾驶的应用
4.1.4长安数据闭环
4.1.5东信创智云端数据闭环解决方案SimCycle
4.1.6华为盘古大模型与数据闭环
4.1.7华为盘古大模型如何赋能自动驾驶开发平台
4.1.8商汤数据闭环方案
4.1.9觉非科技采用地平线芯片与大模型完成数据闭环
4.2AI大模型对仿真系统的影响
4.2.1自动驾驶视觉大基础模型VFM
4.2.2Sora与TeslaFSD-GWM视频生成能力对比分析
4.2.3Sora与LLM对比
4.2.4Sora与ChatSim对比
4.2.5多模态基础大模型
4.2.6生成式世界模型GAIA-1系统架构
4.2.7案例1
4.2.8案例2
4.2.9案例3
4.2.10案例4
05
AI大模型对自动驾驶和智能座舱的影响
5.1AI大模型对自动驾驶的影响
5.1.1自动驾驶AD基础大模型:应用场景与战略意义
5.1.2自动驾驶AD基础大模型:典型应用
5.1.3自动驾驶AD基础大模型:典型应用和局限性分析
5.1.4自动驾驶AD基础大模型:主要适配场景与应用方式
5.1.5自动驾驶视觉基础大模型VLM/MLM/VFM:行业适配场景与主要应用
5.1.6自动驾驶AD基础大模型:适配场景案例
5.1.7自动驾驶视觉大模型:数据表征方式与主要应用
5.1.8智驾域控的演进趋势
5.1.9多模态大模型智驾应用
5.2AI大模型在自动驾驶的应用案例
5.2.1案例1
5.2.2案例2
5.2.3案例3
5.2.4商汤Drive-MLM:世界模型构建
5.2.5商汤Drive-MLM:多模态生成式交互
5.2.6案例4
5.2.7案例5
5.2.8案例6
5.2.9高通混合式AI:在智驾中的应用
5.2.10高通AI模型库
5.2.11案例7
5.2.12案例8
5.3AI大模型对座舱域控的影响
5.3.1多模态基础大模型
5.3.2大模型对交互设计的影响:数据分析与决策
5.3.3大模型对交互设计的影响:通过自主学习提供个性化服务