AI趋动自动驾驶的质变:来自世界模型开启的场景重建新纪元

摘要:在繁华都市的交通脉络中,自动驾驶技术正不断面临着复杂路况的考验。

在繁华都市的交通脉络中,自动驾驶技术正不断面临着复杂路况的考验。就拿北上广城市快速路的限时段公交车道来说,这一特殊场景犹如一道难题横亘在智能驾驶系统面前。

世界模型与视频生成:自动驾驶的关键拼图

在全球智能驾驶研发的前沿阵地上,基于ArtificialGeneralIntelligence(AGI通用人工智能)与世界模型(WorldModel)的仿真平台相较于传统的单一道路测试,具有显著优势。它能够更加精准地满足日益增长的模拟需求,大幅削减重复采集和分析工作,按照需求生成特定场景,有力提高算法精准度和迭代效率,是实现“端到端”智能驾驶方案的关键基石。

在自动驾驶领域,世界模型和视频生成技术无疑是两块关键拼图。世界模型旨在模拟真实世界环境动态,而视频生成模型则负责产出逼真视频序列,二者的整合对于提升自动驾驶汽车的态势感知和决策能力意义非凡。

早期的视频生成技术尚显稚嫩,难以制作出自然流畅且冗长的视频。那时的模型多在像素级别依据训练数据中的模式预测下一帧,或借助概率模型来优化数据分布近似值,缺乏标准化结构,如长短期记忆(LSTM)、Transformer和生成对抗网络(GAN)等架构都曾被尝试,通过对抗训练艰难提升生成质量。

反观世界模型,其在自动驾驶领域蕴含着巨大潜力。它能够构建完整的场景认知,精准理解各元素间的关联,提前预判整个场景的演变,深入理解意图和因果关系,进而基于整体认知做出决策,甚至预见潜在风险。当世界模型与视频生成模型无缝集成,便如同为自动驾驶汽车的“大脑”装上了更为敏锐的“感官”与更智慧的“思维”,大幅增强其态势感知与决策的准确性。

DriveDreamer4D:开启4D驾驶场景重建新纪元

随着大模型技术的蓬勃发展,世界模型技术成为行业瞩目的焦点,引发了自动驾驶领域的创新热潮。极佳科技去年率先提出DriveDreamer,这款全球首个真实世界驱动的自动驾驶世界模型,在工业界和学术界掀起了广泛而热烈的讨论,并成功被国际顶级计算机视觉会议ECCV2024收录。

今年10月,极佳科技联合中国科学院自动化研究所、理想汽车、北京大学、慕尼黑工业大学等一众实力单位,重磅推出DriveDreamer4D。这一创新成果首次利用世界模型增强4D驾驶场景重建效果,为行业发展开辟了新的路径。

当下的传感器仿真方法,如NeRF与3DGS,存在着对训练数据分布过度依赖的短板。一旦训练数据不足,在面对复杂驾驶操作,如变道、加速或减速时,重建效果便大打折扣。而DriveDreamer4D的出现恰如其分地弥补了这一缺陷,它以世界模型作为强大的数据引擎,基于真实世界的驾驶数据合成新轨迹视频,例如在变道场景中表现卓越。

DriveDreamer4D在提升图像渲染质量方面成绩斐然,它能够显著提升多种重建算法(PVG、S3Gaussian、Deformable-GS)的效果,让驾驶前景(车辆)和背景(车道线)的时空一致性达到新的高度。其总体结构设计精妙,轨迹生成模块(NTGM)犹如一位智能“调度员”,灵活调整原始轨迹动作,如转向角度和速度,从而生成全新的轨迹。这些新轨迹就像是打开新世界的钥匙,为提取结构化信息(车辆3D框和背景车道线细节)提供了前所未有的视角。紧接着,凭借世界模型的视频生成能力,以更新轨迹后得到的结构化信息作为控制条件,顺利合成新轨迹的视频。最后,将原始轨迹视频与新轨迹视频巧妙融合,对4DGS模型进行优化,如同为模型注入了源源不断的活力,使其在userstudy实验中斩获超过80%的偏好投票,向着空间智能和4D世界模型昂首迈进坚实的一步。

回顾DriveDreamer系列,其发展历程亦是熠熠生辉。DriveDreamer作为首个面向真实驾驶场景的世界模型,具备根据不同控制条件生成自动驾驶周视视频的能力,如同给自动驾驶汽车装上了“千里眼”,有效提升了BEV感知的性能。DriveDreamer-2则更进一步,创新性地引入大语言模型,摇身一变成为“驾驶场景定制大师”,能够生成用户自定义的驾驶数据,为长尾和cornercase场景下的数据生成难题提供了巧妙的解决方案,进一步提升了数据生成能力。DriveDreamer4D充分利用DriveDreamer系列的技术积累,针对端到端自动驾驶和闭环仿真对场景重建的急切需求,生成新轨迹视频(如变道、加减速),成功大幅提升了多种4DGS算法的重建效果,让自动驾驶场景重建技术实现了质的飞跃。

极佳科技:自动驾驶创新浪潮中的领航者

作为DriveDreamer4D论文的牵头完成单位,极佳科技无疑是自动驾驶领域的一股强劲力量。这是一家专注于空间智能的先锋企业,以将视频生成提升到4D世界模型为使命,全力赋予AI大模型对4D空间的理解、生成、常识和推理能力,力求实现4D空间中的交互与行动,向着通用空间智能奋勇前行。

极佳科技在影视游戏、元宇宙等虚拟空间的内容创作领域,以及自动驾驶、具身智能等物理空间的数据生成与认知推理方面,都拥有不可估量的价值。它在国内率先踏上探索和布局世界模型和空间智能方向的征程,并在技术研发与商业拓展两方面都收获了累累硕果,赢得了行业的广泛赞誉与认可。

在近期举办的现代汽车集团创新计划颁奖典礼上,极佳视界凭借其在4D世界模型和视频生成领域的卓越创新表现,荣耀斩获现代集团“灯塔”创新开放计划“创新企业奖”。现代汽车作为全球汽车制造业的巨头,刚刚跨越全球产量1亿台的伟大里程碑(2024.09),极佳科技此次获奖,无疑为其进军海外市场,服务类似现代汽车的国际客户打造了一个极具说服力的成功案例,也标志着其在全球自动驾驶舞台上崭露头角。

以公司与全球出行科技企业亿咖通科技强强联手为例,双方致力于建设基于先进的生成式AI和视觉大模型的仿真模拟平台,旨在高效推动智能驾驶技术的发展验证及功能迭代。

通过此次合作,双方将精心打造融入真实道路环境和传感器特性的场景库,借助对AGI能力的持续建设与迭代升级,生成高度真实、丰富多样的虚拟驾驶场景与交通流。这些形成的空间场景具备多视角及多车型的泛化能力,并且能够针对特殊场景(cornercase)进行量化生成,与测试车实测完美结合,共同构建起高效的模拟平台。这一平台将加速智能驾驶的场景仿真、预判和功能开发效率,显著提升有效道路验证公里数。

更为重要的是,除了将生成式AI大模型应用于感知能力的提升以及现有驾驶功能的测试和迭代之外,双方还将携手探索世界模型在下一代智能驾驶解决方案中的前瞻研发与落地应用。

在自动驾驶的漫漫征途中,极佳科技以DriveDreamer4D为利刃,以世界模型为核心驱动力,正与合作伙伴们并肩作战,划破技术的重重迷雾,驶向智能驾驶的未来新蓝海。有理由相信,在这样的创新力量推动下,自动驾驶的明天将更加安全、高效、智能,让我们拭目以待这一伟大变革的全面到来。

大几千的iPhone下单了,很多人不愿意再花几十块给手机买个保险,主打一个该省省该花花。

9月18日晚间,顺丰控股(002352.SZ)披露了《2024年8月快递物流业务经营简报》。

9月11日至13日,全球光电行业的顶级盛会——第二十五届中国国际光电博览会(CIOE中国光博会)在深...

中秋小长假前的交易周,国内权益市场走势偏弱,万得全A周跌幅2%左右,日均成交量维持在5000亿元的较...

9月11日,中国进出口商品交易会(广交会)的盛大舞台上,JOYMARK以其独特的创新魅力和前瞻性的市...

当前市场持续震荡,主线尚未明朗,行业板块轮动节奏加快,这让不少看好A股后市的投资者感到困惑,不知从何...

香港保险宏利的2024年《宏利亚洲健康调查》显示,高达45%以上的中国内地受访者认为,身体健康对于未...

再加上刚坑了一把股民,联创股份接下来恐怕会被更多投资者抛弃。

2016年注册于北京的中氢新能技术有限公司,下设位于大兴的装备制造公司、位于海淀区的技术研究院、材料...

一度无比高光的理想汽车,猝不及防遭遇重挫。

第二届中匈可再生能源、新材料商业投资峰会于2025年4月9日在匈牙利布达佩斯盛大启幕。

“中国投资年会”作为私募股权行业的年度盛会,已成功举办了18届,吸引了全国VC/PE领域从业者的广泛...

2024年的一级市场,“耐心”是最高命题,也引发了持续全年的讨论。

5月8-10日,由投中信息、投中网主办的“第18届中国投资年会·年度峰会”在上海外滩W酒店盛大召开。

4月12日,2024汽车科技创新与成果转化大会在常州经开区成功召开。

THE END
1.3D驾驶课2024最新版下载中文版3D驾驶课v32.44官方正版3D驾驶课,一款3D模拟驾驶小游戏,游戏全方位模拟驾驶环境,炫酷车辆全部解锁,各种竞速模式、课程考试模式随时开启,在线练车轻松过关考试,更多驾驶技术练习。 3D驾驶课游戏介绍 非常逼真好玩的3D模拟驾驶游戏。游戏中家可以操控汽车的方向盘,按各种指示灯驾驶汽车享受最真实的驾驶体验! 菜单功能 1.增加推进力 2.违章不扣分https://m.qqtn.com/q/740534
2.3d驾驶游戏大全3d驾驶游戏下载3d驾驶游戏最新版3d驾驶游戏中有一部分侧重于竞速,例如一起来飞车、vr过山车、qq飞车、ios暴力战车、速度赛车3d、跑跑卡丁车这些游戏;有一部分则侧重真实感,例如警车模拟3d、真实城市汽车驾驶、卡车模拟驾驶3d、3d驾驶这些游戏。前者会对游戏中的汽车性能、技巧要求比较高;而后者则侧重驾驶过程的真实模拟体验。玩家们可以根据自己的需要http://www.downcc.com/k/3djiashiyouxi/
3.3d驾驶游戏大全3d驾驶游戏下载好玩的3d驾驶游戏推荐热门好玩的3d驾驶游戏有哪些?有很多小伙伴对于各种炫酷的跑车非常痴迷,总是想要体验最刺激的驾驶过程,这里为大家推荐一些很好玩的3d驾驶游戏,这些游戏能够接触到现实生活中,我们不常接触到的各种炫酷跑车,在赛道之中进行刺激的漂移和弯道超车操作,整体的玩法感觉十分刺激,感兴趣的小伙伴快来下载吧!http://m.doyo.cn/zhuanti/3djsyx/
4.3D驾驶游戏v16.213D驾驶游戏安卓版下载官方就不舍得优化3D驾驶游戏吗?进都进不去,比以前刚差了 百分用户266901964月前 或玩一个害我下一个盗版三破玩意害我下一个盗版3D驾驶游戏项目 我是hcm2月前 驾驶项目是最新版本 小齐6月前 进都进不去 多久时间sjsjs6月前 好玩太好玩了 吐个泡泡3月前 https://android.byfen.com/app/57897
5.3D驾驶v15.02安卓版下载3D驾驶v15.02更新版下载3d驾驶v15.02是一款引人入胜的安卓驾驶模拟游戏,它将玩家带入了一个充满真实感和刺激感的驾驶世界。玩家可以体验到逼真的驾驶环境,从城市的繁忙街道到乡村的宁静小路,从高速公路的飞驰体验到越野探险的刺激,游戏为玩家提供了多种驾驶场景,满足了不同玩家的需求。 https://www.crsky.com/soft/591506.html
6.3d驾驶课下载手机版手游正版免费安装(暂未上线)3d驾驶课平台:安卓 大小: 134.89MB 类型:休闲 热度: 最新版本: 25.12 很抱歉,部分应用下载服务目前正在升级维护中,暂不直接提供下载,您可以前往其他平台下载该应用 软件介绍 技巧攻略 全部平台 标签:模拟驾驶模拟开车开车驾驶 介绍 3d写实风格的驾驶模拟游戏 3d驾驶课,一般又称3d开车教室手游。 3D开车教室是一款https://m.liqucn.com/app-rn-40620-3
7.智能驾驶智能驾驶本质上涉及注意力吸引和注意力分散的认知工程学,主要包括网络导航、自主驾驶和人工干预三个环节。智能驾驶的前提条件是,我们选用的车辆满足行车的动力学要求,车上的传感器能获得相关视听觉信号和信息,并通过认知计算控制相应的随动系统。智能驾驶的网络导航,解决我们在哪里、到哪里、走哪条道路中的哪条车道https://baike.baidu.com/item/%E6%99%BA%E8%83%BD%E9%A9%BE%E9%A9%B6/2787809
8.3D驾驶课中文版v32.51韩国驾照考试将于2016年12月22日起更改。 这是一款可以通过游戏练习的模拟应用。 您可以练习肠功能测试和路试。 扣除点和扣除项目的改变内容实际上应用于游戏。 我们将不断更新并使其成为更好的应用。 链接到由3D驾驶教室创建者操作的YouTube频道。 https://www.youtubhttps://www.25game.com/Android/View/35226/
9.3d驾驶手机游戏大全20243d驾驶模拟游戏手机版3d驾驶手机游戏大全 小编今天为大家带来了几款好玩的3d汽车驾驶游戏,这些游戏采用了3d精彩的画面,有着不同的赛道等你去挑战,还可以自由选择赛车,玩法多样,为玩家提供了丰富的驾驶体验和挑战,无论你是喜欢速度与激情的竞速游戏,还是喜欢模拟真实驾驶的模拟游戏,都可以尝试体验这几款游戏。https://xy.kidsdown.com/yyzt/3djssjyxdq/
10.3D驾驶课游戏中文版下载3D驾驶课最新版下载v32.31安卓版驾驶课的最新版是一款有趣的驾驶模拟游戏,不仅要成为驾驶员驾驶汽车,还要熟知汽车中的按钮,在适当的时候按下按钮,接受驾驶考试。同时,游戏具有逼真的驾驶玩法和设计,操作手感极佳。特色赛道和各种风格的赛车模拟随时等待着玩家。玩家可以在这里体验最真实的驾驶体验。值得一提的是3d驾驶课中文版游戏画面采用写实画面风格http://xinxiazai.net/sports/11721.html
11.3D驾驶课2下载3.60最新版3D驾驶课2游戏图片 3D驾驶课2是一款模拟游戏,是2024年韩国驾照考试练习赛第二季 这是一款模拟应用程序,可以让您透过游戏进行练习。 我们将继续更新并使其成为更好的应用程式。 3D驾驶课2更新内容 - 添加新地图 - 修正了各种错误 3D驾驶课2相关信息 https://3g.7723.cn/apps/140330
12.3D驾驶课2中文手机版下载3D驾驶课2最新安卓版V3.3下载3D驾驶课2是一款模拟游戏,是2024年韩国驾照考试练习赛第二季 这是一款模拟应用程序,可以让您透过游戏进行练习。 我们将继续更新并使其成为更好的应用程式。 其他信息 应用来源 谷德工作室 更新时间 2024-10-14 15:16 权限说明 查看 隐私政策 查看 游戏分类 https://www.shanwan.com/game/158145.html
13.3d驾驶课最新版下载3d驾驶课最新版是一款很有趣的开车模拟游戏,画面采用写实风格呈现,设计了特色赛道和各种风格的赛车模拟,在玩法上融合了非常刺激且逼真的驾驶内容,还有较为出色的拟真挑战组合模式,场景内全3D引擎打造,再加上非常带感的音效,让玩家们可以在这体验到最真实的驾驶感受。赛车造型十分炫酷,所有车型的操作方法都大同小异,但https://www.91rjz.com/pcsoft/188790.html