随着Google无人驾驶项目的稳步推进，“自动驾驶”的潜力和机会正在被更多的人发现。高科技公司如Tesla、Uber、百度、NVIDIA等也纷纷加入自动驾驶研发的阵营；传统汽车厂商如通用、奔驰、宝马、丰田等也陆续调整自己的技术战略，跟上最新的无人驾驶风潮；初创公司如Mobileye、Nutonomy、Zoox、Drive.ai、Nuro.ai、驭势科技(UISEE)、初速度科技（Momenta)等则瞄准自动驾驶产业链中的特定应用场景或特定功能模块发挥初创公司灵活、高效的特点。接下来将对一些公司进行简单的梳理，以更全面的了解自动驾驶技术的发展。第一篇将对TeslaAutopilot无人驾驶技术的发展做一个简单的介绍。
1）Autopilot1.0：借水行舟的Tesla
TeslaAutopilot组建初期的成员主要来自包括加州伯克利、卡耐基梅隆、康奈尔、麻省理工在内的几所高校，以及大众汽车位于加州的ElectronicResearchLab,这些地方都有着很好的智能驾驶研发的传统和氛围。Tesla企业文化中有两条关键的准则叫做StaySmall(保持精锐）和MoveFast(快速行动），这在TeslaAutopilot团队体现得淋漓尽致。
Autopilot早期的管理者是资深工程经理DrewGray，Gray与2013年10月加盟Tesla，是Autopilot团队招聘的第一个员工。2014年5月，DarrenLiccardo出任Autopilot工程总监，Liccardo和Gray主要负责了Autopilot1.0（简称AP1.0)系统的集成。AP1.0旨在加强行车安全性和便利性，为车主提供轻松的驾驶体验。
搭载HW1.0的Tesla汽车生产于2014年和2016年期间，HW1.0作为“技术包”选项的一部分提供，首先在ModelS上可用，后来又扩展到ModelX上。下图为ModelS上配置的HW1.0传感器分布位置示意图：
HW1.0传感器分布图
跟Google研发无人驾驶技术一步到位的思路不同，Tesla认为要加快无人驾驶技术的研发，就要走快速纠错快速迭代的渐进式打法。因此Autopilot在设计之初就采用了硬件先行、软件更新的原则。硬件通常随着车辆的换代一两年更新一次，而软件更新的频率则要高得多(每一两个月更新一次)，每次更新会包括整个车辆的新功能，而不仅仅是Autopilot功能。也就是说Tesla车型虽然安装了具有自动驾驶功能的硬件，但是自动辅助驾驶功能并不是全部解锁的，这些功能是随着测试一步步逐渐推送给车主的。而促成这一切的关键是OTA(OVERTHEAIR)在线升级——每一辆Tesla都拥有免费的无线3G／4GLTE网络，车辆通过OTA不断更新固件，获得更完善的驾驶辅助或自动驾驶功能。AP1完整的软件功能于2015年10月中旬发布，作为特斯拉软件7.0版的一部分。7.1版软件随后删除了一些功能，以阻止客户从事危险行为，并增加了召唤远程停车技术，可以在没有司机在车内的情况下，在远程人类控制下来回移动汽车。
从下面的功能迭代中，我们能看到Tesla在AP1.0的进化上做出的点滴努力。
Tesla的AP1相当于L2级别的自动驾驶，而同期Google推出不带方向盘、刹车和油门踏板的纯电动全自动驾驶汽车“Firefly”已经达到了L4级别。比较Tesla的AP1和GoogleFirefly的传感器配置，我们会发现两者最大的区别就是Tesla没有使用激光雷达。这主要是因为激光雷达实在太贵了，Google使用的Velodyne64线的激光雷达，单个售价达7.5万美元，这样的成本很难通过用户消化。而Tesla毕竟是一家面向C端销售新能源汽车的企业，而不是一家出售自动驾驶技术和解决方案的公司，因此Tesla必须采用一种低成本的技术路线。
马斯克从第一性原理出发：既然人类能够利用眼睛和大脑驾驶汽车，那么只要给汽车配置视觉设备和运算系统，汽车应该也应该能够实现自动驾驶。马斯克的想法也并非天马行空。早在2007年，沃尔沃已经集成摄像头和雷达实现了防撞预警功能，2008年宝马利用单目摄像头实现了车道偏离预警、交通标志识别等功能。而实现上述功能所使用的视觉处理芯片却是同一家公司：Mobileye。
MobileyeEyeQ3于2014年推出，我们不知道马斯克第一次看到EyeQ3视觉模块的性能表现时是什么心情。EyeQ3对于EyeQ2是一次质的飞越：同时可以识别4根以上车道线，包括车道线类型、颜色，对车辆识别率达到99%，这使得L2的自动驾驶成为可能，MobileyeEyeQ3芯片识别效果如下。这样看来Tesla和Mobileye的初始合作，应该是一拍即合的。
MobileyeEyeQ3芯片识别效果
Tesla与Mobileye互相成就，简直天造地设的一对。
2）JoshuaBrown之死，Tesla与Mobileye分手
伴随着一辆辆新车下线，Tesla在官方文本中这样介绍Autopilot：全新的硬件并不是为了无人驾驶设计的，真正的无人驾驶还要数年才能到来。而Autopilot希望把驾驶员们从最无聊和危险的路况中解放出来。最重要的是，Tesla的文本明确地告诉车主：（尽管有Autopilot存在）驾驶员依然是车辆行驶过程中最终的控制方和责任方。
2016年1月20日，京港澳高速河北邯郸段发生一起追尾事故，一辆TeslaModelS直接撞上一辆正在作业的道路清扫车，ModelS当场损坏，司机高雅宁不幸身亡。经交警认定，在这起追尾事故中驾驶ModelS的司机高雅宁负主要责任。然而时隔半年之后，高雅宁的家人却把Tesla的经销商告上了法庭，索赔1万元，理由是营销过程中存在误导行为，将Autopilot翻译为“自动驾驶”造成车主放松警惕。事后Tesla在其中国官网上删除了“自动驾驶”、“无人驾驶”等字眼，改称“Autopilot自动辅助驾驶”。并要求销售人员严格将这一系统表述为驾驶辅助系统。此外，Tesla也对这一系统进行了更新，试图使用户在使用这一系统时集中注意力。这是全世界第一起因TeslaAutopilot导致的死亡交通事故。
而接下来的另一起事故则直接暴露了AP1.0确实存在一定的缺陷。
2016年5月，在佛罗里达一段没有完全封闭的高速公路上，JoshuaBrown驾驶的一辆ModelS，撞上了一辆拐弯中的货车。当时的高速路段上是蓝天白云，ModelS上的Autopilot处于开启状态。货车正在拐弯，但Autopilot没有识别出货车白色的挂车车厢，因此挡风玻璃首先撞上了车厢底部。黑色的ModelS从车厢底部穿出，最后在高速公路边的草地中停了下来。JoshuaBrown在这场车祸中丧生，事故示意图如下。
车祸事故示意图
当时天气晴朗，司机和Autopilot在蓝天的映衬下都没有注意到卡车白色的挂车车厢，因此司机和Autopilot系统都没有及时刹车。卡车横向穿过马路时，挂车车厢的高度以及从ModelS上观察到的视角，构成了一种非常罕见的驾驶场景，最终导致ModelS与卡车挂车车厢的碰撞。
当前的防碰撞技术或者自动紧急制动系统(AEB)的设计，是为了防止与前车车尾的碰撞。在这起事故中，涉及到对横向行驶车辆的处理，不属于这一代AEB的设计目标。Mobileye的系统将在2018年开始支持对横穿车辆的检测识别。
Tesla的自动辅助驾驶是我们自己开发的，综合使用了内外部各种设备和技术来处理这样的情况。从2016年1月开始，我们的紧急制动就会在这种类似的车辆横穿中生效。但是在这次事故中，高大，白色的卡车车厢，被摄像头捕捉后被误判成横跨马路的路牌，才是导致问题的原因。
就这样，在Brown的事故中Mobileye和Tesla你来我往，Mobileye急于撇清事故责任，Tesla需要对事故原因给出令人信服的解释。
Mobileye认为他们为AP1.0中提供的AEB功能还不支持识别横向行驶车辆的情况，但Tesla允许用户在这样的场景下开启了Autopilot，因此责任不在Mobileye。而Tesla则解释他们虽然使用了Mobileye的芯片，但是技术上已经涵盖了这种碰撞处理，只是由于当时环境条件导致失误，没能阻止惨剧发生。进一步分析原因是因为两车相撞时，ModelS是逆光行驶，强烈的光线对其搭载的摄像头造成了干挠，而大货车的白色车身在遇到强光时也无法为摄像头所辨认,卡车白色的"车厢"就被当成了天上的"白云"。虽然毫米波雷达已经检测到前方卡车车厢存在，但由于它无法判断车厢的高度，参照主传感器摄像头的判断，最终系统倾向认为车厢是一块悬在道路上方的路牌，没有采取制动措施。在这种情况下，驾驶员没能及时接管汽车，最终酿成惨祸。
2016年7月，Mobileye宣布和Tesla终止合作，EyeQ3将会是Mobileye和Tesla的最后一次合作。Mobileye和Tesla这对好基友的分手，表面上看是因为Brown的那场事故，但背后更深层次的原因在于：
告别Mobileye，对Tesla来说并没有太大损失。Mobileye提供的只是一个SoC解决方案，最核心的DNN是Tesla自己的。由EyeQ3的单目转为双目阵营后，Tesla将像奔驰一样，打造一套多摄像头的进阶版Auto-Pilot。
对于Mobileye，Tesla只是其众多整车客户之一，在终止与Tesla合作的同时，还宣布了与英特尔、宝马进行合作。2017年3月，Mobileye被芯片巨头英特尔以153亿美元的价格收购，与英特尔的强强联合，Mobileye将受益于英特尔从芯片端提供的资源帮助，构造基于视觉、实现传感器融合的强大算法，推动视觉算法持续向自动驾驶迈进。这家发端于大学实验室的创业公司终于修成正果。市值超过百亿美金的算法公司屈指可数，而连续十几年如一日坚持一件事，Mobileye在整个行业属于凤毛麟角。
报告还指出，在事故发生前，与ModelS发生碰撞的白色卡车至少在Brown的视野范围内出现了7秒，但系统没有检测到Brown踩刹车，甚至连方向盘也没打，也没有采取其他任何措施来避免此次车祸的发生。在事故发生前的两分钟，Brown所做的最后一件事情是将定速巡航设置在74英里/小时（119公里/小时），超出了65英里/小时的上限。
对于Tesla的AP1.0系统，NHTSA的通讯总监BryanThomas表示：“我们的调查评估了特斯拉自动驾驶系统的每个方面，包括了自动紧急制动系统。调查结果表明，没有证据显示，特斯拉自动巡航系统有安全缺陷，目前，没有必要做进一步的检测。”
在2017年1月20日，美国NHTSA给出的事故最终结论是：没有足够有力的证据表明Tesla的自动驾驶系统直接导致了JoshuaBrown的不幸，将不会对任何一辆Tesla进行召回。至此，为期8个月的事故调查告一段落。
3）Autopilot2.0，全面替换Mobileye
Tesla作为挑战传统车企的先锋，整体发展过于激进，这与Mobileye相对老城的套路有些差异。在与Mobileye的合作中，Tesla意识到：前者依赖Tesla在内的各家车辆获取大数据改进自身算法。但其对Autopilot进行改进的积极性和进度都没有达到令Tesla满意的节奏。这让Tesla内部决定“自动驾驶这个核心要抓在自己手里”。
2015年3月，马斯克第一次公开谈论解决完全无人驾驶的问题。在当年的GTC(GPUTECHNOLOGYCONFERENCE)上，马斯克对NVIDIA创始人黄仁勋讲到：“在我看来，无人驾驶的问题已经解决了。我们知道准确的技术实现路径，未来几年就能把它做出来。我们不仅要做无人车开发的领头羊，而且要让你真能买得到。”马斯克立了个大大的Flag，可现实情况是：Tesla量产的Autopilot，无论是软件层面的视觉感知技术，还是硬件层面的计算芯片都是依赖于Mobileye的技术。如果Tesla没有进一步实质性的研发动作，那么就当吹了个牛皮而已。
可是后来的事情表明，马斯克绝非虚言，心中早已有了周密的计划。
2015年9月，也就是特斯拉V7.0发布的前夕，DrewGray去了当时还在做后装自动驾驶解决方案的CruiseAutomation，却又在Cruise被通用收购的前夕去了Otto，最后所幸赶上了Otto被Uber收购。Gray在Uber时期担任工程总监，后又加盟创业公司Voyage担任CTO，Linkeldln上显示Gray已与2020年2月离开Voyage，并创立了一家叫做OceanOS的科技公司，该公司旨在使用最先进的计算机视觉，深度学习和先进的机器人技术来构建自主的水下航行器，遥感器网络和水下照相机，以了解如何最大程度地保护海洋，在全球范围内构建海洋保护技术。而与Gray同时期，共同负责AP1.0系统的集成工程总监DarrenLiccardo也与2015年7月离职，并加盟大疆担任工程副总裁，后又创立一家风险投资公司，投资下一波人工智能，自动化，机器人技术和物联网。
2015年12月，在Gray和Liccardo离开后，特斯拉把原来ModelX的首席产品经理SterlingAnderson调入，担任Autopilot总监，Anderson的角色更接近产品总监/项目总监。
2016年初，Tesla在内部启动计算平台FSD（FullSelf-DrivingComputer）的研发。计算平台是无人驾驶硬件系统的重要组成部分，当硬件传感器接收到环境信息后，数据会被导入计算平台，由不同的芯片进行运算。芯片是无人驾驶的核心，其职能相当于无人驾驶的大脑，它需要满足高算力、高稳定性、高安全性、低功耗等相互之间很难平衡的特性。在这个领域，当时业内知名的供应商就只有Mobileye和NVIDIA这两家。
Mobileye提供的是“全方位”的前装ADAS解决方案，他们的硬件产品是基于ASIC架构的EyeQ芯片，并配合有自己定制化的视觉感知算法。由于有长期的数据积累、功耗低、更符合车规级要求，大部分前装领域的高级驾驶辅助系统中使用的都是Mobileye的方案。这样就导致一种现象：面对Mobileye的封闭体系和称霸前装的地位，车厂实际上没有什么选择余地和议价权。
NVIDIADrivePX2计算平台
TeslaFSD芯片的设计和规划始于2016年，当时Tesla声称他们没有找到适合其解决自动驾驶问题的替代解决方案。他们认为DrivePX主要基于通用的GPU架构，并不是专门为无人驾驶系统打造，其性能并不是最为完美的，还存在很大的设计改进空间，来提升运算速度。而运算速度的大小是衡量芯片性能最为重要的指标之一，所以Tesla才决定自己开发芯片。
JimKeller
2016年2月，Tesla又从Apple招到了研发总监PeteBannon，Pete是A5芯片核心的设计工程师，在那之前他是PASemi的架构与验证副总裁。PASemi也就是Keller创业被Apple收购的那家公司，Jim和Pete是老同事。同时期，同样来自AMD的谷俊丽，在Autopilot硬件工程团队下开始组建机器学习小组，这个小组有两个任务：一个是搭建第二代自动驾驶硬件上的AI算法和机器学习软件，另一个是参与设计FSD芯片的架构和上面的软件。机器学习小组和Vision小组在组织架构上是相对独立的，2个小组分别汇报给2位不同的副总裁，Jim和Nistér。当月，TeslaFSD芯片的研发正式启动，后续，Tesla在2016年的上半年密集地招募了一大批原本在AMD进行芯片设计和深度学习研究的人才。PeteBannon带领着来自AMD的大牛们开始了完全无人驾驶芯片FSD的研发。
PeteBannon
Keller的团队一面着手设计完全无人驾驶芯片FSD，一面还需要负责开发第二代自动驾驶硬件系统。2015年-2016年，硬件工程副总裁JimKeller与Vision副总裁DavidNister以及Autopilot总监SterlingAnderson的搭班，是Autopilot第一版相对稳定的管理架构。在这个架构下，芯片、计算机视觉、AI这几个日后关键的要素都已经萌芽。
2016年10月，Tesla推出AutopilotHardware2.0（简称HW2.0），这也标志着Autopilot2.0（简称AP2.0)正式开始量产推广，详细的HW2套件组成如下：
下图为一辆配备HW2.0的ModelS的传感器布置情况。
HW2.0传感器分布图
相对于HW1.0，HW2.0进行了大幅升级。最直观的是HW1使用了更多摄像头和升级的传感器:HW1.0仅使用了一个前置摄像头和一个后视摄像头（不参与自动驾驶），而HW2.0则配备了8个摄像头，可以实现车辆周围360度全视野探测。当然，这有助于更好地了解车辆周围的环境和情况，例如，允许系统查看相邻车道上是否有汽车或骑自行车的人。此外，毫米波雷达和超声波传感器也进行了改进，以实现更远距离的检测；另一方面，HW2.0的计算平台在算力上也有巨大提升：HW1.0上的Mobileye的EyeQ3能提供的算力大约是0.25TOPS，它的下一代产品EyeQ4的算力是2.5TOPS，而NVIDIA为Tesla定制的这块DRIVEPX2算力是EyeQ3的40倍以上，也就是超过10TOPS。由于HW2.0算力的提升，AP2.0在传感器的配置策略上，将摄像头改为了主传感器，毫米波雷达起辅助探测作用；同时，HW2.0的计算平台也具备改造升级的灵活性,后续推出更高算力的主板，只要拆开车上的手套箱，就可以轻松替换。
HW2.0在系统感知能力与计算能力上的巨大提升,让马斯克的确有理由相信，这代Autopilot会比上一代好得多。实际上，在HW2.0推出后，Tesla已经对外宣称这个版本的硬件足以支撑完全无人驾驶，这也清晰的表明了Tesla的自动驾驶路线图：计算机视觉感知派。尽管马斯克曾经在公开场合说过"傻子才用激光雷达，谁用激光雷达谁完蛋"，但个人认为这主要还是激光雷达价格太贵，且不稳定。一件有意思的事情是，Tesla取消了车上为雨刮器提供信号的雨量传感器，而将采用摄像头+神经网络来感知降雨。2016年10月之后Tesla售出的所有汽车都配备了HW2.0,这些车辆标配自动紧急制动、前撞预警、侧撞预警等自动辅助驾驶功能；针对HW2.0则推出了两个选装包：“EnhancedAutopilot（增强版自动辅助驾驶）”和“FullSelf-Driving（完全自动驾驶）”。
2016年12月，TeslaAutopilot总监SterlingAnderson离职，与前Google自动驾驶的CTOChrisUrmson共同创办Aurora.ai，而且带走了不少Autopilot的工程师和高管。有一种声音认为，是这个”不可能完成的任务“，加上当时日趋疯狂的自动驾驶领域泡沫化导致Anderson出走成立新公司。Anderson之于AP2.0最大的意义在于凭着打造AP1.0的产品经验，帮助Tesla定义和推出了AP2.0的硬件解决方案，包括选用英伟达DrivePX2芯片作为计算平台以及摄像头、毫米波雷达和超声波传感器规格的定义。Anderson因为违反竞业协议且带走了一批AP团队成员，Tesla曾对其发起诉讼，随后双方达成和解。
SterlingAnderson
Anderson离开后，Tesla并没有任命继任者，Autopilot团队改由直接向马斯克汇报。在马斯克的传记《硅谷钢铁侠埃隆·马斯克的冒险人生》中有这样一段话：
如果你告诉马斯克，他的要求是无法实现的，比如预算实在降不下来或者在截止日期前无法造出某个部件，他就会说："好吧，这个项目与你无关了，从现在开始我是这个项目的CEO。在担任两家CEO的同时，你的工作也由我来做，但我可以完成。"
更可怕的是，他不仅仅是说说而已！每次他解雇了某个人，都会接替那个人的工作，而无论是什么项目，他都能完成。
ChrisLattner
那么Chris为AP2.0都做了些什么呢？Chris的Twitter信息记录了他在Tesla工作期间的几个重要节点：
2017年3月29日，Tesla推送了8.1版本软件更新。之前仓促推送的8.0版本做了很多功能阉割、体验也很差，Chris推文称8.1版本更新是AP2.0硬件平台有史以来最大的更新。
2017年5月7日，Tesla又推送了一次更新，全面解除了8.1版本中各功能的速度限制，同时去掉了（Beta）标识。Chris转发推文称又是一次大更新，性能和感知都有了大幅改进。
2017年6月15日，有车主发现Tesla正在通过摄像头收集路况信息以改进Autopilot，Tesla更新后的数据共享政策中提到，“……我们需要通过布局在车身外部的摄像头来收集路况短视频，以便获取车道线、路牌及交通灯的位置等路况信息。Tesla对路况的覆盖越广，每一辆Tesla汽车的自动驾驶能力就越高。”Chris对此进行了回应。
ChrisLattner推文
2017年6月，Chris离职，他在回忆Tesla的职业生涯时是这么说的：“（在Tesla）我努力工作，也有巨大的收获。我仍然坚信特斯拉的使命，看好走独特技术路线的Autopilot团队。但我跟Tesla似乎不太合拍。他的下一站选在了Apple之后硅谷另一家员工福利&满意度名列前茅的公司Google，担任Tensorflow开发者体验高级总监。
这无疑是一份还不错的绩效数据，透过此也可以看到TeslaAutopilot的快速发展。从AP1.0依靠Mobileye提供芯片和算法，到AP2.0对硬件大幅革新，全面转向自研软件系统。基于全新深度神经网络的视觉处理工具TeslaVision是Autopilot团队抛开Mobileye、从零搭建的一套视觉处理工具，它的背后，是全新的底层软件技术架构和云端大数据基础设施。TeslaVision能够对行车环境进行专业的解构分析，相比传统视觉处理技术可靠性更高；借助Tesla售出的车辆搜集的大量数据，反过来又可以对TeslaVision的神经网络进行训练和改进，进一步优化Autopilot。
从AP1.0到2.0，Tesla在自动驾驶技术的发展上建立了自主可控、快速迭代的能力。尽管这个过程看起来极尽折腾，内部的团队常常濒临“无人驾驶”的状态，但Autopilot最终拿出了领先行业的量产功能。Autopilot短周期高强度迭代开发的过程，也培养了一大批自动驾驶领域的实战人才。
除了先后创业和投奔各家的高管，在中国公司的自动驾驶业务一线，小鹏汽车自动驾驶副总裁谷俊丽就是前面提到的在Autopilot2.0开发时期发挥关键作用的机器学习小组负责人。
谷俊丽
此外，蔚来汽车负责NIOPilot的副总裁JamieCarlson、纽劢科技CEO徐雷、原Roadstar联合创始人衡亮以及AutoBrain的联合创始人YolandaDu也悉数出自Autopilot团队。
4）软硬结合，Tesla走向“汽车界的Apple”
在计算机视觉和深度学习领域，AndrejKarpathy是世界上最顶尖的专家，他现在已经加入了Tesla担任AI和AutopilotVision部门的主管，直接向埃隆·马斯克进行汇报。他曾经通过在ImageNet的工作赋予了计算机视觉，通过生成模型的开发赋予了计算机想象力。
Andrej已经获得了斯坦福大学计算机视觉博士学位，这完全体现了他通过深度神经网络从图片中寻找复杂物体的能力。他的技术不仅能识别“照片里有没有一只猫”，而是能理解“照片里有一只橘黄色的斑点猫，它站在一个滑板上，滑板的轮子是红色的，而这个滑板放在棕色的硬木地板上”。同时，他还在斯坦福设立并教授“视觉识别的卷积神经网络”课程，这是斯坦福最早的，也是最顶尖的深度学习课程。
AndrejKarpathy
这样，在JimKeller治下，PeteBannon主要带领FSD的研发，AndrejKarpathy主要负责TeslaAI和AutopilotVision的开发。Autopilot还包含了规划控制、地图、仿真和测试等模块。这个局面是Autopilot第二版相对稳定的治理架构。
2017年7月中旬，Tesla悄悄为HW2.0进行了一次小幅更新，民间称这套升级版硬件为HW2.5.Tesla表示，从这时开始后续预订的Tesla车辆均将免费搭载HW2.5。相对于HW2.0,HW2.5主要做了以下调整：
3.计算平台增加了一个Parker处理芯片，提供了更强劲的计算性能；对PCB板做了优化，增加了面向驾驶员的摄像头（SelfieCam）接口，如下图所示；
4.对线控系统进行优化，在转向、刹车等各个重要的部件上采用了双线缆通信，以防一旦有一根线缆失效，可以启用备用线缆继续行驶；
我对特斯拉在神经网络方面取得的进展感到非常兴奋，我发现AI领域是这样的，它是一种指数增长，你一直觉得进展很缓慢、很无趣，然后突然就wow，就是这种感觉。
你看谷歌DeepMind做的AlphaGo，一开始（水平）还不如一个好点的人类棋手，突然就打败了欧洲冠军、然后是世界冠军，接下来可以同时开战打败任何人；很快他们研发了AlphaZero，轻松碾压AlphaGo，就是这样。
这有点像自动驾驶的进展，它（当下的AP2.0）就像个差劲的司机，然后突然，跟技术精良的老司机无异，它会这样演进。
2018年5月，Tesla聘请Snap的工程副总裁StuartBowers担任Autopilot工程副总裁。Stuart拥有12年软件工作经验，是应用数学方面的专家，加入Snap之前，曾先后在微软和Facebook工作，当时他所做的工作与搜索数据基础设施、机器学习有关。Stuart将接管Autopilot软件业务和一些其他项目。
StuartBowers
经过调整后，Autopilot团队基本上稳定了下来，整个团队一共有200人左右。Autopilot硬件副总裁PeteBannon领导着大约70人的硬件团队，负责TeslaAI芯片以及毫米波雷达的自主研发工作；Autopilot工程副总裁StuartBowers领导着Autopilot最大的一支团队，人数达到100人左右，负责地图、质量控制、模拟和固件更新业务的推进；AutopilotVision&TeslaAI高级总监AndrejKarpathy领导着最小但最核心的一支团队，负责Tesla计算机视觉和人工智能技术边界的探索。这支大约35人的团队涉及的技术包括自我监督学习、模仿学习和强化学习，是硅谷乃至全球最顶级的人工智能应用研究团队之一。Pete、Stuart和Karpathy均向马斯克直接汇报，构成了稳定的铁三角关系，这是Autopilot第三版相对稳定的治理架构。
在Autopilot的团队之外，还有一支关联团队很少被人提及，就是Firmware团队，有时也被称为嵌入式团队。这支团队有将近百人，负责包括车内大屏、数据采集、软件Build&Release以及OTA等工作的开发。这支团队由Tesla软件工程副总裁DavidLau带领，Lau是特斯拉元老级的成员。Firmware团队深居幕后，却对Autopilot也至关重要。
2018年10月，Tesla开始陆续向全球用户推送9.0版本软件更新包，这是自2016年推出8.0版本系统后，两年来Tesla在软件方面最重大的更新。关于Autopilot，这次更新主要带来以下功能：
Dashcam，也被称为Tesla官方行车记录仪，适用于搭载Autopilot2.5硬件的车型，用户只需要在USB闪存驱动器上添加一个名为TeslaCam的文件夹，就可以把汽车前视摄像头拍摄的视频记录并存储到闪存驱动器上。
这次更新还带来了全新的盲点警告，此功能适用于所有拥有Autopilot2.0+硬件的车辆，在车辆的仪表盘中央，能够动态监测测量周围的其他车辆，如摩托车、小轿车、公交车等都会以相应的模型显示。当需要变道时，传感器如果监测到目标车道上有其他车辆或障碍物从而有可能发生碰撞时，车道线会变成红色来提醒驾驶员。此功能可以答复提高行车安全性。障碍感应限速适用于搭载Autopilot硬件的所有车型，如果车辆在低速行驶时发现前方有障碍物，该功能会自动限制车辆加速。这一点对于行车安全来说，提升尤为有效。
Autopilot9.0版本软件基本实现了在高速/城际公路这种简单场景下对路况信息感知和融合、路径规划与决策，最后完成控制与执行。换句话说，这就是很原始的L4级自动驾驶技术Demo。区别在于，其他公司的L4Demo都在宣传片里，而Tesla在量产车上实现了。当然，NavigateonAutopilot仍需要一定的人机交互及车辆控制权向驾驶员的移交。换言之，Autopilot进化到L4+高级别自动驾驶，仍有很长的路要走，这需要有更强大、冗余的系统，更多真实的驾驶数据作为支撑。
2019年4月22日，Tesla举行了“自动驾驶投资者日”(AutonomyInvestorDay)活动，这次活动透露了不少重磅信息，归纳起来主要有三方面的内容：
对于FSDComputer的技术信息，Pete从芯片到系统都做了详细的介绍：
FSD芯片是一款专门为自动驾驶功能设计的产品，需要满足功耗、算力、Batchsize（latency）和安全性等需求目标。FSD芯片采用Samsung14nmFinFETCMOS工艺，在260mm2的硅片上集成了约60亿个晶体管，组成2.5亿个逻辑门电路，芯片封装尺寸37.5×37.5mm，底座采用FCBGA设计，整体设计符合AEC-Q100汽车质量标准。
FSD芯片在设计时需要兼顾对上一代车型的升级，因此继承了先前解决方案的大部分功率和散热需求-包括最大100W的功耗。由于该芯片只针对Tesla旗下汽车设计，所以设计时将替代神经网络加速单元（NeuralNetworkAccelerator，NNA）的许多通用功能从FSD芯片上剥离，只保留Tesla需要的硬件。FSD芯片主要由CPU、GPU和NNA（NeuralNetworkAccelerator神经网络加速单元）三个计算模块，以及各种接口，片上网络等组成，下面是FSD芯片内部架构简图。
FSD芯片内部架构简图
CPU方面，由三组四核ARMCortex-A72架构组成，主频2.2GHz，主要用于通用的计算和任务；GPU方面，未透露具体型号，主频1GHz，支持16位、32位浮点运算，算力为600GFlops（Floating-pointOperationsPerSecond)，主要用于轻量级的后处理任务。
NNA是FSD芯片中自研的最重要的部分是，也是Pete重点介绍的内容，NNA包括2个NPU（NeuralNetworkProcessorUnit，神经网络处理器），每个NPU都封装了32MB的SRAM，用于存储临时运算结果，从而减少数据向主存储器的移动，有助于降低功耗。计算过程也很简单，在每个计算周期，NPU都会从内置的32MBSRAM中读取256字节的激活数据和另外128字节的权重数据组合在一起进入乘法累加（MultiplyAccumulate，MAC)，每个NPU都有一个96x96MAC阵列，用于总共9,216个MACs和18,432次运算（Operationpersecond，OPS）的能力。在2GHz下运行时，单个NPU的峰值计算能力为36.86（96x96x2x2）万亿次运算(TeraOperationsPerSecond,TOPS)，每个芯片上具有两个NPU，总的计算能力为73.73TOPS（超过设计目标50TOPS)。在完成了MAC的乘法累加运算后，数据将会被转移到激活（Activations）以及池化部分（Pooling），并等待写入缓冲区汇总结果。FSD芯片支持多种激活函数，包括修正线性单元（ReLU）、Sigmoid线性单元（SiLU）和TanH。每个周期都将128字节的结果写回SRAM，所有的操作同时且连续地进行，直到整个计算完成。
NPU计算过程
在保障NPU具备强大运算能力的同时，对于它的功耗和成本优化Tesla也做了不少的努力。
比如NNA设计了32MB的片上SRAM缓存，相比其计算能力，这个容量可以说相当抢眼，如Google初代TPU，采用了256×256的MAC，也只是在片上设计了24MB的SRAM。从Tesla给出的芯片图样来看，SRAM占据了NNA面积的75%以上，耗费了大量的晶体管。对于这种特殊的设计，Tesla解释这样做是为了让数据尽可能地在片内周转，而不用频繁地与内存或者其他模块进行读写操作。这样做不但可以提高性能，还可以有效降低功耗。Tesla宣称整个NNA的片上操作大概需要1TB/s带宽，所有数据都在片上完成，这样SRAM就可以满足其需求。
另一方面，因为NNA处理的神经网络计算并不需要太高的精度，所以设计的芯片只支持8位乘以8位整数乘法和32位整数乘法，不支持任何浮点计算，也无需支持任何其他格式，比如16位或者4位计算等，这都大大降低了核心的设计难度，还可以在很大程度上降低功耗。举例来说，支持浮点运算的32位加法器功耗大约是支持整数计算的32位加法器的9倍。
除了上述计算过程外，Tesla在NNA的设计中还偏向于将硬件简化，并复杂化软件，这样做可以降低芯片成本。比如软件可以映射和分配单个SRAM库，在Tesla的神经网络编译器的帮助下，还可以执行层融合操作，通过耦合conv-scale-act-pooling操作允许数据重用。编译器还可以通过执行层平滑处理来确保数据一致的内存访问操作，还可以加入代码压缩、CRC校验等功能，保证数据的可靠性。在指令方面，Tesla认为之前一些NNA的设计方案在缓存、寄存器以及逻辑控制方面消耗了大量能量，于是简化逻辑控制，设计了一个简单的指令集：包括DMARead、DMAWrite、Convolution、Deconvolution、Inner-product、Scale、Eltwidth、Stop，流程控制更是只需要配置4个信息，简化了操作，可以将资源跟多集中在计算方面。
在三大计算性能模块之外，FSD芯片上还集成了一个专用的、带有内部24字节流水线的图像信号处理器（Imagesignalprocessor，ISP）。这个ISP专门针对Tesla汽车上配备的八个HDR(HighDynamicRange高动态范围)传感器而设计，可以每秒钟处理十亿像素的图像信息。在处理中还加入了色调映射等功能，并且允许芯片自主处理阴影、亮点、暗点等细节，还加入了降噪设计。可以说，ISP是FSD芯片中除了计算核心外面积最大、功能最复杂的模块。
FSD芯片还具有一个摄像头串行接口（CSI），能够从各种视频输入设备进行每秒高达25亿像素的处理。对于视频的处理，FSD芯片集成了仅支持H.265（HEVC）的视频编码器，可以用于备用摄像机显示、行车记录仪和云剪辑视频等内容，其余诸如MPEG、H.264等一概不支持，精简了不少芯片规模。
HW3.0计算平台-FSDComputer
在一般操作中，当整车感知输入信息通过雷达、摄像头等各种传感器发送至FSDComouter时，两颗芯片独立处理并给出汽车下一步的执行计划。然后由之前提及的芯片上的安全模块对两个执行计划进行平衡、仲裁和验证，在确保驱动命令是所需的操作后，将执行计划发送给传动装置ECU以驱动汽车，整个循环过程以高帧速率连续运行。Tesla宣称，FSDComputer的故障率非常低，甚至比人失去意识的可能性还要低一个数量级。
FSDComputer工作流程简图
FSDComputer板载了8颗比较廉价的双通道LPDDR4-2133内存，位宽为128字节，带宽为63.58GB/s，每个芯片4颗。这应该是Tesla权衡过成本和性能后得出的最佳方案，毕竟内存控制器一向是芯片中的面积大户，并且事关性能又轻易削减不得，性能和规模的平衡处理非常重要。另外每个芯片各有一颗NAND闪存用于存储操作系统和数据。热管理方面，采用了和H2.5一样的水冷方案，确保整个工作过程的安全和稳定。FSD芯片内存采用了比较廉价的双通道LPDDR4-2133的方案，
与HW2.0或2.5定制版的NVIDIAPX2相比，FSDComputer在性能和成本上都有了提升，Tesla给出的数据是：FSD每秒可处理图片2300张，而HW2.5的每秒处理能力仅为110张，算力提升了21倍；FSD的成本相对于HW2.5下降了20%。不过FSD整体72W的功耗，略高于HW2.5解决方案的57W，这主要是为NPU的消耗。不得不说，特斯拉走上自研芯片这条道路还是非常正确的，不但节省了大量的资金耗费，同时也带来了新的利润增长点。
现在Tesla已经具备了强大算力的FSD芯片，还有通过车队源源不断生成的道路数据，那么只需要通过OTA升级Tesla的软件，就可以推动Autopilot功能的不断优化升级。作为视觉感知派的践行者，Tesla始终坚持发展以摄像头为主体的“机器视觉”技术—TeslaVision，TeslaVision的核心是视觉神经网络，而这正是AutopilotVision&TeslaAI高级总监AndrejKarpathy在Tesla工作的重点。在AutonomyInvestorDay上，Andrej系统性地阐述了Tesla在视觉神经网络和数据搜集体系上的建设成果。
那么神经网络在车上是如何运作的呢？简单来说流程如下：首先通过车上的8个摄像头获取道路的数据，然后将这些数据以视频流的形式输入Autopilot的计算平台，接着部署在计算平台上的预训练视觉神经网络对视频数据进行快速处理和解析，完成对车道线、交通标志、车辆障碍物等的识别，对周围车辆、行人等的动作和行为做出预判，识别出汽车可行使区域，并进行路径规划等其他任务。理解了Tesla视觉神经网络的工作原理，要确保Autopilot辅助驾驶功能的稳定可靠，甚至实现完全自动驾驶，就需要视觉神经网络能够持续准确的解析车辆周围的环境。但是复杂的驾驶环境为神经网络的运作带来了挑战。那么如何确保神经网络的性能满足系统的需求呢？一般来说，可以通过增加训练数据或者优化神经网络结构和算法来实现。而增加训练数据在很大程度上来说效果更显著，这也是Tesla车队的优势。
成功训练神经网络要点
总结一下，Autopilot神经网络预测迭代的流程为：一开始从车队获得一个随机种子数据集，人工对这些数据集进行标记并用于神经网络的训练，然后将神经网络部署到车上，车辆具备判断神经网络发生误识别的机制，例如当检测到神经网络在后续识别中做出（Inaccuracy）错误的识别或者车辆在“影子模式”下检测到司机进行了某种干预操作时，就会触发反馈机制，车辆会向服务器回传这些发生异常的数据，工作人员对异常数据开展分析并重新标记，同时向车队请求跟多类似的数据，这些数据被正确标记后合并到原始数据集，重新训练神经网络并部署到车上，就这样不断的循环迭代，这个改进神经网络预测的迭代过程被称为“DataEngine”。
改进神经网络预测迭代流程—“DataEngine”
我们看到在这个Cut-in的模型训练过程中，几乎无需人工干预，自动化的目标识别技术可以准确识别每一个Cut-in场景中的结构化数据，省掉了人工标注的繁琐。而且总管整个模型训练—部署—影子模式激活—修正—矫正性训练—部署……这个闭环当中，可以看到人力资源基本是不消耗的，系统效率得到大幅度提升。
利用Fleetlearning和Shadowmode训练“Cut-ins”模型
值得注意的是，如今在TeslaAutopilot神经网络训练大闭环里，都实现了自动化。“Label”的过程是经由多种传感器联合完成的，这可以大幅度降低人工标注的成本并且提升效率；而“Deploy”过程则是通过标准的OTA流程完成，这可以不断的将功能优化升级的Autopilot特征部署到车上；更进一步，Tesla还在“Identifyaninaccuracy”中采用独一无二的“影子模式”，这反过来又从车队中捕捉大量人类司机的正确驾驶判断。
拥有复杂交通灯的交叉路口对自动驾驶汽车来说是颇具挑战的一种场景。这个时候系统该怎么决策呢？Tesla使用的方法叫做行为克隆（BehaviourCloning，模仿学习的一种）。行为克隆是什么意思呢？这个相对好理解得多，我们人类学习新技能就是通过观察别人怎么做从而完成学习。Andrej介绍了Tesla使用行为克隆方法让车辆模仿人类实现车辆十字路口路径规划的项目，简单的过程如下：
PathPrediction
在Autonomyday上，马斯克再次表达了对激光雷达的态度，公开diss了所有使用激光雷达的自动驾驶公司，说用激光雷达真是“荒唐”，他们“注定失败”，还抱着胳膊亮出邪魅狂狷的一抹微笑，点着头对在座的各位说：“You’llsee.”激光雷达相对于摄像头最直观的优点就是能够快速构建三维场景，针对这一点，Andrej从专业的角度进行了论证，证明了基于视觉传感器+算法也可以构建深度感知。Andrej首先介绍了人类和动物利用双眼构建立体视觉的过程，还举了一个利用单目视觉图像中的线索（图中两根铁轨的距离符合近大远小的透视现象）测距的例子，以此表明：双目或单目视觉都可以用来构建立体视觉，问题的本质不在视觉传感器，而在于背后的处理算法，即如何从单纯的视觉信息中，提取构建立体视觉的结构化数据。Andrej介绍了三种方法：
Andrej做了个总结:人类仅靠视觉而没有激光雷达就可以驾驶的很好，功能强大的视觉识别对于自动驾驶是绝对必要的，没有必要使用激光雷达。就像我们必须要有能够真正了解你周围环境的神经网络，激光雷达点云缺少丰富的环境信息，而视觉则能提供周边环境的详细细节信息。Andrej认为，激光雷达是一条捷径，但它回避了对自动驾驶至关重要的视觉识别的基本问题，它会给人一种技术进步的错觉，但没有解决本质问题。
最后，Andrej谈到了制约高等级自动驾驶的“长尾问题“，他表示解决这些问题将会非常棘手和困难。Tesla拥有非常强大的视觉系统，能够从庞大的车队获得各种“极端情况”，而且与所有竞争对手相比，Tesla遇到这些“极端情况”的频率将更高，这非常有利于向神经网络提供正确的数据进行迭代训练，以更快的速度解决这些“极端情况”，这正是Tesla实现全自动驾驶的优势所在。
自动驾驶“长尾问题”
在AutonomyDay上，马斯克发布了TeslaRobotaxi计划。Robotaxi即无人驾驶出租车，因为取消了司机，所以参与运营的车辆需要达到SAElevel4以上的自动驾驶级别，这就要求支撑自动驾驶的架构设计考虑足够的冗余。马斯克介绍说，从2016年10月起，Tesla发布HW2.0时就已经在硬件层面上对整个车辆进行了冗余设计，主要包括电源、总线通信、执行机构。如确保每个关键的驱动系统都有两个独立的电源系统和总线通信线路，以防其中一个失效时，关键的驱动组件仍能正常运行；车辆的转向系统、制动系统也都做了备份设计，当其中一套系统发生故障时，另一套仍然可用。同时，基于Pete、Andrej和Stuart三人在Autopilot硬件、视觉&AI算法以及软件方面取得的成就，Tesla制定了雄心勃勃的计划，马斯克表示，他“非常有信心”在2019年底前实现完全自动驾驶系统所需的全部功能，并与2020年推出Robotaxi网约车服务，TeslaRobotaxi务将仅限于特定的管辖区，因为无法在所有地方都获得监管部门的批准，但马斯克相信在明年年底前至少在一个市场被许可。
通过AutonomyDay，Tesla高调的展示了自动驾驶领域的技术实力和野心，描绘了一副非常好的出行蓝图。也许，把Tesla说成是汽车界的Apple总会引起很多人的反驳，也许Tesla如今在汽车行业还没有那么大的影响力。这里只说Tesla的自动驾驶技术，如果说Apple最大的卖点是那个不卡顿的IOS系统，那么Tesla也正在打造自己最大卖点:Autopilot。
5）软件更新，全力以赴完全自动驾驶功能
在2018年10月NavigateonAutopilot功能推出后，Autopilot软件团队的精锐力量全部聚焦到了增强召唤（EnhancedSummon）功能的研发上。所谓增强召唤，就是指你在停车场利用手机App召唤你的Tesla汽车，车辆都能够应对复杂的环境和狭小的车位，及时避开障碍物，在停车场的任何位置找到你。这个功能是不是听来很熟悉，这正是Robotaxi中召唤车辆的场景。
增强召唤功能演示
2019年4月6日，马斯克在Twitter预告“增强召唤”将于一周后大规模推送。但随后Autopilot的实际表现证明，那个版本的“增强召唤”完全没有马斯克说得那么效果拔群。
2019年4月22日的Tesla投资者日上，马斯克无意中透露最新版本的“增强召唤”仍在内测中，而它目前还不适合大规模推送给用户。在这个会议上，马斯克还做出承诺：Tesla将在年底之前让汽车在城市街道和高速公路上拥有“完全”自动驾驶能力。
然而，软件的开发并不顺利，马斯克对此表达了不满，于是对Autopilot团队进行了重组，5月10日，tuart治下的软件工程团队最先被动刀，先后有五位工程师离职：
在Autopilot内部，一场更大的风暴正在来临。Stuart被削去了几项职权，其手下的员工却得到提拔：AshokElluswamy被提拔为感知&计算机视觉团队负责人、CJMoore出任Autopilot模拟、质量控制负责人，路径规划负责人变成了DrewBaglino，上述三人改为直接向Elon汇报。也就是说，在核心五人组（CEO、CFO、CTO、首席设计师、汽车业务总裁）之外，向马斯克汇报的除了遍布全球的22位副总裁，新增3位Autopilot团队执行负责人。新的组织结构如下：
到了2019年7月，Autopilot团队还未搞定“增强召唤”马斯克连续几天在Twitter做了说明，推文内容如下：
2019年7月8日：“拥有复杂交通灯的交叉路口和购物中心停车场的交叉口是两个最大的软件挑战。开发团队分支的大部分精力都投入在这些场景中，但要达到99.9999%的安全性还需要付出大量的努力。”
2019年7月13日：“停车场（增强召唤）是个非常棘手的问题。今天晚些时候会对“增强召唤”进行深入的工程审查。"
2019年7月16日：回答一位网友的问题时，马斯克透露“增强召唤”将于8月16日前后进行大规模推送。Autopilot团队攻克了大量复杂的挑战。对于新版增强召唤，Elon的评价是Magical。
马斯克关于“增强召唤”的推文
2019年8月16日，马斯克承诺的“增强召唤”功能再次被推迟。StuartBowers离职，以常驻高管身份加盟风投公司Greylock。
2019年8月21日，马斯克发Twitter表示，推迟4-8周推送V10系统更新。
10月3日，马斯克发推文称，Tesla用户已经使用智能召唤功能超过55万次。从网上的反馈看，在智能召唤模式下的电动车也发生了一些小事故。为了保证安全，Tesla为智能召唤准备了各种安全措施：
2019年已经过去了，Tesla未能如愿实现全自动驾驶的所有功能，在Tesla官网上“全自动驾驶能力”的订单页面上，还有两项功能有待实现：