车用半导体大致可分为微控制器单元(MCU)、特定应用标准产品(ASSP) 、特定应用集成电路(ASIC)、模拟(Analog)与功率晶体管(Transistor)、传感器(Sensor)等。其中:
MCU 较偏重动力传动、底盘控制与安全;
ASSP/ASIC 较偏重在车载资通讯与娱乐;
模拟与功率晶体管在各次系统使用比较平均;
传感器则是偏重在动力传动及安全。
以下是市场研究机构 SemicastResearch 发布的 2016 年全球前十大汽车电子公司。
在上述汽车电子巨头中,恩智浦、瑞萨、TI 等都研发有面向高级驾驶辅助系统(ADAS)及自动驾驶(AD)需求的高效能处理芯片;意法半导体从 2004 年开始与 Mobileye 共同合作研发 EyeQ 系列芯片,不过 Intel 在 2017 年 3 月以 153 亿美元收购了 Mobileye。在此之前,Intel 还先后收购了 FPGA 芯片巨头 Altera、视觉算法公司 Movidius,以此形成了自动驾驶芯片的完整解决方案。芯片巨头中, 英伟达凭借其 GPU 的强大优势也积极切入自动驾驶芯片领域;高通除了自主研发新一代车规级移动处理区芯片外,也即将完成对恩智浦的收购;Xilinx 则主推其基于 FPGA 的 Zynq-7000 All Programmable SoC,等等。
此外,特斯拉也是一家即将进入自动驾驶芯片领域的巨头,Elon Musk 在 2017 年底公开了特斯拉自主研发自动驾驶 AI 芯片的计划。国内公司中,地平线、寒武纪、四维图新、森国科等均在 2017 年发布了自动驾驶芯片规划。本文余下部分将对上述公司及产业格局做一个盘点。
格局
在自动驾驶领域,AI 芯片其实并不新奇。如前所述,Mobileye 的 EyeQ 系列芯片在 2004 年就开始研发,2007 年发布的第一代 EyeQ1 芯片是较早应用于自动驾驶的 AI 芯片之一(仅实现辅助驾驶功能)。从技术路线来看,在这个领域中,自动驾驶芯片也延续了与其高度相关的深度学习所采用的几类硬件技术路线:GPU、FPGA、ASIC。
同时我们也需了解,按照 SAE International 的自动驾驶等级标准,目前已商用的自动驾驶芯片基本处于高级驾驶辅助系统(ADAS)阶段,可实现 L1 ~ L2 等级的辅助驾驶和半自动驾驶(部分宣称可实现 L3 的功能);面向 L4 ~ L5 超高度自动驾驶及全自动驾驶的 AI 芯片离规模化商用仍有距离。Nvidia 的 Drive Xavier 预计 2018 年一季度向合作伙伴提供样品;Mobileye 的 EyeQ5 预计 2018 年提供工程样品,2020 年量产,二者均宣称可以支持 L4 ~ L5 的自动驾驶运算需求。
一、两强之争:英伟达 VS 英特尔(Mobileye)
在自动驾驶时代之前,英伟达、英特尔等在汽车电子领域虽有涉及但并不突出。自动驾驶的兴起对处理芯片的性能提出了更高要求,二者凭借在处理器芯片领域的长期积累同时配合产业并购,已然形成了领跑之势。从主流车厂无人驾驶平台所使用的计算平台来看,现在主要几个车厂使用的平台基本上是 Nvidia 和 Mobileye(Intel)的,二者形成了自动驾驶芯片领域的第一集团。
1、英伟达:Drive PX 系列芯片
在自动驾驶时代之前,Nvidia 很早就通过 Tegra 系列处理器进入了众多整车厂的供货商名单,不过早年 Nvidia Tegra 负责的主要还是车载娱乐方面。比如,奥迪新 A8 采用的自动驾驶平台 zFAS 中使用了 Nvidia TegraK1 芯片,负责处理车辆的环视影像;但 zFAS 负责实现自动驾驶功能的芯片是 Mobileye Q3 和 Altera的Cyclone V。
Nvidia 自动驾驶芯片始于 2015 年初推出的 Drive PX 系列。在 2015 年 1 月 CES 上英伟达发布了第一代 Drive PX。Drive PX 搭载 TegraX1 处理器和 10GB 内存,能够同时处理 12 个 200 万像素摄像头每秒 60 帧的拍摄图像,单浮点计算能力为 2 Tops,深度学习计算能力为 2.3 Tops,可支持 L2 高级辅助驾驶计算需求。
2016 年 1 月的 CES 上英伟达又发布了新一代产品 Drive PX2。Drive PX2 基于 16nm FinFET 工艺制造,TDP 达 250W,采用水冷散热设计,支持 12 路摄像头输入、激光定位、雷达和超声波传感器。其中,CPU 部分由两颗 NVIDIA Tegra2 处理器构成,每颗 CPU 包含 8 个 A57 核心和 4 个 Denver 核心;GPU 部分采用两颗基于 NVIDIA Pascal 架构设计的 GPU。单精度计算能力达到 8TFlops,深度学习计算能力达到每秒 24 万亿次,在单精度运算速度上是 Drive PX 的 4 倍,深度学习速度是 Drive PX 的 10 倍,可以满足 L3 自动驾驶的运算要求。
Drive Xavier 是英伟达最新一代自动驾驶处理器,最早在 2016 年欧洲 GTC 大会上提出,2018 年 1 月的 CES 上正式发布。同时发布的还有全球首款针对无人驾驶出租车打造的车载计算机 DrivePX Pegasus。在配置方面,Xavier 基于一个特别定制的 8 核CPU、一个全新的 512 核 Volta GPU、一个全新深度学习加速器、全新计算机视觉加速器、以及全新 8K HDR 视频处理器而打造。每秒可运行 30 万亿次计算,功耗仅为 30w,能效比上一代架构高出 15 倍,可以满足 L3/L4 自动驾驶的计算需求。该产品预计 2018 年一季度向提供样品。
Drive PX Pegasus 是针对 L5 级全自动驾驶出租车的 AI 处理器,搭载了两个 Xavier SoC 处理器。SoC 上集成的 CPU 也从 8 核变成了 16 核,同时增加了 2 块独立 GPU。计算速度达到 320 Tops,相当于 PX Xavier 的 10 倍,算力能够支持 L5 完全自动驾驶系统,但其功耗也达到了 500W。预计首批样品将于 2018 年年中交付客户。
2、英特尔:Mobileye + Altera + Movidius
与英伟达基于自主 GPU 研发自动驾驶芯片的思路不同,英特尔在自动驾驶领域主要是通过并购来完成布局。
2015 年 6 月 167.5 亿美元收购 FPGA 巨头 Altera;
2016 年 9 月收购计算机视觉处理芯片公司 Movidius;
2017 年 3 月 153 亿美元收购以色列自动驾驶汽车技术公司 Mobileye。
通过上述收购,英特尔在自动驾驶处理器上的布局已较完善,包括 Mobileye 的 EyeQ 系列芯片(ASIC)、Altera 的 FPGA 芯片、Movidius 的视觉处理单元 VPU,以及英特尔的 CPU 处理器,可以形成自动驾驶的整体硬件解决方案。
奥迪新 A8 自动驾驶计算单元 zFAS 中所使用的芯片包括了 Mobileye 的 EyeQ3 和 Altera 的 FPGA 芯片 CycloneV,内嵌了 Movidius 的视觉算法。在该方案中,EyeQ3 主要负责视觉数据处理,CycloneV 则负责毫米波雷达与激光雷达数据处理。而英特尔即将于今年推出的「IntelGo 自动驾驶平台解决方案」则包含了两个 Mobileye EyeQ5 芯片(一个用来进行视觉处理,另外一个用于融合/规划)以及一个英特尔的 8 核凌动芯片。
Mobileye 的 EyeQ 系列芯片最初是和意法半导体公司共同开发,第一代芯片 EyeQ1 从 2004 年开始研发,2008 年上市;EyeQ2 则于 2010 年上市。最初的两代产品仅提供 L1 辅助驾驶功能,EyeQ1 的算力约 0.0044 Tops,EyeQ2 则约 0.026 Tops,功耗均为 2.5 W。
2014 年量产的 EyeQ3 基于其自主 ASIC 架构自行开发,使用了 4 颗 MIPS 核心处理器、4 颗 VMP 芯片,每秒浮点运算为 0.256 万亿次,功耗为 2.5 W,可以支持 L2 高级辅助驾驶计算需求。
第四代 EyeQ4 芯片在 2015 年发布,2018 年量产上市,采用 28nm 工艺。EyeQ4 使用了 5 颗核心处理器(4 颗 MIPSi-class 核心和 1 颗 MIPSm-class 核心)、6 颗 VMP 芯片、2 颗 MPC 核心和 2 颗 PMA 核心,可以同时处理 8 部摄像头产生的图像数据,每秒浮点运算可达 2.5 万亿次,功耗为 3W,最高可实现 L3 级半自动驾驶功能。
Mobileye 的下一代 EyeQ5 计划于 2018 年出工程样品,2020 年实现量产,将采用 7nmFinFET 工艺。该产品对标 Nvidia 的 DriveXavier 芯片,定位于 L4/L5 全面自动驾驶计算需求。单颗芯片的浮点运算能力为 12Tops,TDP 是 5W。EyeQ5 系统采用了双路 CPU,使用了 8 颗核心处理器、18 核视觉处理器,浮点运算能力为 24 Tops,TDP 是 10W。
二、汽车电子厂商
我们在开篇中提到了全球十大汽车电子厂商,这些公司或多或少均有涉足自动驾驶业务,比如处理芯片、毫米波雷达、激光雷达、整体解决方案等。当然,汽车电子厂商中涉足自动驾驶业务的不仅于此,我们仅介绍部分重点厂商的产品情况,如有错漏欢迎指正交流。
1. 高通&恩智浦 NXP
我们把高通与恩智浦放在一起介绍是因为欧盟刚刚批准了高通 470 亿美元收购恩智浦的交易。与英特尔类似,高通切入自动驾驶关键领域的方式也是并购,其自有产品在汽车电子领域仍有待突破。
作为移动通信领域的绝对龙头,高通一直希望通过自己的移动处理器芯片(改成车规级)切入汽车电子领域。在 2016 年初 CES 上,高通就发布了整合 LTE 数据机和机器智能的 Snapdragon 820 车用系列产品。这个系列产品包含了高通的 Zeroth 机器智能平台,旨在协助汽车制造商使用神经网络为 ADAS 和车载资讯娱乐系统创建基于深度学习的解决方案。
但目前车厂设计订单还限于资讯娱乐功能;国内 ADAS 厂商纵目科技在 2017 年 CES 上推出了首个基于 820A 平台并运用深度学习的 ADAS 产品原型,12 月正式发布。据悉,目前这款产品已经进入量产前的验证阶段,预计将于 2019 年量产。
作为汽车电子龙头厂商,恩智浦在自动驾驶方向的积累相比高通则深厚很多。2016 年 5 月恩智浦发布了 BlueBox 平台,该平台集成 S32V234 汽车视觉和传感器融合处理器、S2084A 嵌入式计算处理器和 S32R27 雷达微控制器,能够为汽车制造商提供 L4 级自动驾驶计算解决方案。
其中,S32V234 是 NXP 的 S32V 系列产品中 2015 年推出的 ADAS 处理芯片,在 BlueBox 平台上负责视觉数据处理、多传感器融合数据处理以及机器学习。这款芯片拥有 CPU(4 颗 ARM CortexA53 和 1 颗 M4)、3D GPU(GC3000)和视觉加速单元(2 颗 APEX-2vision accelerator),能同时支持 4 路摄像头,GPU 能实时 3D 建模,计算能力为 50GFLOPs。同时,S32V234 芯片预留了支持毫米波雷达、激光雷达、超声波的接口,可实现多传感器数据融合,最高可支持 ISO26262 ASIL-C 标准。
恩智浦还有一款专门的雷达信息处理芯片 MPC577XK。这是一款面向 ADAS 应用的 Qorivva32 位 MCU,基于 Power 架构,能够支持自适应巡航控制、智能大灯控制、车道偏离警告和盲点探测等应用。
2. 瑞萨 Renesas
与恩智浦类似,瑞萨在 2017 年 4 月也发布了一个 ADAS 及自动驾驶平台 Renesas Autonomy,主打开放策略,目的在于吸引更多一级供应商以扩大生态系统。同时发布的还有 R-CarV3M SoC,该芯片配有 2 颗 ARM CortexA53、双CortexR7 锁步内核和 1 个集成 ISP,可满足符合 ASIL-C 级别功能安全的硬件要求,能够在智能摄像头、全景环视系统和雷达等多项 ADAS 应用中进行扩展。据介绍,R-CarV3M SoC 的样品于 2017 年 12 月开始供货,计划于 2019 年 6 月开始量产。
从瑞萨的芯片系列来看,R-Car 系列是其在自动驾驶方向的主要产品线:
第一代产品(R-CarH1/M1A/E1)在 2011-12 年期间推出,可支持初级的巡航功能;
第二代产品(R-CarH2/M2/E2)相比第一代性能基本翻倍,可支持 360° 环视等 ADAS 功能;
第三代产品(R-CarH3/M3)在 2015 年以后陆续推出,符合 ASIL-B 级安全要求;同时期推出的还有 R-CarV3M、R-CarV2H 等 ASSP 处理器,这类产品基本可支持 L2 等级的自动驾驶应用需求。
除了 R-Car 系列产品外,跟恩智浦一样,瑞萨也有针对雷达传感器的专业处理器芯片如 RH850/V1R-M 系列,该产品采用 40nm 内嵌 eFlash 技术,优化的 DSP 能快速的进行 FFT 的处理。
3. 德州仪器 TI
TI 在 ADAS 处理芯片上的产品线主要是 TDAx 系列,目前有 TDA2x、TDA3x、TDA2Eco 等三款芯片。其中,TDA2x 于 2013 年 10 月发布,主要面向中到中高级市场,配置了2 颗 ARM Cortex-A15 内核与 4 颗 Cortex-M4 内核、2 颗 TI 定浮点 C66xDSP 内核、4 颗 EVE 视觉加速器核心,以及双核 3DGPU。TDA2x 主要是前置摄像头信息处理,包括车道报警、防撞检测、自适应巡航以及自动泊车系统等,也可以出来多传感器融合数据。
TDA3x 于 2014 年 10 月发布,主要面向中到中低级市场。其缩减了包括双核 A15 及 SGX544GPU,保留 C66xDSP 及 EVE 视觉加速器核心。从功能上看,TDA3x 主要应用在后置摄像头、2D 或 2.5D 环视等。
TDA2Eco 是 2015 年发布的另一款面向中低级市场的 ADAS 处理器,相比于 TDA2x,TDA2Eco 去掉了 EVE 加速器,保留了一颗 Cortex-A15、4 颗 Cortex-M4、DSP、GPU 等内核。TDA2Eco 支持高清 3D 全景环视,由于 TDA3x 主要应用于 2D 或 2.5D 环视,所以 TDA2Eco 填补了中低级市场对于高清 3D 全景环视应用的需求。
4. ADI
相对于以上几家芯片公司,ADI 在 ADAS 芯片上的策略主打性价比。针对高、中、低档汽车,ADI 针对性的推出一项或几项 ADAS 技术进行实现,降低成本。
在视觉 ADAS 上 ADI 的 Blackfin 系列处理器被广泛的采用,其中低端系统基于 BF592,实现 LDW 功能;中端系统基于 BF53x/ BF54x/ BF561,实现 LDW/ HBLB/ TSR 等功能;高端系统基于 BF60x,采用了流水线视觉处理器(PVP),实现了 LDW/ HBLB/ TSR/ FCW/ PD 等功能。集成的视觉预处理器能够显著减轻处理器的负担,从而降低对处理器的性能要求。
5. 英飞凌
英飞凌在 2015 年针对 ADAS 市场推出过芯片组 Real 33D,可实现司机疲劳检测等功能。而在奥迪新 A8 使用的 zFAS 自动驾驶计算单元中,也使用了英飞凌提供的 Aurix 芯片,A8 最关键的 TrafficJam Pilot,是由这块芯片最终实现的。
下表是主要汽车电子厂商的 ADAS 处理芯片比较。
自动驾驶处理芯片,自动驾驶芯片,自动驾驶处理器
三、新入局:特斯拉 & 中国势力
1. 特斯拉
特斯拉的自动驾驶系统 Autopilot 中先后使用过 Mobileye EyeQ3 和英伟达 Drive PX2,而在 201 7年 12 月初的 NIPS 神经信息处理系统大会上,特斯拉 CEO Elon Musk 公布了特斯拉正在开发定制的自动驾驶 AI 芯片,该项目带头人为原 AMD 首席芯片架构师 Jim Keller。
1998 年,JimKeller 在 AMD 分别参与设计和主导研发了 Athlon 和 Opteron64 处理器(K7 和 K8X86-64 架构);
1999 年,JimKeller 离职加盟博通出任首席芯片架构师;
2004 年,JimKeller 转投 P.ASemi,后者于 2008 年被苹果收购。Jim Keller 出任苹果移动芯片架构师,基于 AMD 的 IP 深度定制了苹果 A4/5 芯片;
2012 年,JimKeller 重回 AMD,领导开发了 Zen 架构处理器;
2015 年 9 月,JimKeller 再次离职, 2016 年 1 月加盟特斯拉,带领 50 人规模团队开发自动驾驶 AI 专用芯片。
目前公开资料可知的进展还包括:该芯片基于 AMD 的 IP 打造;目前已经走到了设计完成、测试验证的阶段;特斯拉已经收到了首批芯片样品,目前正在进行相关测试;代工方可能是格罗方德和三星电子等。
2. 中国公司
我们在之前文章中曾盘点过国内 AI 芯片公司产品情况,从公开资料所了解的情况看,国内 AI 芯片初创公司中像地平线、深鉴科技、寒武纪、西井科技等都有智能驾驶/自动驾驶方向的产品规划。
地平线的自动驾驶 AI 芯片「征程」在去年 12 月 20 日正式发布。在参数上,征程能够以 1.5W 的功耗,实现 1Tflops 的算力,每秒处理 30 帧 4K 视频,对图像中超过 200 个物体进行识别,能够实现 FCW/ LDW/ JACC 等高级别辅助驾驶功能,满足 L2 的计算需求。对比英伟达的 DrivePX2,其采用 16nm FinFET 工艺,单精度计算能力为 8TFlops,深度学习计算能力为 24TFlops,官方 TDP 是 250w;从性能功耗比来看,征程还是有明显优势的。
同时,由于 ASIC 不是 GPU 类的通用计算,内部直接封装了算法,数据交换只是底层 I/O,因此其计算的时延也会比 GPU 更低。不过地平线采用 ASIC 的路线也是牺牲了芯片的可编程性以获得更高的性能,是否能获得足够订单量来降低芯片成本值得关注。
相较而言,目前其他几家公司产品仍缺少详细信息。寒武纪在去年 11 月初的发布会上首次发布了面向智能驾驶领域的 1M 智能处理器IP产品,据介绍其性能可达到寒武纪 1A 处理器的 10 倍以上。据了解,2016 年上市的 1A 处理器在 1Ghz 频率下理论峰值性能为:FP16 半精度浮点计算能力为 512GFlops,稀疏神经网络计算能力为 2TFlops。
深鉴、西井等暂未推出专门的自动驾驶芯片产品,不过在这一方向也有布局。如西井与振华重工联手打造的自主驾驶无人跨运车就使用了西井科技的类脑人工智能方案(是否使用其自主 AI 芯片仍未知)。
除了上述几家 AI 芯片创业公司外,国内公司如四维图新、森国科等也涉及 ADAS 处理芯片研发。其中,四维图新在 2016 年 5 月收购了联发科旗下的汽车半导体公司杰发科技,后者在 2017 年 6 月的 CES Asia 上展出了首款车规级 ADAS 芯片。四维图新在去年 7 月正式发布了该款 ADAS 芯片,并与蔚来、威马、爱驰亿维等新造车公司达成了合作。
公开资料显示,该芯片采用 64 位 Quad A53 架构,内置硬件图像加速引擎,支持双路高清视频输出,和四路高清视频输入,能同时支持高级车载影音娱乐系统全部功能和丰富的 ADAS 功能。功能包括:360° 全景泊车系统、车道偏移警示系统 LDW、前方碰撞警示系统 FCW、行人碰撞警示系统 PCW、交通标志识别系统 TSR、车辆盲区侦测系统 BSD、驾驶员疲劳探测系统 DFM 和后方碰撞预警系统 RCW 等。
森国科(原深圳市国科微半导体)在去年 12 月也发布了自主研发的高性价比 ADAS 芯片 SGKS6802X,据介绍产品已经正式出货。SGKS6802X 配置了双核 ARM Cortex A7 处理器、高速双核 8 线程 GPU 和 2D 加速 GPU;采用 40nm 工艺,芯片典型功耗 1500mW,全系统功耗 1800 mW(包括 DDR);最大支持 4 路编码处理能力,整数运算能力 7200MIPS + 3200MIPS,半精度浮点运算能力 25.6GFLOPS,单精度浮点运算能力 6.4GFLOPS;可支持 LDW、FCW、PCW、TSR、NV、TFAH、ZCD、CTA、BSD、DFM、RCW 等 ADAS 算法,满足 L2 高级辅助驾驶的计算需求。
思考
随着人工智能的发展,在 ADAS 及自动驾驶上 AI 的应用已经成为主要趋势,针对芯片的设计也开始增加硬件的深度学习设计,如何在人工智能算法模型与芯片架构及系统设计上做好匹配以及多传感器融合的芯片设计等将是新的研究课题,目前来看也还在早期探索阶段。
比如,英伟达的方案以 GPU 为主,采用 CPU + GPU 异构设计,芯片算力强大,且具备很强的灵活性;但缺点是功耗高,应用在汽车(尤其是电动汽车)上的时候面临散热、续航等问题;英特尔的方案是 ASIC + FPGA,核心是 Mobileye 的 EyeQ 系列产品;地平线的「征程」也采用 ASIC 路线,将算法直接封装在芯片上,实现了低功耗高性能的指标,但也牺牲了芯片的灵活性。另外也有很多厂商使用单 FPGA 的,比如 Xilinx 的 Zynq 7000 All Programmable SoC 就是汽车 ADAS 上最被广泛应用的产品,采用单一芯片即可完成 ADAS 解决方案的开发,并具备了不同产品系列间的可扩展性。
除了性能、功耗等因素外,自动驾驶处理芯片普及的另一个关键因素是价格。英伟达 DrivePX2 的价格超过 1 万美金,Mobileye 的芯片价格也超过 1 千美金。因此,如何在性能、功耗、价格等指标上进行平衡也是对芯片设计者提出了新的挑战。
另外,对于众多从行业外切入汽车电子领域的 AI 芯片公司来说,实现车规级标准也是这些公司需要克服的挑战。从一些公开资料来看,不管是 ADAS 处理芯片还是自动驾驶芯片,至少都需达到 ISO26262ASIL-B 级别,部分芯片甚至需要到 ASIL-D 级别。