地平线罗恒博士:如何打造一颗好的自动驾驶AI芯片

地平线罗恒博士:如何打造一颗好的自动驾驶AI芯片

首页体育竞技地平线驾驶模拟器更新时间:2024-06-16
1月20日,地平线在智东西公开课开设的「地平线AI芯片技术专场」顺利完结。在本次专场中,地平线BPU算法负责人罗恒博士就《如何打造一颗好的自动驾驶AI芯片》这一主题进行了直播讲解。

罗恒博士围绕AI计算需求增长带来领域专有架构芯片、自动驾驶软件算法方案、从自动驾驶软件算法方案看对AI芯片的要求、一些设计自动驾驶AI芯片的实践四部分进行了深入解读。

本次专场分为主讲和Q&A两个环节,以下是主讲环节的全程实录:

大家好,很高兴和大家一起探讨地平线在自动驾驶芯片设计方面的一些想法。我是罗恒,2011年博士毕业于上海交通大学,博士期间一直在做深度学习方面的研究,后随图灵奖得主Yoshua Bengio进行博士后研究;2016年加入地平线,做 BPU算法、工具链相关的产品研发工作,先后推动了中国首款边缘AI芯片、首款车规级芯片的诞生。车规级芯片在2020年获得了“第十届吴文俊人工智能专项奖”芯片项目一等奖。

首先,想和大家讲下Jeff Dean在2017年的一张图。这张图解释了AI为什么是可能的。AI有两种算法:一种是传统算法,如上图的紫线部分,随着数据量、模型复杂度的增加,准确度和精度很快达到了饱和,同时传统算法主要依赖于人工设计;另一种算法是机器学习或基于神经网络的算法,这类算法当数据量少、模型小时,可能不如人工设计的算法精度高,但随着数据和计算的增加,它的精度会持续上涨。目前,大多数的AI任务并没有达到饱和,只要数据量越多、模型越大,性能就可能持续提升。

上图纵轴的精度表示一个模型的精度,如果模型能代表一个软件的功能,则可以持续提升软件的功能。例如抖音,它的数据非常容易获取,只需浏览它时就会捕获到数据,而当你不去刷它,则会一直播放当前的内容。这是它在强迫你给一个反馈,然后利用这些反馈在云端进行大量计算来估计你的喜好,而估计你的喜好就是模型的结果,即软件功能本身。当越来越多用户使用抖音时,云端获取计算变得非常容易,就可以持续提升模型的精度,也在持续提升软件功能。

在抖音或其他互联网应用中,由于问题是被充分定义的,所以它们实际上是一个相对简单的任务。但自动驾驶不同,虽然自动驾驶也会用到各种各样的模型,但这些模型无法直接对应到最终的功能。即使能持续提高模型的精度,但能否持续提高自动驾驶的功能仍是一个问题。例如特斯拉,它以端到端的方式不断发展,就是希望能用一个模型,代表软件的功能,然后利用数据与计算持续优化自动驾驶的功能。

自动驾驶是AI计算中的一种,这些年AI计算的需求增长非常快,带来了大量的领域专有架构芯片,它们与以往CPU有明显的区别。但这些AI计算芯片也面临着巨大的挑战,表现在自动驾驶的软件算法方案并没有收敛,即使是在同一家公司,软件算法方案也在持续的迭代、变化。从这些软件算法中也可以看出对AI芯片的需求,而算法本身也在高速演进,然后结合以上这些来看下我们是如何思考、设计自动驾驶AI芯片的。因此,本次讲解内容主要分为以下4个部分:

1. AI计算需求增长带来领域专有架构芯片

2. 自动驾驶软件算法方案

3. 从自动驾驶软件算法方案看对AI芯片的要求

4. 一些设计自动驾驶AI芯片的实践

1

AI计算需求增长带来领域专有架构芯片

上图中的右部分横轴表示时代,2012年AlexNet第一次赢得了ImageNet比赛,并开启了一轮AI热潮的序幕。纵轴表示训练这些模型所需的时间,可以看到呈现出数量级的增长,7年之间对算力的需求增加了6个数量级。但同期的左边图,表示通用计算,即CPU,它的增长速度则在迅速放缓,在摩尔定律发挥作用时,最快每一年半计算性能提升一倍。但现在,已经从每6年翻一倍,增加到每20年翻一倍,所以CPU注定无法提供 AI算力。

当计算需求远远超出摩尔定律和以往人类提升算力、增加计算的速度时,该如何呢?我们发现机器学习和神经网络绝大多数是线性代数的加速运算,而它们相较于一个通用的编程语言,加速的可能性和并行性空间非常大。举一个矩阵乘的例子,如果用 Python运行矩阵乘的速度为1,当利用一个更具机器学习特性的C语言去编写,速度提升了47倍;如果再把一些循环并行起来,能提升到300多倍;如果对存储做一些优化,提升到6000多倍,最后在硬件上对向量的计算增加一些加速指令,则可以提升到6万多倍。从1到6万多倍的提升,就来自于对特定问题的深刻理解。

有了巨大的需求,也有了相应的解决方案,整个行业都开始高歌猛进,朝着 AI专用加速器的方向发展。代表性的产品是2015年谷歌在自有数据中心使用的高度定制化AI推理芯片TPU。2019年,计算需求已经从最早的云端到了自动驾驶领域,特别是特斯拉已经开始使用自有高度定制化的AI推理芯片FSD。同时,2019年全世界已经约有100家组织推出或正在研发AI推理芯片,这个数字到现在可能变得更大。

由于如何设计与如何评估这些芯片是紧密联系在一起的,所以正确的设计/评估这些芯片可以从以下三方面考虑:

把上面三点放在一起充分考虑,能够对设计和评估这些芯片有越来越深刻的认识,就可以在设计中做出取舍。

地平线于2015年6月成立,是中国第一家AI芯片创业公司。地平线的定位是在边缘做 AI芯片,企业定位不同的背后是需求不同。像英伟达、华为、谷歌,它们的整体架构设计,主要面向数据中心,而数据中心往往处理海量数据,需要高吞吐率和限定时间的响应;并且在云端,AI任务种类繁多,基本上各类任务在云端都可以找到;但在云端,任务本身是限定在虚拟世界,是一个封闭的、定义单纯的任务,所以模型加速就是最核心的负载。

相较于数据中心,自动驾驶的需求会非常不同,这些不同的需求也导致了设计上取舍的不同。比如对自动驾驶而言,无论采用什么样的技术路线,有一个事实是无法回避的:处理的数据是流数据,即数据源源不断的通过各种传感器到达车上,这时必须对数据进行马上处理,而且延迟越低越好。延迟越低就越能根据周围的情况作出反应,及时刹车并控制车量,来保证安全。

从设计上来看,我们的芯片和特斯拉FSD,都是面向Batchsize=1去优化的。而 GPU以及其他一些以云为核心业务的公司,设计的AI芯片往往需要比较大的数据量,数据积累比较多,才能把芯片利用率发挥的更好。

2

自动驾驶软件算法方案

对自动驾驶而言,尽管现在有各种各样的传感器,但从计算的角度来看,核心是计算视觉,主要有两个原因:第一个原因是整个物理世界是一个语义的世界,自动驾驶汽车需要识别出前面的交通标志牌、车道线,以及障碍物是普通障碍物,还是随时会动的障碍物,这都是语义的问题,不可能通过视觉以外的其他方案得到解决;第二个原因是视觉能够带来最大量的数据,其他传感器每秒获得数据量比摄像头获得的数据相差了许多数量级。同时,由于软件算法在持续重构中,往往需要不同的方案设计,因此需要不同的加速方式,所以要充分考虑AI加速与CPU、GPU、 DSP的协调。在车上,成本、散热和云端也有完全不同的限制,由于车和人的生命安全相关,所以对它的可靠性要求也高。

下面从需求侧来看自动驾驶软件算法的挑战。首先是技术路线,在纯视觉方案中,主要以特斯拉为主。他们认为视觉能够提供了最大的冗余,而激光雷达或其他传感器提供的数据量很少,所以容易出现问题,但视觉数据量非常大,模型的健壮性非常好。在多类传感器融合的方案中,像国内的华为、小鹏等。除此之外,像 Mobileye,它希望能有两套感知系统来做冗余,当两套感知系统之间的相关性非常低时,就能极大提高整个系统的安全性。

从行业上来看,即使是一家公司,软件算法方案也在持续变化,典型的例子是特斯拉。刚开始特斯拉使用Mobileye的方案来解决自动驾驶问题,之后开始自研算法转向使用 NVIDIA GPU,进一步发现 NVIDIA GPU无论在功耗、算力、成本上都无法满足需求,之后自研了FSD芯片,并于2019年投入使用。

无论是放弃Mobileye,还是转向 NVIDIA,或是自研FSD芯片,每一次硬件的大幅改变,也会带来软件算法的大幅改变。去年特斯拉放弃了Radar,等于完全使用神经网络模型估计物体距离、加速度,这又是一次对软件算法的改变。再到去年的AI Day,多个摄像头的视频直接输入到模型里,然后通过模型最终输出时,已经是时空一致的结果。最近马斯克接受采访时表示,特斯拉已经完成了从视觉到向量空间的完整映射。

通过上面可以看出,当设计一个自动驾驶AI芯片时,首先要对未来算法软件发展方向做积极估计,同时也要尊重客户对不同方案的尝试,所以需要在这些趋势中找大方向,找主要矛盾。

3

从自动驾驶软件算法方案看对AI芯片的要求

回到算法本身,算法也在迅速变化,而且算法的很多变化可能会对芯片设计带来一些致命的影响。像WaveNet,它的技术核心是把文本转换成人一样的语音技术,2016年由谷歌发明。刚出现时,这个算法对计算量的需求非常大,无法实时完成计算,也无法实时与人进行交互。当WaveNet算法做出了一些优化,计算效率提升了1000倍,这时GPU可以20倍实时运行,谷歌马上就把它产品化,并放在谷歌助手中。但这个算法只能在云端用,无法在端侧的AIoT场景使用。

这时谷歌公司想根据当时的WaveNet算法开发一个加速芯片,但2018年算法又一次演进,有数百倍的性能提升,这使得手机CPU能够运行WaveNet。而一个芯片的研发周期很长,芯片的研发一直到2019年才完成,后续也没有听到这个芯片的量产情况。这是一个极端的例子,所以想提醒的是算法在持续变化,我们需要对未来做判断。

我们最关心的是视觉,视觉中最重要的是卷积神经网络。卷积神经网络从上世纪90年代诞生到现在,总体发展不像WaveNet那么快。人们看到的是一张图,而机器看到的是一个矩阵,矩阵里面的像素点表示像素强度、多个Channel 、RGB等。卷积的运算是把输入图像转化为一张可以被机器理解的图,在整个卷积神经网络运算的过程中,分辨率在不断下降,Channel数在不断增多,本质上是不断的看图像更大范围,然后把更大范围用一个点来表示,即把图像高度抽象化,并从不同层面解释这张图。

目前,卷积神经网络对于AI、自动驾驶是一个最重要的模型。特斯拉公开表示,它的模型中卷积的计算量占比达到了98%。卷积的计算过程是利用卷积核中的一组参数,这组参数会扫过图像中的每一个像素点,然后把输入值和参数值点对点相乘,之后累加相乘得到最后的结果。尽管它是一个很简单的计算,但由于卷积本身有各种变形,网络结构在深度、宽度等各方面也做变形,卷积层之间也有不同的连接方式,以及使用各种各样的激活函数,因此可以产生了各种各样的卷积神经网络。

如上图右边所示,每个圈代表一个卷积神经网络,横轴表示卷积神经网络需要多少计算量,纵轴表示精度,圈表示模型参数量。因此可以看到这些模型的表现完全不同,比如最右面的两个大圈,它们的精度可能刚过70%,但它们所需的计算量和其他网络有很大差别,也就是当硬件对所有网络加速完全一致时,得到同样的精度,使用右边模型需要10倍的时间。

而这一时期整个学术界纷纷转向ImageNet,算法精度也随之不断提高。除了右边两个绿圈比较特殊之外,通常随着计算量的增加,精度也在不断上升。而到实际工作中也会面临这样的问题:需要在速度和精度之间找一个折中,这个时期怎么用一个更大的网络得到更好的精度,可以考虑一些专家设计的网络扩展方法。

对于神经网络来说,给它更多的数据和计算,准确性就会迅速提升。从2012年AlexNet第一次参加ImageNet开始,到2017年比赛最后一界,卷积神经网络的精度已经非常高。这时开始寻找在同样的精度下,如何去减少计算,提升模型的效率,出现了一系列有代表性的模型:SqueezeNet、MobileNet、ShuffleNet。这时也出现了卷积神经网络产生以来最重要的一次变化:Depthwise Convolution。另外一个变化是需要在模型的计算量和精度上找折中的方式,这时可以开始在小范围内开始寻找,并使用一些自动化的搜索。

2019年,随着EfficientNet的出现,我们认为卷积神经网络结构的演进暂时进入一个平缓发展的阶段。为什么?因为在卷积发展的二十几年中,出现了Depthwise Convolution,而传统算法都是人工设计的模型结构,再到机器设计的模型结构,这也是一个大的变化。这两个大的变化被很好的结合在EfficientNet中,由此我们认为卷积出现新变化的可能性比较少。这个观点在2019年EfficientNet发表时,我们就已经是看到了,到目前为止,这个观点依旧可靠。

接下来是 Transformer,Transformer实际上是一个非常特别的神经网络,卷积神经网络通过一层一层的卷积,并经过很深的层数后,在feature map上的一个点,可以看见原图一个更大的区域。以识别建筑物为例,如果想识别出建筑物,不仅仅需要看到有窗户,可能还需要看到房顶、天空、地面之间的关系,它们之间是一个长距离的相关性。当天空、草地、窗户等同时符合一定的空间规律时,才能定义这是一个建筑物或庄园。

Transformer来自于自然语言处理,机制是从输入一开始就计算任意两点之间的相关性,即每一层计算都可以直接计算很长距离之间的两两相性,这个能力是CNN不具备的,而它对于理解图像很关键。因此, Transformer在实际应用中也表现了巨大的潜力,但仍存在一个问题:Transformer在视觉任务中很难定义基本单元是什么。基本单元可以很大,也可以很小,像高分辨率语义分割中,基本单元可以是像素级别,而在做一些物体识别时,基本单元可以是车、行人等大的物体。

Transformer在计算任意两点之间的相关性时,会产生非常大的计算量。如果不计算点和点之间的相关性,而是限制计算patch和patch之间的相关性,如果patch设置太大,一些精细的相关性会被忽略,如果patch设置太小,计算量又太大。Transformer等类似工作采取的方式是限制计算相关性的范围,即限制 Self-Attention的范围,无需与全图计算相关性,只需与一些局部进行计算。好处是计算效率得到了保障,坏处则是 Transformer相对于CNN最大的特别性受到了限制,而这个限制一定程度上受限于GPU,因为在很远距离两两计算的计算架构上,GPU不太友好。

总之, Transformer相对于卷积神经网络有全新的特性,但这个全新的特性并没有很好的发挥出来,所以短期之内还是以卷积神经网络为主,Transformer则提供一些特殊的作用。比如特斯拉,它需要把多路摄像头的视频最终融合到一起,得到一个完整的向量空间表示,而对于不同摄像头数据输入到模型之后的特征融合,使用 Transformer是一种非常好的方法。

那过去设计的芯片是否无法使用呢?Transformer本质上大部分计算依然是矩阵乘,所以现有的AI芯片都可以对它进行加速。而真正挑战则是各种 local attention的方式,这对于灵活的数据存取有挑战。

上面介绍了许多外部的需求,当真正有了芯片之后,该如何评估芯片的性能?如何设计它?这通常是一个峰值算力的问题。但仅凭峰值算力还无法真正体现芯片性能。像上图,两个AI加速器的峰值算力相差几倍,但在不同模型中实际运行时,结果有时差不多,有时差距很大。所以,一个大算力芯片不一定跑得很快,而一个小算力芯片不一定跑得很慢。它们受加速器架构、 DDR带宽、编译器优化策略、模型架构、输入大小与对齐情况等各方面的影响。

当计算这么多的模型时,如果知道哪个模型最重要,这个问题会变得比较简单。对自动驾驶而言,什么样的视觉任务最重要呢?自动驾驶的核心是识别周围有哪些物体、它们是什么、它们的属性是什么、与车辆的距离如何,也需要识别一些小物体,即识别远处的物体,所以核心负载是一个高分辨率的物体检测问题。同时,数据是流数据,即数据需要马上要处理,所以它也是一个Batchsize=1的高分辨率物体检测。

选用在COCO数据集上运行各种各样的算法,无论是在我们的芯片上,还是在GPU上,EffcientNet在同样精度下都能达到最快的速度。尽管 GPU对EffcientNet的支持并不友好,但是EffcientNet使用的计算量仍比ResNet少七、八倍。

上图是评估的结果,横轴表示帧率,纵轴表示精度。橙色的线表示在Xavier上运行的结果,可以看到在相对精度比较高时,Xavier能够提供的帧率非常低,但在实际应用中,精度还需要更高,另外需要处理多路的摄像头,而多路摄像头的分辨率往往比COCO还高,这也是为什么Xavier无法很好的支持自动驾驶方案,也是为什么特斯拉要自研芯片。

黄色线是我们估计出来的Orin结果,这里的估计方法一方面结合NVIDIA对Orin算力的公开信息,以及对Orin相对Xavier能力提升的描述;另外一方面根据NVIDIA RTX3090,因为NVIDIA RTX3090与Orin都使用安培架构,我们会从中对利用率做一些调整。从总体评估结果来看,我们的AI芯片相对于Orin提升是非常明显的。如果把不同精度下的帧率平均,大约是Orin的两倍;功耗上看,我们的芯片只有20瓦,Orin的功耗是65瓦;从能效上来看,我们有6倍多的提升。

4

一些设计自动驾驶AI芯片的实践

那怎么设计AI芯片呢?地平线是一家算法基因的公司,与别家企业做AI芯片的最大不同是我们认为算法是动态的、不断变化的,我们随时都在预估未来的趋势,同时我们又是一家芯片公司,并不仅仅看算法本身,更看重算法对计算架构的影响,这也使得在Depthwise Convolution刚推出时,能够迅速的关注到它。仅从算法的表现来看,Depthwise是最核心的计算单元发生改变。如果结合到芯片,可以发现它对计算的需求很不同。

2019年,学术界对AlexNet、GoogleNet和MobileNet三类的模型做了分析,如上图所示,横轴的不同点表示三个模型,纵轴是数据复用的情况。数据复用率越高时,对模型加速带宽要求是不同的。从上图可以看到MobileNet和其他两个模型是非常不同的,有两个数量级的差别,这些不同是会显著影响计算架构。

因为有算法背景,并关注算法发展趋势,所以我们是结合计算来看算法,因此能够在第一时间识别出哪些方面对计算架构有重大的影响,而且它有可能变为未来非常高效率的算法。同时,地平线也是一家软硬结合的公司,不会仅仅满足在软件算法层面上的探讨,也会把它做进硬件,使得芯片效率最大化。

软件算法层面上,在2017年7月,我们发现当模型非常小时,精度的损失很大,因此我们设计了一套量化训练算法,利用量化训练解决Depthwise模型的精度问题,并申请了专利。而学术界到2019年,谷歌才推出相应的量化算法。现在我们的算法、硬件架构又在朝前演进,对于这类模型只需利用浮点模型转换。我们在工具链方面已经支持了100多家的客户,精度问题上也表现得很好。

同时,还有一些其他的考虑,比如Kernel Size,由于在传统卷积中扩大Kernel Size代价很高,但在Depthwise卷积中的计算量非常小,所以这种情况下,扩大Kernel Size代价非常低。根据在软件算法层面上的验证,我们做了FPGA上车实测,并把软件算法方案放进去,最终在2019年获得了CES创新奖。

下面回到自动驾驶场景本身。尽管技术路线、软件算法方案的演进各不相同,但也存在一些共性,像全数据链路考虑、精度和性能的折中、多模型的灵活调度等。除此之外,像自动驾驶要求检测精度很高,在评估软硬件算法方案时,IoU=0.9;当需要把远处的物体检测出来实现小物体检测时,要有高分辨率的输入;还有一些稳定性、高优先级任务抢占的要求等。同时,像一些语义分割任务,涉及许多高分辨率的输出,对带宽压力很大,需要对带宽要做压缩。此外,当自动驾驶为了适应光线强度的大幅变化时,需要融合激光雷达数据。有时还想使用ISP,但是不想要ISP的长延时,需要当ISP处理一部分时,BPU、AI加速提前启动,双方从overlap中往前走,这些都是我们的设计。

根据上面的内容可知,我们需要在一个更大的空间去设计AI芯片,具体做怎样做呢?我们经历了两个阶段,第一个阶段如上图左边所示,一半是硬件,一半是软件,我们希望把硬件和软件联合起来考虑。那怎么把它们结合起来呢?以前公司有几个团队,在右边工作的是软件团队、算法团队、编译器团队,软件团队主要看整体软件方案该怎样调度,各方面的性能瓶颈如何;算法团队主要看整个算法的发展趋势如何,有哪些可能性需要考虑;编译器团队在软件算法方案确定之后,进一步的分析数据复用的情况,对数据计算并行等做分析。

有了这些分析后,可以把更细节的要求给到硬件团队,然后硬件团队结合这些细节要求做指令级的设计、做加速器的设计、做存储的设计。同时,硬件团队在设计过程中又会提出一些新的限制,随后软件团队再去思考双方如何配合,哪些是硬件团队做,哪些是软件团队做,如何既保持很高的效率,又保持未来的灵活性。

经过五六年的合作演化,从原来人和人之间的合作,慢慢变成现在的一些流程和工具,目前主要是上图右边的方式,软件算法团队主要工作在Benchmark,他们定义了哪些Benchmark是需要测试的。目前,主要集中在模型层面,而更加完整的方案还在持续的向前推进。

Model Performance Analysis Tool层可以理解为一个简单的模拟器,也就是编译器团队以往人工的工作,现在变成了一个工具。编译器团队不再直接在一个个模型上工作,只要把工具做好,所有模型结果都可以得到。而它会得到两个内容,一个是硬件给它的各种限制,像硬件的各种配置、各种特性。有了这些之后,可以生成一个指令序列,这个指令序列在BPU Architecture Modeling的建模工具里,它一方面可以直接用一些高阶综合的方式得到功耗面积,另一方面利用这些指令流可以估计出性能。同时,Model Performance Analysis Tool模拟器也可以估计出性能和精度。

当有了这样一个工具,好处在于可以把Benchmark做得很大,而工程师们不再面向一个模型工作,而是面向一个工具工作。架构设计团队也可以有更多的选择,这些选择都是在少量编码的情况下,在更大的空间上完成各种软硬件的结合方案。

以上是我们设计AI芯片不同地方,一方面从需求、软件算法方案、算法演进出发,另一方面把软件、硬件充分结合,来联合优化目标。

查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved