用视觉方案做ADAS，单目和双目到底有什么差？

目前视觉方案做ADAS既有双目也有单目，二者在距离检测上用了不同的技术线路，产品化时也存在各自优缺点，对此作者谈了谈自己的看法。本文作者姜安，为中科慧眼CTO。

ADAS功能的第1步是感知，也就是视察车辆周边负责的路况环境。在这个基础上才能做出相应的路径计划和驾驶行动决策。目前感知所采取的传感器包括各种情势的雷达、单目摄像头、双目摄像头等，或是由这些传感器进行不同组合构成的感知系统，而这些传感器件各有益弊，传感器融会是大势所趋。

在这其中，摄像头不可或缺，可以通过收集前方道路图象，实现车道线障碍物和行人检测ADAS功能。关于ADAS摄像头选用有哪些讲求？单双目方案存在哪些差异？在此谈1谈我的看法。

ADAS摄像头成像哪些要求？

根据ADAS检测需要，摄像头在选择时需要具有下面2个特点：

1是要看得足够远。看的越远就可以有更加充裕的时间做出判断和反应，从而避免或下降事故产生酿成的损失。这类摄像头关注的参数是焦距，焦距越长看的会越远。但是焦距越长，带来的问题是视角越窄，所以需要折衷斟酌。

2是要求高动态。选用具有高动态范围的黑白相机，可以有效抑制光晕现象，并增强暗处的细节，从而提高成像质量。另外，彩色图象在镜头表面进行了镀膜，虽然提升了人眼的感知体验，但实际上下降了信噪比或说信息量。这对后续的图象处理不利。

根据这些要求，很容易发现目前行业里的1种炒作现象。很多车上使用的智能硬件多是行车记录仪、云镜等产品，会在原来成像系统的基础上添加ADAS功能，其实只是厂家赚取噱头的方式。

由于行车记录仪的目的是记录车辆周边的状态，看的越清晰越好、越全面越好，即“人友好”。这就需要成像系统具有超高的分辨率、超好的色采还原性、超大的广角镜头，视角增大意味着焦距的缩小。这与ADAS对成像系统的要求截然相反，ADAS要求的图象质量是“机器友好”，因此在行车记录仪的成像系统基础上开发ADAS功能是不切实际的。目前很多号称有ADAS功能的行车记录仪，1般都只有车道线检测这1个功能。有的虽然有别的如碰撞预警的功能，但是用户体验极差。

单/双目的测距原理区分

目前摄像头ADAS有单目和双目两种方案，二者的共同特点，就是通过摄像头收集图象数据，然后从图象数据上得到距离信息。ADAS1个很重要的作用是碰撞预警。碰撞预警需要关注距离的变化，需要估计行将碰撞的时间。有了距离丈量，才会有距离变化，有距离变化才会有碰撞时间的估计，最后才会有预警。

单目摄像头的大致测距原理，是先通过图象匹配进行目标辨认（各种车型、行人、物体等），再通过目标在图象中的大小去估算目标距离。这就要求在估算距离之前首先对目标进行准确辨认，是汽车还是行人，是货车、SUV还是小轿车。准确辨认是准确估算距离的第1步。

要做到这1点，就需要建立其实不断保护1个庞大的样本特点数据库，保证这个数据库包括待辨认目标的全部特点数据。比如在1些特殊地区，为了专门检测大型动物，必须先行建立大型动物的数据库；而对另外某些区域存在1些非常规车型，也要先将这些车型的特点数据加入到数据库中。

如果缺少待辨认目标的特点数据，就会致使系统没法对这些车型、物体、障碍物进行辨认，从而也就没法准确估算这些目标的距离。致使ADAS系统的漏报。

而双目检测的方式就是通过对两幅图象视差的计算，直接对前方景物（图象所拍摄到的范围）进行距离丈量，而无需判断前方出现的是甚么类型的障碍物。所以对任何类型的障碍物，都能根据距离信息的变化，进行必要的预警或制动。

双目摄像头的原理与人眼类似。人眼能够感知物体的远近，是由于两只眼睛对同1个物体显现的图象存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近，这也是3D电影能够令人有立体层次感知的缘由。

图中的人和椰子树，人在前，椰子树在后，最下方是双目相机中的成像。可以看出右边相机成像中人在树的左边，左边相机成像中人在树的右边，这是由于双目的角度不1样。再通过对照两幅图象就能够知道人眼视察树的时候视差小。而视察人时视差大，由于树的距离远，人的距离近。这就是双目3角测距的原理。双目系统对目标物体距离感知是1种绝对的丈量，而非估算。

单/双目方案的优势与难点

单目的优势在于本钱较低，对计算资源的要求不高，系统结构相对简单。其缺点在于必须不断更新和保护1个庞大的样本数据库，才能保证系统到达较高的辨认率；没法对非标准障碍物进行判断；距离并不是真正意义上的丈量，准确度较低。

双目系统本钱比单目系统要高，但尚处于可接受范围内，并且与激光雷达等方案相比本钱较低；2是没有辨认率的限制，由于从原理上无需先进行辨认再进行测算，而是对所有障碍物直接进行丈量；3是精度比单目高，直接利用视差计算距离；4是无需保护样本数据库，由于对双目没有样本的概念。

双目系统的1个难点在于计算量非常大，对计算单元的性能要求非常高，这使得双目系统的产品化、小型化的难度较大。所以在芯片或FPGA上解决双目的计算问题难度比较大。国际上使用双目的研究机构或厂商，绝大多数是使用服务器来进行图象处理与计算的；也有部份将算法进行简化后，使用FPGA进行处理。目前，中科慧眼在芯片上的计算效力已到达15fps，在FPGA+ARM架构上的计算效力到达了40fps。

另外一个难点在于双目的配准效果。通过双目摄像头的图象配准可以计算生成表示距离的2维图象。下图是中科慧眼双目方案对实际场景信息收集与计算得到的距离的对应关系，不同饱和度色彩代表不同距离，从暖色调至冷色调为距离由近及远。在计算进程中，需要对噪点与空洞做很好的抑制。从右图可以看出，色调（距离）是平滑过渡，没有跳变。

△中科慧眼距离计算取得的2维图象

1些FPGA方案中有很多噪点与空洞，对后续计算不利，存在安全风险。对小障碍物的辨认，既要做到没有杂点和空洞，又要表现细节。否则比如1条横着的栏杆没法辨认，会增加驾驶的风险。下面的图表现的是小物体和行人的探测上中科慧眼双目方案与国际上其他算法的对照。

△Our为中科慧眼算法小障碍物的双目配准效果，其它为国际流行传统方法的处理效果

小结

由于检测原理上的差异，双目摄像头在距离测算上相比单目有自己的特点，其硬件本钱和计算量级的加倍，是难关也是突破口。就像谷歌自动驾驶汽车不断积累大量的经验和使用数据，才可能1步步积累实现自动驾驶。中科慧眼的双目产品目前完成了样机，也正在进行大范围路测。从产品理论技术原型走到真正被用户接受的产品，还有很长的路要走。