鉴于特斯拉频频发生的自动驾驶事故来看，我们是时候对DMS驱动程序监控系统做一个详细的解析了，那么什么是DMS？

作为ADAS系统的主要功能之一，DMS（Driver Monitor Status ）防疲劳预警系统是利用DMS摄像头获取的图像，通过视觉跟踪、目标检测、动作识别等技术对驾驶员的驾驶行为及生理状态进行检测，当驾驶员发生疲劳、分心、打电话、抽烟、未系安全带等危险情况时在系统设定时间内报警以避免事故发生。DSM系统能有效规范驾驶员的驾驶行为、大大降低交通事故发生的几率。

DMS系统主要包含：抽烟监测、接打电话监测、分心驾驶监测、未系安全带监测、喝水监测、打哈欠监测、闭眼监测、异常状态监测等基础功能。

自6月初特斯拉在台湾高速公路上的悲惨事件发生以来，这件事情似乎一直出现在所有汽车刊物上。看完视频，本人有三个想法:

为什么自动紧急制动没有启动?

司机在做什么?

为什么还有人相信私人乘用车在几年内就会实现“自动驾驶”呢?

在我从事汽车电子行业20年的经验中，尽管欧洲NCAP(新车评估计划)和最新的欧洲通用安全法规(GSR)都明确规定了主动驾驶员监控的必要性，并将在在短短几年内就会启动，但依然有大部分人完全不考虑驾驶员监控系统(DMS)，在与那些所谓的聪明人交谈时，他们总是以为“DMS充其量只是一个临时的解决方案，而在最坏的情况下已经过时了。”

不管对错，许多人认为我们已经到了L4最后阶段，“完全自动驾驶”的现实只是遥不可及的更新。再看一遍特斯拉撞车视频，你就会对此有所怀疑了。

到2025年，Waymo和Cruise等公司将提供某种自动穿梭巴士或自动出租车服务，对此我并不怀疑。但他们是否能从运营这些服务中赚钱尚未可知。

此外，我仍然觉得普通民众在心理上对任何机器人汽车导致的杀人事故做好了准备，这在统计上是不可避免的，因为自动驾驶汽车越来越多地部署在公共道路和高速公路上。

我最近在澳大利亚堪培拉的Seeing Machines公司看到了这张迷人的幻灯片，他们为凯迪拉克CT6的通用超级巡航提供了基于视觉的DMS。

让我们进一步看看DMS世界中发生的一些技术发展，以及通过让人类成为更安全的司机来拯救生命所取得的进展。

眼睛会被光弄瞎吗？

对于Super Cruise中驾驶员监控视觉传感器最常见的评价是，它可能会被太阳光弄瞎，而批评者经常利用这一点来忽略DMS技术。我是一个DMS的狂热爱好者，所以我可以从幻灯片上看出，最上面一行的前两张图片使用的是850nm的红外线(IR)光，而其他图片都使用的是波长940nm的红外线组件。

所以如何? 940nm的阳光比850nm的能量要少得多，所以将光路的工作波长改为940nm基本上可以解决致盲问题。

那么为什么不先从940nm器件开始呢?

这是因为它们要到2016年底才能进入汽车行业，所以按照典型的汽车时间表，它们最早也要到2019年才能投入生产。”可以肯定的是，基于940nm视觉的DMS将在今年晚些时候开始在批量生产的汽车上使用。

如果你是一个刚刚加入DMS的技术公司，并且还在考虑为NCAP的兼容性设计一个系统，那么还有一个进一步的光路挑战需要注意:CMOS图像传感器在940nm时的量子效率要比在850nm时低得多，这意味着必须使用更强大的led来照亮驾驶员的脸。

红外线对人眼可能是看不见的，但在高功率下并不安全——想想激光眼科手术就知道了。这需要验证光路是否符合光生物安全的IEC 62471[1]。

所以说，作为DMS后来者的设计选择使用850nm的照明，传感器就可能会被阳光遮挡；使用940nm的照明，可能使驾驶员失明。你还认为汽车等级的DMS很简单吗?

940nm下基于视觉驱动程序监控的所有设计和开发问题现在都已经解决了，但这也是为什么DMS花了这么长时间才被用于汽车的原因之一。

如何训练你的机器

人们可以对这些图像进行推理分析并确定它们显示驾驶员戴着不同类型的面具。要想成功地开发出一款足以在现实生活中使用的强大DMS，需要大量的自然驾驶数据来训练算法，并结合详尽的测试和验证。这需要多年的研发。

在疫情期间，司机需要佩戴个人防护设备，这意味着DMS必须使用全脸面罩、护目镜和呼吸器的复杂组合。

目前，最先进的驱动程序监控视觉算法得到了广泛的训练和验证，无需校准;几乎是瞬间跟踪脸部和眼睛;操作范围接近180度(头部完全转向左或右);并且可以戴上大多数太阳镜。

这些算法对性别、国籍和种族都是不可知的，经过培训后，它可以与帽子、棒球帽、珠宝、围巾、卫生面罩、安全眼镜或护目镜以及宗教服装一起使用。

在这个领域的玩儿家中，Seeing Machines并不是汽车级驾驶员监控软件的唯一供应商，其他供应商还包括视力、Jungo、Momenta、SenseTime、Smart Eye和Xperi。

从长远来看，一切都是自动的

任何认为DMS只是一个临时解决方案的人似乎是有些道理的，从长远来看，它将被自动驾驶汽车所取代。但正如经济学家John Maynard Keynes所指出的那样:“In the long run we are all dead。”

虽然我并不确定DMS和自动驾驶的未来。但我希望你能准确的理解欧洲NCAP和欧洲GSR指令关于监测司机是否困倦和分心的要求，并记住它。

延伸阅读——DMS功能详解

驾驶员监控系统（driver monitoring system，DMS）一般是对L2-L3级别的自动驾驶系统而言的，对L4级别是没有意义的，除非系统仍然是需要安全员的测试环节。

监控的目的是发现驾驶员走神（distraction）、疲劳（fatigue）或者打瞌睡（drowsiness），甚至出现无法驾驶的意外情况，比如欺骗辅助驾驶系统用矿泉水代替双手在方向盘上，或者与乘客争吵打架等。另外，如果作为自动驾驶的研发阶段，监控驾驶员可以提供驾驶行为的第一手数据，甚至用于仿真模拟系统中。

非侵入式（non-intrusive）方法是监测的首选方法，而基于视觉的系统更具有吸引力。主要的视觉线索包括面部特征、手特征或身体特征。许多检测系统仅使用单个视觉线索，这种系统鲁棒性差，比如出现遮挡或光照变化时，容易被干扰。所以将多种视觉线索组合才是关键，也是具有挑战性的。

一个驾驶员面部监控系统是基于驾驶员面部图像处理来研究驾驶员身心状况的实时系统。可以从眼睑闭合、眨眼、凝视方向、打哈欠和头部运动等，检测到驾驶员状态。基本分成两大类：

仅从眼部区域检测驾驶员；

不仅可以从眼睛中检测，还可以从脸部和头部的其他区域检测。

下图是一个驾驶员脸部监控系统框图：检测人脸，还有眼睛和其他脸部特征，同时跟踪变化，提取症状，实现疲劳和分心检测。驾驶员面部监控系统的主要挑战是：

（1）“如何测量疲劳？”第一个挑战是如何准确定义疲劳以及如何测量疲劳; 疲劳与体温，皮肤电阻，眼球运动，呼吸频率，心率和大脑活动之间存在关系;第一个也是最重要的疲劳迹象会在眼睛中出现。

（2）“如何测量注意力？”第二个挑战是测量驾驶员对道路的注意力；可以从驾驶员头部和注视方向（gaze direction）估计驾驶员的注意力。

人脸检测方法可参照一般目标检测的方法，现在深度学习也已经在这个领域展示“肌肉”。人脸检测是一个老问题，人脸检测挑战的情况有以下一些：

— 面内旋转;

— 面外旋转;

— 化妆品，胡须和眼镜的存在;

— 表情（快乐，哭泣等）;

— 照明条件;

— 脸部遮挡;

— 实时处理要求。

眼部区域总是先被用于驾驶员症状提取，因为最重要的心理活动与眼睛活动有关。

眼睛检测的两大类：

1) 基于红外光谱成像的方法；

2) 基于视觉的方法；

除了眼睛，还可以检测其他面部成分：嘴巴，鼻子和脸部突出（Salient）点。

面部跟踪是分析驾驶员心理活动的主要手段。这种跟踪任务和一般单目标的跟踪是相似的，主要挑战包括：

从三维空间到二维空间的映射而让一些信息丢失;

— 具有复杂的形状或运动;

— 部分遮挡;

— 环境光线变化;

— 实时跟踪要求。

与疲劳、分心和打瞌睡有关的症状提取包括：

1) 与眼部区域有关的症状：闭眼、眼睑之间的距离、眨眼速度快、凝视方向和跳跃运动;

2) 与嘴巴区域有关的症状：开/闭；

3) 与头部有关的症状：点头、头部姿势和头固定不变；

4) 与面部有关的症状：主要是表情。

下面分别举几个例子：

如图是一个基于深度神经网络（DNN）的驾驶员监控系统。

其基于脸部、双目和嘴巴三个区域的检测网络结构如下：

而基于单目（左眼）区域加嘴巴区域的检测网络结构如下

如图是一个基于深度学习模型的人脸表情识别系统：输入图像检测面部和特征，从面部成分提取时

编辑：muyan来源：EEWORLD