知情郎·眼｜侃透天下专利事儿

最近有个关于电车AI技术的爆笑段子在网上疯传。

有一知名博主开小鹏汽车，因眼睛小经常被小鹏自动驾驶系统误判疲劳驾驶。

然后，那个车主怒了，在微薄上隔空喊话何小鹏，眼睛小的难道不配使用小鹏汽车的NGP（智能辅助驾驶功能）？

何小鹏转发微博给相关高管，要求“看看这个情况怎么处理？”

小鹏汽车官方微博随后转发了该微博，同时附了一张对话截图——截图中包含一张车主常岩的头像照片，照片上的常岩，因为眼睛比较小，看起来像是在打盹一样，文字对话显示，他也经常因为触发DMS系统而苦恼。

这段子把网友们笑哭了。

眼睛小是原罪，眯眯眼开车，被AI都看不起了！

这个话题也衍生了AI智能驾驶系统能否检测识别整容脸的段子。

有些车搞了刷脸启动的功能，即车主进入车，系统自动进行人脸识别，“刷脸”登录后，轻踩刹车即可启动车辆。

问题是，司机原来是眯眯眼，为了美容整了眼睛，双眼皮、开个眼角、去个眼袋，还动了鼻梁，AI能识别吗？

这问题确实难倒了那些人脸算法工程师了。

轮廓结构都大幅变动了，小眼睛变成了明亮动人的大眼睛，是真难判断出来了。

01小鹏汽车在资本市场不如意

港股的新能源车概念股，都不如人意，作为造车新势力销量冠军，小鹏汽车也没逃过股价腰斩的命运，已从200元的高位跌落至90元！

最近，小鹏P7、P3、G3i等系列车都在搞促销降价，大家理解，竞争激烈抢生意卖库存。

说白了，一直以来，蔚来汽车主打高端市场，靠个性化服务与高配设计招揽客人，而理想汽车走的是增程式技术路线。小鹏汽车则是走亲民价格路线，一直以来都主打16万～25万元主流市场。

也是因为走低价路线，小鹏汽车完全是亏本卖车，越卖越亏。

2021年的财报数据显示，蔚来汽车、小鹏汽车和理想汽车的全年亏损金额分别为40．2亿元、48．63亿元和3．22亿元。单纯从亏损规模来看，小鹏汽车或许与蔚来汽车“半斤八两”，但如果简单用亏损金额除以交付量来计算单车亏损的话，小鹏汽车则略显尴尬。

计算结果显示，蔚来汽车每卖1辆车亏损4．4万元，小鹏汽车为4．95万元，理想则是0．4万元，虽然3家车企都是卖得越多亏得越多，但交付量排名第一的小鹏汽车则更为明显。

02DMS系统科普

前文提到的DMS系统是NGP（智能汽车辅助驾驶系统）的组成部分之一，有的叫疲劳／分神预警系统，有的叫驾驶员安全健康监测系统。

小鹏汽车的NGP模块里含DMS，这也算是行内标配。

疲劳驾驶检测系统是一种辅助性和预防性的功能模块。

驾驶员精神状态下滑或进入浅层睡眠时，系统会依据驾驶员精神状态指数分别－给出语音提示、振动提醒、电脉冲警示等，警告驾驶员已经进入疲劳状态，需要休息。

其作用就是监视并提醒驾驶员自身的疲劳状态，减少驾驶员疲劳驾驶的潜在危害。

知情郎此前也写过相关文章《疲劳驾驶检测技术哪家强？奇瑞专利解读：眼、嘴特征提取算法判定疲劳值》。

今天借着小鹏汽车DMS系统识别问题，继续深挖这方面技术。

国内也有一群厂商专门做疲劳检测、驾驶行为识别预警系统的产品，为中长途客运货运司机服务。

以小鹏汽车为例，DMS系统对驾驶员分神的响应分为三级：

一级时会有声音提醒＋仪表上文字提示“请注意观察路面”；

二级提醒，是更急促的声音提醒＋安全带预警＋仪表上提示图标变成红色；

三级时，会退出辅助驾驶功能，并声音提示驾驶员立即接管。

目前的DMS系统主流感知方案是视觉感知为主，其它信息为辅。例如在方向盘、A柱或内后视镜上安装摄像头，来监测驾驶员的状态。

红外摄像头和红外补光灯可在夜间甚至驾驶员戴墨镜时有效检测驾驶员状态。

当前主流的方式多以通过单一视觉对驾驶员面部特征抓取以进行判断。

通过驾驶员面部特征将眼睛睁闭程度、嘴巴张合程度进行量化指标的分级，从而进行驾驶员疲劳驾驶与分神驾驶的判断。再搭配上检测驾驶员手部是否放在方向盘上的扭矩传感器和电容式HOD传感器，以及车辆状态参数融合检测。

具体聊聊当下疲劳驾驶主流检测方法！

03基于驾驶员生理信号的检测方法

驾驶员在疲劳状态下，一些生理指标如脑电、心电、肌电、脉波、呼吸等会偏离正常状态，

因此，可以通过生理传感器检测驾驶员的这些生理指标来判断驾驶员是否处于疲劳状态。

脑电信号检测：脑电信号是人脑机能的宏观反应，利用脑电信号反映人体的疲劳状态，客观并且准确，脑电信号被誉为疲劳监测中的“金标准”。人在疲劳状态下，慢波增加，快波降低。利用脑电信号检测驾驶疲劳状况，判定的准确率较高，但是操作复杂且不适合车载实时监测。

心电信号检测：心电图指标主要包括心率及心率变异性等。其中，心率信号综合反映了人体的疲劳程度与任务和情绪的关系。心率变异性是心脏神经活动的紧张度和均衡度综合体现。心电信号是判定驾驶疲劳的有效特征，准确度高。利用心电信号检测人体疲劳状况需要将电极与人身体相接触，会给驾驶员的正常驾驶带来不便。

肌电信号检测：通过肌电信号的分析，反映人体的疲劳程度。肌电图的频率随着疲劳的产生和疲劳程度的加深呈现下降趋势，而肌电图的幅值增大则表明疲劳程度增大。该方法测试比较简单，结论较明确。

脉搏信号检测：人体精神状态不同，心脏活动和血液循环也会有差异，而人体脉搏波的形成依赖于心脏和血液循环，因此，利用脉搏波监测驾驶员的疲劳状态具有可行性。

呼吸信号检测：人体疲劳状态的一个重要表现就是呼吸频率降低，呼吸变得平稳。在正常驾驶过程中，驾驶员精神集中，呼吸的频率相对较高，如果驾驶期间与他人交谈，呼吸波的频率变得更高，同时呼吸的周期性变差。当驾驶员疲劳驾驶时，注意力集中程度降低，思维不活跃，此时呼吸变得平缓。因此，通过检测驾驶员的呼吸状况来判定疲劳驾驶也成为研究疲劳驾驶预警系统的一个重要方面。

基于驾驶员生理信号的检测方法客观性强，准确性高，但与检测仪器有较大关系，而且都是接触式检测，会干扰驾驶员的正常操作，影响行车安全。

04基于驾驶员生理反应特征的检测方法

基于驾驶员生理反应特征的检测方法一般采用非接触式检测途径，利用机器视觉技术检测驾驶员面部的生理反应特征，如眼睛特征、视线方向、嘴部状态、头部位置等来判断驾驶员疲劳状态。

眼睛特征检测：驾驶员眼球的运动和眨眼信息被认为是反映疲劳的重要特征，眨眼幅度、眨眼频率和平均闭合时间都可直接用于检测疲劳。目前被认为是最有应用前景的实时疲劳检测方法——PERCLOS（Percent of Eye Closure）。为了提高疲劳检测准确率，可以综合检测平均睁眼程度、最长闭眼时间的特征作为疲劳指标，可以达到较高的疲劳检测准确率。通过眼睛特征检测驾驶员的疲劳程度，不会对驾驶员行为带来任何干扰，因此它成为这一领域现行研究的热点。

视线方向检测：把眼球中心与眼球表面亮点的连线定为驾驶员视线方向。正常状态下，驾驶员正视车辆运动前方，同时视线方向移动速度比较快；疲劳时，驾驶员视线方向的移动速度会变慢，表现出迟钝现象，并且视线轴会偏离正常的位置。通过摄像头获取眼睛的图像，对眼球建模，把视线是否偏离正常范围作为判别驾驶员是否疲劳的特征之一。

嘴部状态的检测：人在疲劳时往往有频繁的哈欠动作，如果检测到哈欠的频率超过一个预定的阈值，则判断驾驶员已处于疲劳状态。基于此原理，可以完成对驾驶员的疲劳检测。

头部位置检测：在驾驶过程中，驾驶员正常和疲劳时其头部位置是不同的，可以利用驾驶员头部位置的变化检测疲劳程度。利用头部位置传感器，对驾驶员的头部位置进行实时跟踪，并且根据头部位置的变化规律判定驾驶员是否疲劳。

基于驾驶员生理反应特征的检测方法的优点是表征疲劳的特征直观、明显，可实现非接触测量；缺点是检测识别算法比较复杂，疲劳特征提取困难，且检测结果受光线变化和个体生理状况的变化影响较大。

05基于车辆行驶状态检测

基于车辆行驶状态的疲劳检测方法，不是从驾驶员本人出发去研究，而是从驾驶员对汽车的操纵情况，间接判断驾驶员是否疲劳。该种检测方法主要利用CCD摄像头和车载传感器来检测汽车行驶状态，从而推测出驾驶员的疲劳状态。

首先是基于转向盘的疲劳检测。基于转向盘的检测，包括转向盘转角信号检测和力矩信号检测，驾驶员疲劳时对汽车的控制能力下降，方向盘转角左右摆动的幅度会变大，同时操纵转向盘的频率会下降。通过对转向盘转角时域和频域分析，方向盘转角的方差或平方差，可以作为疲劳驾驶的评价指标。目前，通过方向盘的转角变化情况来检测驾驶员的疲劳情况，是疲劳预警系统研究的热点。这种方法数据准确，算法简单，并且信号与驾驶员疲劳状况联系紧密，结果可信度高。

另外，驾驶员疲劳时，对转向盘的握力会逐渐减小。通过传感器实时检测驾驶员施加在方向盘的力，可以判断驾驶员的疲劳程度。驾驶员对于转向盘的操纵特征，能够间接实时地反映驾驶员的疲劳程度，具有可靠性高、无接触的优点。但由于传感器技术的限制，其准确度有待提高。

其次是汽车的行驶状态。通过实时检测汽车的行驶速度，判断汽车是处于有效的控制状态，或是处于失控的状态，从而间接地判断出驾驶员是否疲劳。

另外，驾驶员疲劳驾驶时，由于注意力分散，反应迟钝，汽车可能偏离车道。基于汽车行驶状态的检测方法，优点是非接触检测信号容易提取，不会对驾驶员造成干扰，基于车辆当前的硬件，只需增加少量的硬件，就具有很高的实用价值。缺点是受到车辆的具体情况，道路的具体情况以及驾驶员的驾驶习惯经验和条件等限制测量的准确性并不高。

前述检测维度已经囊括当下所有汽车厂商的研究方向。

06从专利维度看DMS

以疲劳驾驶为关键词，在德高行全球专利数据库里，国内企业专利量不大，排名量如下：

速度浏览了下，找到了广汽的相关专利，挺有意思分享下

目前国内外有相应的疲劳驾驶的检测技术，大多通过检测驾驶员眼睛的开闭情况来判断驾驶员是否正在进行疲劳驾驶，例如通过获取驾驶员正面人脸图像，并对驾驶员正面人脸图像进行人脸识别，提取驾驶员眨眼频率、面部表情等行为特征来获取驾驶员眼睛的开闭情况。

在实现本发明的过程中，发明人发现上述疲劳驾驶检测技术至少存在以下技术问题：

由于驾驶员存在个体差异，例如，有些驾驶员佩戴有近视眼镜，在佩戴近视眼镜时，当有迎面光线照射过来时，驾驶员的眼镜镜片会迎面受光形成光斑、光点，在采集的驾驶员面部图像上，眼部特征无法正确被提取，因此存在干扰，导致疲劳识别结果准确性不高；又例如具有特殊情况的驾驶员，近视程度不高，但是会有眯眯眼状态的驾驶员，或者具有眼部缺陷的驾驶员，而采用同一套检测模型不能适用于所有的驾驶员，需要经过统一标准的识别算法进行检测，在应对这些具有特殊情况的驾驶员的疲劳驾驶检测时，系统会消耗较大的计算资源，检测识别效率慢，且识别精度达不到理想标准。

本发明旨在提出一种疲劳驾驶检测方法及其系统、计算机设备、计算机可读存储介质，以解决驾驶员因存在个体差异，导致疲劳驾驶检测准确率不高的技术问题。

知情郎细读了专利细节，有些挺有意思的。

这个专利的核心是通过眼动特征的提取，来确认驾驶员的状态。

而且用的是主流眼部算法是PERCLOS算法，这算法在行内如雷贯耳。

科普下，1994 年美国首次提出单位时间眼睛闭合的百分比（percentage of eyelid closure over the pupil over time， PERCLOS）用于描述驾驶员的疲劳状况。1999 年美国联邦高速公路管理局召集专家学者，研究讨论 PERCLOS 和其它人眼活动测量方法的有效性，并通过对实验数据的对比，证明了 PERCLOS 相对于驾驶员其他特征，更能直接反映驾驶员的疲劳程度。

PERCLOS是指眼睛闭合时间占某一特定时间（一般是一定时间长度的片段统计）的百分率。

PERCLOS 通常有 P70，P80，Em 三种测量方式：

P70：眼皮盖过眼球的面积超过 70％所占的时间比例。

P80：眼皮盖过眼球的面积超过 80％所占的时间比例。

Em：眼皮盖过眼球的面积超过 50％所占的时间比例。

研究表明P80与疲劳程度间具有最好的相关性。

PERCLOS的获取一般是通过车内DMS摄像头进行图像采集，然后将采集到的人脸视频数据给到控制器，控制器中有人脸识别的算法，通过将动态的视频进行一帧一帧的识别判断，判断哪些是眼皮盖过眼球的面积超过预设的比例，最后统计判定为疲劳的帧数和一段时间的的总帧数，想除就是其值。

除了PERCLOS算法， 还用到了其他参数指标，上下眼睑之间的距离参数、眨眼时间参数、眼睛闭合时间比参数。

以上下眼睑之间的距离参数为例，由于驾驶员疲劳驾驶时，眼睛睁开的开度会变小，常见的有眯眼状态，因此，可以对当前周期的上下眼睑之间的距离参数进行统计分析得到一个上下眼睑之间的距离参数，统计分析的方式例如为聚类分析、求均值等等，设定当驾驶员该统计分析得到的上下眼睑之间的距离参数不在驾驶员正常眼动特征参数的范围内时，判定驾驶员为疲劳驾驶。

其中，以眨眼时间参数为例，由于驾驶员疲劳驾驶时，驾驶员可能眨眼频率会增大，即眨眼时间间隔变小，因此，可以对当前周期的上下眼睑之间的距离参数进行统计分析得到一个眨眼频率参数，设定当驾驶员该统计分析得到的眨眼频率参数不在驾驶员正常眨眼频率参数的范围内，或者驾驶员当前眨眼时间间隔参数不在驾驶员正常眨眼时间间隔参数的范围内时，判定驾驶员为疲劳驾驶。

其中，以眼睛闭合时间比参数为例，由于驾驶员疲劳驾驶时，驾驶员可能会长时间闭上眼睛，即进入瞌睡状态，因此，可以对当前周期的闭眼时间参数和睁眼时间参数进行统计分析得到当前周期的眼睛闭合时间比参数，设定当驾驶员当前周期的眼睛闭合时间比参数不在驾驶员正常眼睛闭合时间比参数的范围内时，判定驾驶员为疲劳驾驶。

【转载请注明德高行·知情郎】