01疲劳监测系统

公开披露的数据看，90％左右的汽车驾驶员有过疲劳驾驶的经历，80％左右的汽车驾驶员在开车2～4小时后会感到身体疲劳，60％左右的汽车驾驶员在驾驶感觉疲劳时眼睛会感觉酸痛发沉。

所以，很多汽车企业专门针对疲劳驾驶开发了很多预警产品。

常见装备的疲劳监测系统被称为“疲劳驾驶预警系统（BAWS）”它是基于驾驶员生理图像反应，由ECU和摄像头两大模块组成，利用驾驶员的面部特征、眼部信号、头部运动性等推断驾驶员的疲劳状态，并进行报警提示和采取相应措施的装置。

奔驰、奥迪、宝马、大众，本田等品牌的车系都配有疲劳驾驶提示系统。

百度2017年也推出过类似产品，当时李彦宏还现场展示了百度的疲劳驾驶监测系统。

系统基于百度大脑的图像识别技术研发的。通过红外人脸识别判断，当卡车司机被手机干扰转头看信息、犯困开始打哈欠或者疲惫到眼睛睁不开的时候，系统就会及时提醒司机集中精力驾驶。

国内也有很多公司在做这方面业务，去京东商城搜索疲劳驾驶，会跳出很多相关产品。

比如，基于人脸识别的疲劳驾驶行为检测设备，其实，就是一个摄像头和处理器的拼接。

摄像头在驾车时会全天候工作，在发现驾驶员出现疲劳、打哈欠、打电话、闭眼、抽烟及其他错误驾驶状态后，疲劳检测系统将会对此类行为进行及时的分析，并进行语音提示、震动提示等方式提醒驾驶员，避免事故发生。

02算法依旧是核心！

当然，机器视觉识别疲劳度的核心依旧是算法。

人所有的表情都可以被算法解析！

如何提取疲劳驾驶员的脸部器官特征，证明其处于疲劳驾驶状态。

比如，眼睛闭合的频率和持续时间在某种程度上可以反映疲劳的状态。

卡内基梅隆研究所经过反复试验和论证，提出了度量疲劳的物理PERCLOS。

PERCLOS定义为一定时间内眼睛的闭合程度，它已经成为度量疲劳状态的一种科学有效的方法。

当一定时间间隔内眼睛闭合所占的时间比例超过15％时即认为是疲劳状态。

PERCLOS方法通过眼睛闭合所占的时间比例进行疲劳驾驶的判定。

基于PERCLOS的机器视觉算法算是通用模型。

还有大学研究机构提出了NMEA R（归一化平均眼睛高宽比）的疲劳驾驶检测方法。采用HOG＋SVM算法实现了人脸检测，并利用Dlib工具箱的关键点检测器实现了人脸68个关键点定位．通过切片技术提取了双眼12个坐标点，利用坐标点的相对位置计算出人眼实时的高宽比（EA R），并利用最大高宽比对EAR进行归一化并求均值，得到NMEAR。最后通过计算NMEAR在疲劳区间上的概率值来判定驾驶人疲劳状态。由于算法在疲劳判定部分不涉及矩阵运算，极大减少了运算量实验表明，NMEA R算法准确率高达96％。

网上技术论坛有不少专门从事五官特征提取的算法，套路繁多，有兴趣的可以去论坛看。

03国内哪些玩家研究疲劳驾驶？

在德高行全球专利数据库里检索，以疲劳驾驶为关键词，会发现国内有4000多件专利。

高校专利申请人排名如下：

在疲劳驾驶方面，高校专利明显高于企业专利，核心算法大量是高校机构研究出来的。

企业层面更多是应用层！

从企业专利量排名第一的吉利看，他的专利主要围绕疲劳驾驶预警、疲劳驾驶检测、疲劳驾驶如何缓解、疲劳检测语音控制系统、驾驶员生理检测、驾驶舱等展开的。            

04奇瑞疲劳驾驶专利解读

看下面这个奇瑞汽车股份有限公司的专利。

知情郎说，细节提供真实价值，工程师如何构思专利不重要，重要的是，拿什么具体实施方案做到他想解决的技术问题。

没有细节实施方案的专利，纯灌水！

需要哪些软硬件设备？

摄像头、终端和车载播放设备。

摄像头可以与终端通过CAN（Controller Area Network，控制器局域网络）总线连接，终端可以与车载播放设备通过CAN总线连接，且该车载播放设备可以为无源蜂鸣器，该终端可以为车载终端，也可以为与汽车进行通信的外接终端。

需要说明的是，摄像头可以为布置在汽车的仪表盘上，且摄像头的布置仰角为73度，摄像头的中心与人眼之间的距离位于700mm（毫米）－860mm之间。

运作流程也非常简单！

摄像头用于采集驾驶员的视觉数据，并将采集的视觉数据发送至终端。

终端用于接收摄像头发送的视觉数据，并从视觉数据中获取驾驶员的眼部信息和头部信息，同时终端还可以记录驾驶员驾驶汽车的驾驶时长，并根据眼部信息、头部信息和驾驶时长，确定驾驶员的驾驶状态；

当驾驶员处于疲劳驾驶状态时，可以向车载播放设备发送播放控制指令。

车载播放设备用于在终端的控制下进行疲劳驾驶提醒。

05难点：系统如何检测司机处于疲劳状态

奇瑞汽车工程师的思路很直接。

工程师认为，驾驶员处于疲劳驾驶状态，那么驾驶员眼部信息和头部信息将会发生变化，比如，驾驶员闭眼的频率、打哈欠的频率将会上升。

但是，仅仅通过驾驶员的眼部信息、头部信息或者仅仅根据驾驶员的驾驶信息并不能准确地确定驾驶员是否处于疲劳驾驶状态。

因此，终端需要基于驾驶员的眼部信息、头部信息和驾驶信息，综合确定驾驶员的驾驶状态。

所以，奇瑞工程师设计的算法判定依赖三方面采集的数据：驾驶员的眼部信息、头部信息、驾驶信息。

数据包括：

眼部信息包括该驾驶员的闭眼次数，具体操作方法为，确定驾驶员眼睛的位置，根据驾驶员眼睛的特征点在人脸中的位置变化，确定驾驶员闭眼次数；

头部信息包括该驾驶员的打哈欠次数，具体操作方法为，根据驾驶员嘴巴及其附近的特征点在人脸中的位置变化，确定驾驶员的打哈欠次数；

该驾驶信息包括驾驶时长时；

同时，为了更精确的计算概率，需要加入权重。

确定该闭眼次数、该打哈欠次数和该驾驶时长分别对应的眼部疲劳权重、头部疲劳权重和时间疲劳权重；

将该闭眼次数、该打哈欠次数和该驾驶时长分别与各自对应的眼部疲劳权重、该头部疲劳权重和该时间疲劳权重进行相乘，得到眼部疲劳分数、头部疲劳分数和时间疲劳分数；

将该眼部疲劳分数、该头部疲劳分数和该时间疲劳分数相加，得到疲劳驾驶分数；

当该疲劳驾驶分数大于或等于第一疲劳阈值时，确定该驾驶员处于疲劳驾驶状态。

可选地，当该驾驶员处于疲劳驾驶状态时，通过车载播放设备进行疲劳驾驶提醒，包括：

当该驾驶员处于一级疲劳驾驶状态时，通过该车载播放设备以第一音量进行疲劳驾驶提醒；

当该驾驶员处于二级疲劳驾驶状态时，通过该车载播放设备以第二音量进行疲劳驾驶提醒；

当该驾驶员处于三级疲劳驾驶状态时，通过该车载播放设备以第三音量进行疲劳驾驶提醒。

很简单明白的套路！

06前述公式权重如何设置？

权重如何定，这是比较细节的地方，也很难界定，奇瑞工程师提供了自己的思路。

眼部疲劳权重、头部疲劳权重和时间疲劳权重确定眼部疲劳权重、头部疲劳权重和时间疲劳权重的操作可以为：

确定驾驶员的闭眼次数对应的闭眼次数范围；

打哈欠次数对应的打哈欠次数范围；

以及驾驶时长对应时长范围；

从闭眼次数范围与眼部疲劳权重之间的对应关系中，获取驾驶员的闭眼次数对应的眼部疲劳权重；

从打哈欠次数范围与头部疲劳权重之间的对应关系中，获取驾驶员的打哈欠次数对应的头部疲劳权重；

从时长范围与时间疲劳权重之间的对应关系中，获取驾驶员的驾驶时长对应的时间疲劳权重。

比如，当驾驶员闭眼次数为20次／分、打哈欠次数为4次／分、驾驶时长为4小时时，如果终端确定的眼部疲劳权重为1／2、头部疲劳权重可以为1／4、时间疲劳权重可以为1／4，则终端将闭眼次数为20次／分乘以眼部疲劳权重为1／2，得到眼部疲劳分数为10，将打哈欠次数为4次／分乘以头部疲劳权重可以为1／4，得到头部疲劳分数为1，将驾驶时长为4小时乘以时间疲劳权重可以为1／4，得到时间疲劳分数为1；将眼部疲劳分数15、头部疲劳分数1和时间疲劳分数1相加，得到疲劳驾驶分数为17，由于疲劳驾驶分数17大于第一疲劳阈值15，因此，确定驾驶员此时处于疲劳驾驶状态。