上海理工大学探花 内射，光电信息与诡计机工程学院，上海

收稿日历：2023年4月14日；托福日历：2023年5月18日；发布日历：2023年5月25日

摘抄

由于疲顿驾驶是导致交通事故的迫切原因。因此，针对疲顿驾驶检测，本文提倡一种基于神经相聚的疲顿检测缺欠。关于传统疲顿检测时刻检测精度不高、详尽检测才气不及等问题提倡了相应的转换战术，这对顾惜疲顿驾驶、提高驾驶安全具有迫切的意旨。本文的主要职责如下：1) 收受基于Retina Face算法的东说念主脸检测相聚，同期本文汇集了多数局部抑遏和大姿态偏转的东说念主脸图像行为考研样本，使得东说念主脸检测模子愈加灵活，管束了传统东说念主脸检测算法关于东说念主脸姿态条款过严的短处。2) 本文从驾驶员眼部、嘴部以及头部姿态开拔，基于神经相聚的缺欠，详尽分析驾驶员的疲顿状态。当系统存在某一主张失效时，依然不错通常检测出驾驶员的疲顿状态，具有一定的容错性。此外，模仿PERCLOS教化准则，提倡了基于一定时代周期的疲顿判定法，使系统关于驾驶员的疲顿预估愈加准确。履行落幕标明，使用本文提倡的缺欠，概况达成多特征点的定位与识别，且基于眼部状态以及嘴部状态预测疲顿的精度分离达到了97.1%和97.5%，左证头部状态预测疲顿的精度达到了88.1%，处理速率也达到了每张图片62 ms。相较于传统只基于眼部状态检测疲顿的缺欠，本文提倡的算法在保证准确率和服从的前提下，提高了详尽检测才气。

缺欠词

交通事故，疲顿驾驶检测，东说念主脸检测，PERCLOS，眼部状态，嘴部状态，头部姿态，神经相聚

Research on Fatigue Driving Detection Method Based on Neural Network

Yurong Zhang， Kun Gu， Xuanxiong Zhang

School of Optical-Electrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai

Received: Apr. 14th， 2023; accepted: May 18th， 2023; published: May 25th， 2023

ABSTRACT

Fatigue driving is an important cause of traffic accidents. Therefore， for fatigue driving detection， this paper puts forward a fatigue detection technology based on deep learning， and puts forward corresponding improvement strategies for the problems of low detection accuracy and poor real-time performance of traditional fatigue detection technology， which is of great significance to prevent fatigue driving and improve driving safety. The main work of this paper is as follows: 1) The face detection network based on Retina Face algorithm is adopted， and a large number of face images with partial occlusion and large posture deflection are collected as training samples， which makes the face detection model more flexible and solves the shortcoming that the traditional face detection algorithm requires too strict face posture. 2) Based on the attitude of the driver’s eyes， mouth and head， this paper comprehensively analyzes the driver’s fatigue state based on the method of neural network. When a certain index of the system fails， the fatigue state of the driver can still be detected normally， which has a high enough fault tolerance rate. In addition， a fatigue judgment method based on a certain time period is proposed by referring to PERCLOS， which makes the system more accurate for driver fatigue prediction. The experimental results show that the method proposed in this paper can realize the location and recognition of multi-feature points， and the accuracy of fatigue prediction base on the eye state and mouth state is 97.1% and 97.5% respectively. The accuracy of fatigue prediction base on the head state is 88.1%， and the processing speed of each image is 62 ms. Compared with the traditional fatigue detection methods of only detecting eye state， the algorithm proposed in this paper improves the comprehensive detection capability， based on sufficient accuracy and efficiency.

Keywords:Traffic Accidents， Drowsy Driving Detection， Face Detection， PERCLOS， Eye State， Mouth State， Head Posture， Neural Networks

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

1. 小序

疲顿驾驶检测一直都是国表里学者研究的热门，频年来，跟着深度学习、诡计机视觉的迅猛发展，一些国表里的研究学者将诡计机视觉以及深度学习引入到疲顿驾驶领域，取得了普遍的发展。从疲顿驾驶的检测样式来看，主要分为以下三大类：基于车辆通顺特征的检测缺欠、基于驾驶员生理特征的检测缺欠以及基于驾驶员面部表情的检测缺欠。

基于车辆通顺特征的缺欠主要通过在车上安设各式传感器来采集车辆在行驶过程中的各项数据，进而判断驾驶员是否疲顿驾驶。Sayed [1] 等东说念主左证采集的标的盘角度信息建造了基于东说念主工神经相聚的疲顿驾驶检测模子。柴萌 [2] 左证车辆的标的盘参数、转向速率以及驾驶员的响应参数建造了高斯搀和隐马尔夫模子。陈志勇 [3] 等东说念主索取出了车辆的速率、加快度以及标的盘的角速率等信息，临了送入BP神经相聚考研出了疲顿检测模子。

基于生理特征的缺欠是通过采集驾驶东说念主员的生理信息，如脑电波、心电波、脉搏等，然后将这些数据进行降噪处理，从中索取出疲顿特征信息，用以研究生理特征和疲顿度的关联。王斐 [4] 等东说念主通过采集驾驶员的脑电波以及标的盘信息来分析疲顿进程。Chuang [5] 等东说念主提倡了一种感知功能整合系统，徐礼胜 [6] 等东说念主通过对驾驶员的心电信号进行特征索取，通过立时丛林算法对特征进行分类进而判断驾驶员的疲顿状态。

基于面部特征的缺欠需要在驾驶车里面安设相机，采集车辆在行驶过程中车舱内的图像，结总诡计机视觉筹商算法对图像进行实时候析。Kim [7] 等东说念主提倡了基线模子检测时刻。李文体 [8] 等东说念主左证Harr [9] 特征东说念主脸检测算法定位东说念主脸区域，并结合积分投影、分线性中来预测驾驶员的疲顿状态。潘志庚 [10] 等提倡使用Adaboost算法 [11] 来定位东说念主脸，运算缺欠取出眉毛部分，临了通过眼睛纵横比、瞳孔面积占比等信息详尽判断出驾驶员的疲顿进程。

详尽国表里近况，基于东说念主脸特征的疲顿驾驶检测时刻缺欠检测精度较高，相干于其他两种，安设价钱也较为低廉，更容易被大家接管。当今，很多已有的疲顿检测系统只是依靠眼睛状态或嘴巴状态来判断驾驶员是否疲顿，当系统因为某些原因检测不到眼睛或者嘴巴等信息时，系统就无法通常职责。因此，本文对基于面部特征的疲顿检测不够全面的不及之处张开研究，提倡了不局限于单一状态的检测缺欠，而是基于眼睛状态、嘴巴状态和头部姿态相结合的疲顿检测缺欠，当系统骨子运行时，某些主张比如眼睛状态检测不到时，还不错左证其他特征举例头部以及嘴部状态来检测驾驶员确现时状态，具有详尽性。此外，咱们在疲顿度分析模块中引入PERCLOS准则，即疲顿状态评判范例，使得系统在检测时愈加可靠。

本文结构安排如下：

第一章先容了疲顿驾驶检测缺欠的举座经过框架；第二章先容了东说念主脸检测和脸部特征点索取的具体缺欠；第三章讲明了疲顿分析缺欠的想象念念路与具体达成；第四节给出了履行落幕与分析；

1) 举座框架

本文所磋议的疲顿检测系统关于驾驶员疲顿分析主若是从三个方面脱手，分离是：眼睛状态、嘴巴状态、头部姿态，从多方面检测来判断驾驶员是否疲顿，使得系统概况全面和高效地劳动于驾驶东说念主员。系统主要由东说念主脸采集、预处理、东说念主脸定位、特征索取、眼睛状态检测、嘴巴状态检测、头部姿态检测、疲顿臆测和报警这几个模块构成，系统的举座框架图如下图1所示。

从底下的框架图不错看出本文研究的疲顿驾驶检测缺欠的具体职责经过。底下按照系统的职责经过简便先容一下各个模块的苟简职责。

1) 相机采集东说念主脸：由于本文研究的缺欠是通过分析东说念主脸的特征来判断驾驶员是否疲顿，因此采集东说念主脸图是第一步；

2) 图像预处理：由相机采集到的图片不免会出现伴有噪声、细节依稀不清等情况，因此在对东说念主脸图作念具体分析之前，咱们需要将图像进行预处理，使其变成高质地图；

不良少妇

3) 东说念主脸定位：东说念主脸检测行为东说念主脸属性分析的第一步，精确定位东说念主脸的位置不错使通盘系统对驾驶员疲顿度分析愈加准确和高效；

4) 特征索取：通过特征索取，咱们不错快速定位到东说念主脸中缺欠部位，如眼睛，嘴巴。这些特征主要用于后头各个部位的状态识别相聚中；

5) 眼睛定位：本文关于眼睛状态的检测是通过神经相聚模子来进行的，因此咱们需要裁汰出东说念主脸中的眼部区域，送入眼部状态检测模子中进行预测。

6) 眼部状态检测：由于眼睛是判断东说念主是否疲顿的最直不雅要素，因此咱们关于眼睛状态的判断单独想象了分类检测模子，使得系统关于眼睛的检测愈加准确；

7) 嘴部状态检测：关于嘴部状态的检测咱们聘用基于宽高比的诡计缺欠，由于嘴部缺欠点相干于眼部缺欠点较漫衍，因此使用缺欠点坐标诡计的样式高效且精确；

8) 头部姿态检测：同嘴部姿态一样，咱们从特征索取模块得到的缺欠点中录取一定数目的缺欠点来诡计头部的下倾角，从而判断现时驾驶员的视野是否通常；

9) 疲顿分析：在得到了眼睛、嘴巴、头部状态之后，咱们需要对这些参数进行交融分析，并通过教化准则给出驾驶员现时是否疲顿的准确臆测；

图1. 举座框架

10) 报警：如果疲顿检测系统检测出驾驶员现时处于疲顿状态，需要通过报警模块发出报警信息实时搅扰驾驶员现时的驾驶行径，使得驾驶员快速矫正到通常驾驶状态，从而幸免不测事故发生。

2. 东说念主脸检测与特征点索取

2.1. 东说念主脸检测算法

2.1.1. 东说念主脸数据汇集

本文所收受的东说念主脸数据集主要包含WilderFace数据集和自标注自拍摄数据集两部分。领先RetinaFace原论文作家照旧在WilderFace数据集上标注了我方的landmark缺欠点信息因此咱们不错成功将WilderFace拿过来考研。其次，咱们仅靠WilderFace考研东说念主脸检测相聚还不够，因为本文的东说念主脸检测相聚要使用于活泼车驾驶场景下，为了不合驾驶东说念主员的驾驶姿势作念太大的限制，必须在东说念主脸检测考研皆集加入一部分稀薄的图像数据。驾驶员在驾驶的过程中，时常会有转头不雅望或者脸部局部抑遏等局面，如果因此这些原因检测不到东说念主脸，那么考研出的东说念主脸检测模子在骨子应用中的体验会很差。因此，需要在考研皆集加入立时抑遏的东说念主脸图像和头部动弹的图像。关于立时抑遏的数据图，主要包含手部抑遏以及其他的一些局部抑遏情况；关于头部大角度动弹，主要包含头部傍边动弹以及垂头的东说念主脸图。其中垂头的东说念主脸图是咱们判断驾驶员是否睡着的一个缺欠要素之一，如果咱们因此垂头检测不到东说念主脸，就会导致疲顿检测系统误判而不会发出报警，从而导致出东说念主猜度的事情发生。

2.1.2. 基于Retina Face的东说念主脸检测

本文使用Insight Face在2019年提倡的东说念主脸检测算法框架Retina Face [12] ，该算法使用基于one-stage东说念主脸检测相聚同期达成东说念主脸定位和东说念主脸对皆，比拟于往日基于tow-stage东说念主脸检测缺欠，Retina Face最大的优点即是其检测的速率不会受到图像中东说念主脸数目的影响。此外，作家提倡了一种自编码的东说念主脸编码器用于东说念主脸检测，如果咱们在骨干特征提相聚中采取resnet，咱们就不错使通盘模子领有特殊高的检测精度；如果把resnet换成具有深度分离卷积结构的mobileNet，就不错使系统的检测速率达到骨子驾驶场景的需求。

图2. 东说念主脸检测相聚具体经过

本文所使用的Retina Face相聚主要包括四个部分，分离是特征索取相聚(Backbone)、特征金字塔(FPN)、崎岖文建模(SSH)、多任务监督(Retina Head)探花 内射，通野心法的经过如图2所示。

2.2. 基于追念树的东说念主脸特征点定位

追念分析法是一种比较经典的分析预测缺欠，概况很快地建造出输入与输出之间的映射关联。将追念时刻应用于东说念主脸特征定位任务中，不错使得模子结构愈加直不雅，输入输出关联也更为明确，不需要像统计类缺欠那样进行多数推断演化。在基于追念的特征点定位算法当中比较经典的算法有：局部二值化(LBF [13] )、追念树和解(ERT [14] )、知道体式追念(ESR)等。其中ESR [15] 算法行为一种转换的级联体式追念缺欠，它在体式索引特征的基础上，收受两个级联boost追念层达成东说念主脸特征点定位。其算法基本经过为：领先给出运行的东说念主脸体式，然后诡计出预估体式与实在体式之间的差值，临了通过追念缺欠一步范例整预估的东说念主脸体式，使其越来越接近于实在东说念主脸体式。ESR算法在特征点隔壁录取像素点，并将像素点的差值行为体式索引特征ESR在两个特征点隔壁录取两个点，然后将这两个像素点的差值行为体式索引特征进行追念分析。由于只需要进行差值运算，LBF算法是对ESR算法的一种转换，它通过使用全局线性追念和立时丛林相结合的样式达成东说念主脸特征点定位。ESR算法是在两个特征点隔壁录取两个像素点并将其差值行为体式索引特征，同期收受立时蕨的结构行为预测单元，在其叶子节点中存储对应的形变行为预测输出。与ESR不同的是，LBF只在现时特征点隔壁区域立时聘用两个点并将其差值行为体式索引特征，同期收受立时树行为预测单元，并将立时丛林叶子节点的输出组合成一种特征即局部二值特征。ERT算法相似收受追念器的级联进行特征点定位，不同的是，ERT缺欠将追念树修改为梯度提高决策树(GBDT)，使得每级追念器学习的都是现时东说念主脸体式与实在东说念主脸体式的差值。每个追念器在级联中预测一个东说念主脸体式的更新向量，东说念主脸图像的运行体式经过一级一级追念器更新之后变成最终模子预测的东说念主脸体式。

本文经过分析以上特征点定位缺欠的本性后，决定使用ERT的缺欠来进行疲顿驾驶检测系统的东说念主脸特征点定位。该算法不仅对拆开标注信息的东说念主脸图具有很好的处理才气，还具有实习性好、检测精度高的本性，不错在毫米级的时代内精确定位出东说念主脸的68个缺欠点，成心于疲顿检测系统后期任务的进行。

3. 疲顿分析模块想象

3.1. 基于卷积神经相聚的眼部状态分析

3.1.1. 模子搭建

表1. 睁闭眼卷积神经相聚

图3. 睁闭眼相聚模子图解

基于卷积神经相聚的缺欠主若是欺诈眼睛数据行为考研集，输入到搭建好的神经相聚中进行考研。卷积神经相聚通过多数样本自我学习数据的特征，经过屡次考研后，就不错得到一个检测精度高、检测速率快且鲁棒性好的模子。本文针对该分类任务提倡了一种基于深度可分离 [16] 卷积神经相聚的二分类模子，况且相聚的举座搭建收受简便卷积下采样堆叠，临了通过全联接层将图像特征抽象成两个概率数值用以透露东说念主眼是否闭合。通盘相聚结构如表1以及如图3所示。

3.1.2. 疲顿分析

眼部疲顿分析不错左证特征索取相聚输出的缺欠点信息定位出眼睛位置，咱们通过一定的缺欠来检测现时帧的东说念主脸图像眼部是否闭合，临了咱们不错通过PERCLOS [17] 缺欠来判断驾驶员是处于眨眼如故睡着状态。底下咱们分离先容两种判断眼睛闭合的缺欠，以及PERCLOS算法的基原意趣。

1) 眼睛纵横比

基于东说念主眼纵横比的判断缺欠主若是左证眼睛的6个缺欠点来判断眼睛是否闭合。如下图4所示，咱们领先诡计EAR值，然后左证设定的阈值来判断眼睛是否处于闭合状态。关于闭合阈值的聘用咱们一般通过履行取得，咱们不错采集10到20个东说念主的眼睛从睁开到闭合的过程，记载东说念主眼刚闭合时候的EAR值，临了将这些EAR值求平均行为判断东说念主眼闭合的阈值。该缺欠诚然不错快速诡计出东说念主眼睁闭状态，但其容易受到东说念主眼和录像头距离的影响，当东说念主眼离录像头较远时，会由于眼部缺欠点密集而导致检测精度下落。

图4. 眼睛宽高比界说图

2) 二分类卷积相聚模子

为了幸免东说念主眼状态检测受到眼睛和相机距离的影响，咱们使用二分类卷积相聚模子来判断眼睛是否闭合。该缺欠只消在考研数据充分的情况下不错很好预测东说念主眼状态况且具有较高鲁棒性。关于考研样本的录取，为了让东说念主眼图像的配景面积最小化，咱们不错左证东说念主眼周围缺欠点取出傍边眼图行为考研数据。这么不仅在模子前向推理的过程中不错节俭多数诡计还不错更容易考研高精度模子。因此，使用这种二分类卷积相聚来检测眼睛的状态愈加符合本文所想象的疲顿驾驶检测系统。

3) PERCLOS算法

PERCLOS算法在1999年提倡，PERCLOS 是指在一定的时代周期内，眼睛处于闭合状态的时代所占的比例。PERCLOS行为公认的疲顿状态评判范例，被粗糙应用于疲顿驾驶检测时刻中。PERCLOS通过分析东说念主眼开闭气象和疲顿进程之间的关联，得出了左证闭眼时代比例就不错快速准确地判断出驾驶员疲顿度的论断。PERCLOS有P70、P80以及EM三个范例，三种范例分离透露眼睑遮住瞳孔面积的70%、80%和50%时为东说念主眼处于闭眼状态，然后据此求出单元时代内的东说念主眼闭合率。数据知道PERCLOS算法在P80范例下对疲顿驾驶的检测服从最灵验。本论文聘用基于P80范例的PERCLOS算法来判断驾驶员的疲顿度，P80范例界说：如果眼睑遮住瞳孔的面积在80%以上咱们以为东说念主眼处于闭合状态，并据此统计东说念主眼闭合时代占法例时代的百分比。如下图5为眨眼过程暗意图：

图5. P80眨眼过程暗意图

图5中横轴透露时代，纵轴透露眼睑睁开进程。图中t1到t4透露眼睛闭合过程中不同阶段所用的时代，其中 t 3 − t 2 透露眼睑睁开度小于20%的时代， t 4 − t 1 透露眼睑睁开度小于80%的时代。因此P80的诡计公式为：

P 80 = t 3 − t 2 t 4 − t 1 × 100 %

由上式不错看出，现时P80参数越大的时候，疲顿进程越高，反之清醒进程越高。因此咱们使用P80主张来实时监测驾驶员的疲顿气象。

通过上文关于睁闭眼检测相聚先容，咱们不错精确、快速地完成睁闭眼的判断，然而单凭某帧图像的眼部状态还不及以判定驾驶员是否疲顿。咱们在纲领想象阶段先容了PERCLOS算法，通过诡计单元时代内闭眼时代占比来细目驾驶员是否处于疲顿状态。关联词在骨子的编码过程中，咱们将时代办法替换成帧，咱们通过统计指定数目帧 [18] 内的闭眼帧所占比例来雷同PERCLOS主张。

图6. 眼部疲顿检测经过

在骨子的编码过程中，咱们通过一个先进先出队伍来存储指定数目图片的检测落幕。当相机采集到新的一帧图顷刻，咱们将队头元素弹出，并将该帧图片的睁闭眼检测落幕存入队尾。接着咱们再行诡计队伍中闭眼帧占的比例，通过将诡计出来的闭眼率与设定的阈值比较，当闭眼率大于设定的阈值时，疲顿检测系统应实时发出报警来表率驾驶东说念主员的驾驶行径。关于该阈值的聘用，咱们通过统计10到20东说念主模拟闭眼睡着状态下的闭眼率得到，履行标明，通过该缺欠录取的阈值在骨子的疲顿检测中具有较高的准确性。PERCLOS算法在本文中的骨子应用经过如下图6所示。

3.2. 基于纵横比的嘴部状态分析

打哈欠次数增加是疲顿驾驶的明显特征之一。一般来说，打哈欠的次数越多、哈欠捏续时代越长，标明驾驶员疲顿进程越深。本文关于嘴巴的状态检测缺欠使用基于宽高比诡计的缺欠，如下图7所示。

图7. 嘴巴纵横比暗意图

咱们假定图中的两条高分离为h1，h2，宽为w，嘴部纵横比为MAR，则有如下诡计公式：

M A R = h 1 + h 2 2 × w

诡计出MAR值之后，咱们将其与张嘴阈值对比，当MAR大于阈值的时候，系统将该帧东说念主脸图检测为嘴部张大状态。咱们对嘴部是否打哈欠的臆测仍然使用PERCLOS准则，取前80帧连气儿东说念主脸图的嘴巴检测落幕行为嘴部疲顿判定队伍，当队伍中嘴部张大率大于40%时，系统将驾驶员确现时状态判定为疲顿。

3.3. 基于坐标变换的头部姿态臆测

在驾驶员驾驶过程中处于疲顿状态时，驾驶员会出现把稳力漫衍、颈部肌肉限定力下落等局面，导致驾驶员的头部姿态处于下倾状态。因此咱们在疲顿驾驶检测任务中需要将垂头睡着的情况辩论进去，以防在垂头睡着时，系统由于检测不到东说念主脸信息而不行实时发出警报提醒驾驶员。

本文收受基于坐标变换的头部姿态估诡计法，领先左证缺欠点检测模块索取到的东说念主脸特征点，取出眉毛傍边角点、眼睛傍边角点、鼻子傍边角点、嘴巴傍边角点、嘴巴下角点以及下巴下角点共14个东说念主脸缺欠点行为诡计头部姿态的基准点。求出东说念主脸图像中的这14个点与三维天下坐标系中对应的14个点之间的映射关联，临了咱们从变换函数中取出面部属倾角的欧拉角来判断驾驶员是否处于垂头睡着状态。底下咱们从坐标变化、相机标定以及欧拉角诡计三个方面张开具体的先容。

3.3.1. 坐标变换

从三维空间的坐标点映射到图像中的坐标点需要经过两次变换：1) 将天下坐标系中的点变换到相机坐标系中；2) 将相机坐标系的点变换到图像平面中。

其中三维坐标系是基于咱们在实在天下中界说的坐标系，其中蕴含了三维空间物体的关联；相机坐标系在相机里面界说的一种三维坐标系，是天下坐标点到图像坐标点之间调养的桥梁；图像坐标系行为一种二维坐标系，不错给东说念主们提供一种直不雅的二维感官。不才图8中展示了从天下坐标系到图像坐标系的调养过程。

图8. 坐标变换暗意图

其中叶界坐标系到相机坐标系是一种三维点到三维点之间的调养，假定天下坐标系中某点坐标为(U， V， W)，对应到相机坐标系中的点坐标为(X， Y， Z)，咱们有如下变换公式：

[ X Y Z ] = R [ U V W ] + t

将其张开：

[ X Y Z ] = [ r 00 r 00 r 00 t x r 00 r 00 r 00 t y r 00 r 00 r 00 t z ] [ U V W 1 ]

其中R为旋转矩阵，t为平移向量，这两个参数属于相机的外参。如果咱们有成对的天下坐标系和相机坐标系点，咱们就不错欺诈线性代数的学问求解出相机外参。相机坐标系到图像坐标系的坐标调养公式如下：

[ x y z ] = λ [ f x 0 c x 0 f y c y 0 0 1 ] [ X Y Z ]

式中x，y是相机坐标点在图像坐标系中的投影点坐标，λ是比例因子，fx、fy、cx、cy是相机里面参数，通过相机标定不错得到。临了咱们将图像坐标系中的点通过放缩和平移变换就不错得到像素坐标中的点，也即是通过相机采集到的图像中的点坐标。通过上头的公式咱们不错看出，如果咱们有了相机内参、像素坐标系中的点坐标以及天下坐标系中的点坐标，就不错求出从相机坐标系到天下坐标系变换参数：旋转矩阵和平移向量，有了这两个参数咱们就不错就出面部旋转欧拉角了。

3.3.2. 相机标定

由于图片从相机坐标映射到图像坐标时会产生畸变，为了减少相机采集到的图像与东说念主眼不雅察图像之间的互异，咱们就需要聘用合适的相机内参和相机外参，相机标定即是为了管束这一任务而出身的。咱们聘用一个口舌棋盘行为模板图片，将其表里角点信息行为标定输入，在标定过程中咱们左证落幕对相机进行校正，临了输出相机的内参矩阵和畸变统统(如下表2)。其中相机的焦距为(6.5308， 6.5308)，相机焦点为(3.1950， 2.3950)。

表2. 相机内参矩阵K和畸变统统D

3.3.3. 欧拉角诡计

从上文先容中，咱们照旧知说念左证像素坐标点以及天下坐标点不错求出旋转矩阵R。左证罗德里格斯旋转 [19] 公式，咱们不错将旋转矩阵透露成欧拉角构成的正余弦矩阵，如下式：

R = [ cos α cos β sin γ cos α − cos γ sin α cos γ sin β cos α + sin γ sin α cos α sin β sin γ sin β sin α + sin γ sin α cos γ sin β sin α − sin γ cos α − sin β sin α cos β cos α cos β ]

咱们不错得到欧拉角诡计公式：

{ α = arctan ( r 21 r 22 ) β = arctan ( − r 20 r 21 2 + r 22 2 ) γ = arctan ( r 21 r 11 )

左证欧拉角诡计公式，咱们就不错诡计出面部属倾角。在骨子的编码过程中，咱们相似模仿PERCLOS念念想，录取指定数目的图像，诡计这些图像中处于垂头状态的图像所占的比例。当垂头率大于指定阈值的时候，系统应当发出报警，本文录取的垂头率阈值为40%，指定的图像数目为80帧。

4. 履行测试与落幕分析

本文的履行环境为一般的履行室环境，使用Visual Studio 2015行为斥地器用，opencv3.0和C++斥地谈话进行。咱们将windows平台考研的模子部署到Ubuntu需要经过模子调养过程，本论文使用的是MNN模子。本论文基于Ubuntu系统对模子的功能、性能等主张作念了简便的测试。咱们通过底下三个末节详备先容测试过程及落幕。

4.1. 功能性测试

4.1.1. 通过眼睛状态检测疲顿

咱们在通过眼睛部位特征检测疲顿度的时候，领先需要对每一帧像片的睁闭眼作念出准确臆测，如下图9所示为某一帧像片现时眼睛是处于睁开如故处于闭合状态。图中左上角cur eye即是现时帧的眼睛状态，当眼睛睁开时知道normal (右图)，当眼睛闭合时知道为close (左图)。图中眼睛部位通过黄色的矩形框框出，关于眼部的检测咱们是通过二分类卷积神经相聚模子预测的。

图9. 现时帧的眼睛状态

关联词，咱们并不行只是通过某一帧的睁闭眼状态来判断驾驶员是否疲顿，因为还有眨眼的情况存在。因此咱们通过成立一个队伍来判断驾驶员是否疲顿，在这个队伍中会记载前80帧图像的睁闭眼落幕，咱们通过诡计这个队里中闭眼帧的占比来判断现时驾驶员是否疲顿。经过频繁测试，咱们聘用40%行为疲顿判定阈值，当队伍中图片的闭眼率大于40%，则发出报警辅导驾驶员现时照旧处于疲顿状态。测试结构如下图10所示。

图10. 左证眼部状态检测疲顿

图11. 现时队伍统统图像的闭眼率

图11 eye ratio透露现时队伍统统图像的闭眼率，当闭眼率小于40%时，系统判为ok (如左上图所示)；当闭眼率大于40%时，系统会判为danger (如右上图所示)标明此时处于疲顿状态。除此以外咱们在系统打印日记的地点打印了前80帧图像的眼睛状态，其中0透露眼睛睁开，1透露眼睛闭合。队伍日记上头的eye state即是现时这帧像片的眼睛状态，其与眼睛状态队伍的临了一帧像片的0相对应。

4.1.2. 通过嘴巴状态检测疲顿

咱们在对嘴巴作念系统测试的时候同眼睛一样，分为每一帧的嘴巴状态识别以及现时左证嘴巴队伍判断驾驶员是否疲顿。如下图12所示为某一帧的嘴巴检测落幕，图中左边的cur mouth知道的即是现时帧图像的检测落幕，从图中咱们不错看出当嘴巴处于通常状态时，cur mouth知道为normal；当嘴巴处于张大状态时，cur mouth知道为yaw。图中嘴巴区域的三条线分离透露1条宽2条高，咱们通过嘴巴的宽高比来诡计出现时状态下嘴巴是否处于张大状态。

图12. 现时帧的嘴部状态

相似，仅凭某一帧图像中的嘴巴状态咱们还不及以判定驾驶员就在打哈欠。因此，咱们对嘴巴也设定了一个队伍，记载前80帧像片的嘴巴状态。当嘴巴张大比率跨越40%时，系统发出报警辅导。如下图13所示，左下角的mouth ratio即为嘴巴队伍的张大比率，当小于40%时，知道为OK (左图)；当大于40%时，知道为yawing (右图)。图14中左下图知道为现时帧的嘴巴宽高比和现时的嘴巴队伍记载的每一帧嘴巴识别落幕，0透露嘴巴为通常状态，1透露嘴巴为张大状态(图14)。

图13. 左证嘴巴状态检测疲顿

图14. 现时队伍统统图像的张嘴率

4.1.3. 通偏激部姿态检测疲顿

关于某帧图像的头部姿态判定咱们是通过东说念主脸14个缺欠点来诡计的，这14个缺欠点位置如下图15的红色点透露。当头部处于通常驾驶状态时，图15中的左上角cur pose知道为normal (左图)；当东说念主头部低下时，cur pose知道为down (右图)。

图15. 现时帧的头部状态

咱们相似使用队伍来判断驾驶员是否睡着，当队伍中的图像垂头率大于40%时，系统将会判断为垂头睡着，并发出报警辅导；如下图16所示，图中左下角的pose ratio即为队伍中图像的垂头率，当其小于40%时，pose ratio处知道ok；当其大于40%时，pose ratio出知道为danger。图17为现时时刻前80帧图像的头部姿态检测落幕，0透露头部姿态通常，1透露头部低下。pitch angle透露现时帧的头部属倾角。

图16. 左证头部状态检测疲顿

图17. 现时帧头部姿态检测落幕

4.2. 精度测试

本文关于疲顿驾驶检测基于眼睛、嘴巴、状态的精度进行了详备测试，测试落幕如下表3所示。从表中咱们不错看出关于眼睛和嘴巴状态的预测精度分离是97.1%和97.5%，关于头部姿态的预测准确率为88.1%，相对偏低。

表3. 眼睛、嘴巴、头部姿态预测精度

接下来咱们分离模拟驾驶员疲顿场景来检测由眼睛检测出疲顿、由嘴巴检测出打哈欠、由头部姿态检测出疲顿的精度，如下表4所示。从表中不错看出关于由眼睛和嘴巴检测出疲顿的准确率相对较高，关于头部姿态的预测精度相对较低。

表4. 通过眼睛、嘴巴、头部姿态预测疲顿场景的精度

4.3. 速率测试

对疲顿检测系统的速率测试咱们主要通过对图像预处理时代、东说念主脸检测时代、特征索取时代、眼睛状态预测时代进行测试，由于嘴部状态和头部姿态咱们都是通过数学诡计得出，因此对其速率测试略过。

底下咱们一次性测试1000帧图片，对各个阶段的时代求平均，不错得到如下表5所示落幕。从表中咱们不错看出疲顿检测系统关于一张像片的总的检测时代在62 ms傍边，因此平均1秒不错检测16张傍边的东说念主脸图，基本得志实时性需求。

表5. 疲顿检测系统各个阶段的平均时代

5. 论断与预测

本文基于神经相聚对检测疲顿驾驶的缺欠进行了一定的研究，提倡了基于神经相聚的疲顿检测缺欠：疲顿臆测模块包含三个子模块：通过眼睛检测疲顿度、通过嘴巴检测疲顿度、通偏激部姿态检测疲顿度。此外，模仿PERCLOS教化准则，提倡了基于一定时代周期的疲顿判定法，使系统关于驾驶员的疲顿预估愈加准确。履行落幕标明，使用本文提倡的缺欠，概况达成多特征点的定位与识别，且左证眼部状态以及嘴部状态预测疲顿的精度分离达到了97.1%和97.5%，左证头部状态预测疲顿的精度达到了88.1%，处理速率也达到了每张图片62 ms。相较于传统只基于单一特征检测疲顿的缺欠，本文提倡的算法在保证准确率和服从的前提下，提高了详尽检测才气。

本文对所想象的疲顿驾驶检测缺欠与当今已有的管束有辩论进行了对比，并在测试过程中阐扬出一定的优胜性。然而，本文所提倡的有辩论仍然有一些不及之处，有如下预测：1) 咱们在测试阶段发现，系统关于头部姿态的预测精度只是唯有85%傍边，这还不行得志骨子场景的需求，因此关于头部姿态臆测的有辩论有待优化；2) 系统关于鲁棒性的辩论还不够充分，在骨子的驾驶场景中可能会存在曝光过度、活泼车出现改变、驾驶员各式不良的驾驶俗例等。因此，在骨子进入运行前，还需要对这些场景作念出优化有辩论。3) 在保证精度的前提下，处理服从为每张图片62 ms，有待优化与提高。

基金格局

国度当然科学基金(62276167)。

著述援用

张育榕，谷 昆，张轩雄. 基于神经相聚的疲顿驾驶检测缺欠研究Research on Fatigue Driving Detection Method Based on Neural Network[J]. 表面数学， 2023， 13(05): 1298-1314. https://doi.org/10.12677/PM.2023.135133

参考文件探花 内射

• 基于
• on
• 探花 内射
• Neural
• Based