著录项信息
| 专利名称 | 一种基于机器视觉的疲劳驾驶监控方法及系统 |
| 申请号 | CN200910107180.2 | 申请日期 | 2009-05-06 |
| 法律状态 | 权利终止 | 申报国家 | 中国 |
| 公开/公告日 | 2009-12-02 | 公开/公告号 | CN101593425 |
| 优先权 | 暂无 | 优先权号 | 暂无 |
| 主分类号 | 暂无 | IPC分类号 | 暂无查看分类表>
|
| 申请人 | 深圳市汉华安道科技有限责任公司 | 申请人地址 | 广东省深圳市南山区艺园路马家龙田厦创意产业园27栋3013A
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
| 权利人 | 深圳市汉华安道科技有限责任公司 | 当前权利人 | 深圳市汉华安道科技有限责任公司 |
| 发明人 | 吴泽俊;程如中;赵勇;王强 |
| 代理机构 | 深圳鼎合诚知识产权代理有限公司 | 代理人 | 郭燕 |
摘要
本发明公开了一种基于机器视觉的疲劳驾驶监控方法及系统,包括:A1、采集驾驶员脸部图像;B1、基于脸部图像根据预先训练的人脸特征分类器定位人脸区域;C1、基于人脸区域根据预先训练的人眼特征分类器定位人眼区域;D1、在人眼区域中获取虹膜图像;E1、基于虹膜图像分析眼睛闭合状态;F1、将眼睛闭合状态和疲劳标准比较,判断驾驶员是否处于疲劳状态。本发明通过采用人脸分类器和人眼分类器分别检测人脸和人眼,减少了个体性差异对检测结果的影响,减少了光照和人脸姿态对检测结果的影响,提高了驾驶员眼部定位的准确性和眼睛闭合判断的准确性,从而提高了疲劳判断的准确性。
一种基于机器视觉的疲劳驾驶监控方法及系统\n【技术领域】\n[0001] 本发明涉及车辆的安全驾驶技术领域,尤其涉及疲劳驾驶的监控技术领域。\n【背景技术】\n[0002] 疲劳驾驶是当今交通安全的重要隐患之一。驾驶员处于疲劳状态时,对周围环境的感知能力、形势判断能力和对车辆的操控能力都有不同程度的下降,容易发生交通事故。\n因此,研究开发高性能的驾驶员疲劳状态实时监测及预警技术,能够有效减少疲劳驾驶带来的隐患,从而达到保障驾驶员人身安全和周边相关人员安全的目的。\n[0003] 驾驶员疲劳检测系统是指,通过车内和车外的附加设备对驾驶员生理信号、驾驶员生理反应特征、驾驶员操作行为或者车辆状态等信息进行采样,可以单一对一种信息进行评估也可以对多种参数综合评估,最后运用可靠的疲劳模型来判断驾驶员是否处于疲劳状态。如果驾驶员处于疲劳驾驶状态,系统发出报警信息提示驾驶员危险状态或者直接通过车载电控接口对车辆进行控制,从而减少由于疲劳驾驶而产生交通事故发生率。\n[0004] 目前,疲劳驾驶预警技术一般通过三种方式实现,包括以驾驶员的脸部和眼部为检测对象的疲劳驾驶预警技术、以驾驶员的生理指标为检测对象的疲劳驾驶预警技术、以驾驶员的操作行为为检测对象的疲劳驾驶预警技术。\n[0005] 以驾驶员的脸部和眼部为检测对象的疲劳驾驶预警技术,也称为基于机器视觉的疲劳驾驶预警技术,其主要通过检测脸部表情和眼部闭合情况来判断驾驶员的疲劳程度,一般采用摄像头进行脸部和眼部图像采集,再通过图像分析方法确定脸部表情和眼部状态。目前的基于机器视觉的疲劳监控方法的主要问题在于:\n[0006] 1、对驾驶员脸部和眼部的定位不准确。因驾驶员脸部和眼部特征个体差异性较大,采用现有监控方法对各种驾驶员的脸部和眼部进行定位时,准确性很低,而上下眼睑特征点位置和眉毛位置的个体差异性也较大,影响眼睛闭合程度判断的准确性,最终影响疲劳状态判断的准确性。\n[0007] 2、图像处理效率不高。对采集的图像处理速度慢,几秒钟才能判断一帧图像,导致不能及时监控驾驶员的疲劳状态。而在驾驶过程中,驾驶员经常会在短时间内出现困乏(例如打盹)或走神的现象,如果不能及时监控到并提醒驾驶员,则使疲劳监控的意义大打折扣。\n[0008] 3、在图像处理过程中,采用现有的方法(例如现有的主动形状模型法)受光线影响较大,判断的准确性较低。\n【发明内容】\n[0009] 本发明要解决的主要技术问题是,提供一种基于机器视觉的疲劳驾驶监控方法及系统,消除个体性差异,提高驾驶员眼部定位的准确性和眼睛闭合判断的准确性。\n[0010] 根据本发明的一方面,提供一种基于机器视觉的疲劳驾驶监控方法,包括:\n[0011] A1、采集驾驶员脸部图像;\n[0012] B1、基于脸部图像定位人脸区域;\n[0013] C1、基于人脸区域定位人眼区域;\n[0014] D1、在人眼区域中获取虹膜图像;\n[0015] E1、基于虹膜图像分析眼睛闭合状态;\n[0016] F1、将眼睛闭合状态和疲劳标准比较,判断驾驶员是否处于疲劳状态;\n[0017] 所述步骤B1包括:\n[0018] B11、确定人脸检测感兴趣区域,当采集的图像为摄像头初始化后的第一帧图像时,在全图像上搜索人脸并定位人脸区域,当采集的图像为第一帧之后的图像时,提取前一帧图像的人脸区域并进行设定数值的扩大后作为人脸检测感兴趣区域;\n[0019] B12、将人脸检测感兴趣区域的图像进行灰度化和归一化处理;\n[0020] B13、根据预先训练的人脸特征分类器中记录的人脸特征分析所述人脸检测感兴趣区域的图像,从而定位人脸区域。\n[0021] 其中,在所述步骤B1中根据预先训练的人脸特征分类器定位人脸区域;在所述步骤C1中,根据预先训练的人眼特征分类器定位人眼区域。\n[0022] 根据本发明的另一方面,还提供一种基于机器视觉的疲劳驾驶监控系统,包括:用于采集驾驶员脸部图像的第一单元;用于基于脸部图像定位人脸区域的第二单元,所述第二单元根据预先训练的人脸特征分类器定位人脸区域;用于基于人脸区域定位人眼区域的第三单元,所述第三单元根据预先训练的人眼特征分类器定位人眼区域;用于在人眼区域中获取虹膜图像的第四单元;用于基于虹膜图像分析眼睛闭合状态的第五单元;用于将眼睛闭合状态和疲劳标准比较,判断驾驶员是否处于疲劳状态的第六单元。\n[0023] 其中,所述第二单元包括:用于确定人脸检测感兴趣区域的第一子单元,当采集的图像为摄像头初始化后的第一帧图像时,在全图像搜索人脸并定位人脸区域,当采集的图像为第一帧之后的图像时,所述第一子单元提取前一帧图像的人脸区域并进行设定数值的扩大后作为人脸检测感兴趣区域;用于将人脸检测感兴趣区域的图像进行灰度化和归一化处理的第二子单元;用于根据预先训练的人脸特征分类器中记录的人脸特征分析所述人脸检测感兴趣区域的图像,从而定位人脸区域的第三子单元。\n[0024] 第三单元包括:用于在人脸区域中确定人眼检测感兴趣区域的第四子单元;用于根据预先训练的人眼特征分类器中记录的人眼特征分析人眼检测感兴趣区域的图像,从而定位人眼区域的第五子单元。\n[0025] 本发明通过采用人脸分类器和人眼分类器分别检测人脸和人眼,减少了个体性差异对检测结果的影响,减少了光照和人脸姿态对检测结果的影响,提高了驾驶员眼部定位的准确性和眼睛闭合判断的准确性,从而提高了疲劳判断的准确性。\n[0026] 本发明还在检测人脸和人眼之前先确定人脸检测感兴趣区域和人眼检测感兴趣区域,减少了图像搜索的数据处理量,提高了图像处理速度和处理效率,从而提高了单位时间内图像的处理帧数,能够对驾驶员进行实时监控,增强了驾驶的安全性。\n【附图说明】\n[0027] 图1为本发明一种实施例的结构示意图;\n[0028] 图2为本发明一种实施例的流程图;\n[0029] 图3为本发明另一种实施例的流程图;\n[0030] 图4为灰度效果对比图;\n[0031] 图5为人脸定位效果示意图;\n[0032] 图6为人眼定位效果示意图;\n[0033] 图7a、图7b为人眼图像处理效果图;\n[0034] 图8为改进的PERCLOS标准原理示意图。\n【具体实施方式】\n[0035] 下面通过具体实施方式结合附图对本发明作进一步详细说明。\n[0036] 本发明通过摄像头获取实时图像,对驾驶员的脸部特征和眼部特征图像进行提取,然后对所提取的区域进行一系列的图像处理和运算,得到驾驶员眼睛的闭合程度以及时间参数,结合疲劳判断标准判断驾驶员是否处理疲劳状态。\n[0037] 本发明的一种实施例的结构图请参考图1所示,疲劳驾驶监控系统包括第一单元\n10、第二单元20、第三单元30、第四单元40、第五单元50和第六单元60。第一单元10用于采集驾驶员脸部图像,第二单元20用于基于脸部图像定位人脸区域,第三单元30用于基于人脸区域定位人眼区域,在本实施例中,第二单元20根据预先训练的人脸特征分类器定位人脸区域,第三单元30根据预先训练的人眼特征分类器定位人眼区域;第四单元40用于在人眼区域中获取虹膜图像,第五单元50用于基于虹膜图像分析眼睛闭合状态;第六单元60用于将眼睛闭合状态和疲劳标准比较,判断驾驶员是否处于疲劳状态。其中:\n[0038] 在本实施例的一个具体实例中,第二单元20包括第一子单元21、第二子单元22和第三子单元23。第一子单元21用于确定人脸检测感兴趣区域,当采集的图像为摄像头初始化后的第一帧图像时,在全图像搜索人脸并定位人脸区域,当所述第一单元10采集的图像为第一帧之后的图像时,第一子单元21提取前一帧图像的人脸区域并进行设定数值的扩大后作为人脸检测感兴趣区域。第二子单元22用于将人脸检测感兴趣区域的图像进行灰度化和归一化处理;第三子单元23用于根据预先训练的人脸特征分类器中记录的人脸特征分析所述人脸检测感兴趣区域的图像,从而定位人脸区域。\n[0039] 在另一个具体实例中,第二单元20还可以进一步包括第六子单元24,第六子单元\n24用于将第二子单元22处理后的人脸检测感兴趣区域的图像按照设定比例缩小,然后第三子单元23在将缩小的人脸检测感兴趣区域的图像根据人脸特征分类器进行分析,从而定位人脸区域。\n[0040] 在本实施例的一个具体实例中,第三单元30包括第四子单元31和第五子单元32,第四子单元31用于在人脸区域中确定人眼检测感兴趣区域,第五子单元32用于根据预先训练的人眼特征分类器中记录的人眼特征分析人眼检测感兴趣区域的图像,从而定位人眼区域。\n[0041] 在本实施例的一个具体实例中,第四单元40包括第七子单元41和第八子单元42,第七子单元41用于将人眼区域的图像进行亮度增强,第八子单元42用于采用自适应阈值的OTSU图像分割法得到虹膜图像。在另一具体实例中,第四单元40还包括第九子单元43和第十子单元44,第九子单元43用于将第七子单元41处理后的图像进行去噪处理,并将去噪处理后的图像送给第八子单元42,第十子单元44将第八子单元42得到的虹膜图像进行图像求反处理。\n[0042] 本发明的一种实施例的流程图请参考图2所示,包括以下步骤:\n[0043] 步骤201,采集驾驶员脸部图像。通过设置在驾驶员前方的摄像头(例如红外CCD摄像头或CMOS摄像头)采集人脸图像,并对人脸图像进行适当处理,例如根据数据格式的需要,将获取的UYVY格式图像转换成YUV格式,以符合数据库格式的要求。\n[0044] 步骤202,基于脸部图像定位人脸区域。在定位人脸时根据预先训练的人脸特征分类器定位人脸区域。为制作人脸特征分类器,采用AdaBoost算法对大量的人脸样本进行检测,AdaBoost算法使用一种基于Harr-like特征的训练算法训练出人脸特征分类器文件(haarcascade_faces.xml),该分类器在大量人脸样本数据基础上训练出来,具有较强的普适性。在读取每帧视频图像后,根据人脸特征分类器文件中所记录的人脸Harr特征来分析图像信息,然后再采用AdaBoost算法及相关人脸特征分类器对图像进行模式识别,对图像中的人脸区域进行标定。\n[0045] 在本实施例的一种实例中,在定位人脸区域前先确定人脸检测感兴趣区域,只在较小范围内搜索人脸,减少图像处理面积,从而减少数据处理量。基于脸部图像定位人脸区域的步骤中还对采集的人脸图像进行预处理,例如,基于脸部图像定位人脸区域步骤包括:\n[0046] 1、确定人脸检测感兴趣区域。当采集的图像为摄像头初始化后的第一帧图像时,在全图像上搜索人脸,并根据人脸特征分类器定位人脸区域,当采集的图像为第一帧之后的图像时,提取前一帧图像的人脸区域并进行设定数值的扩大后作为人脸检测感兴趣区域,例如将前一帧图像的人脸区域向外扩展1厘米后作为人脸检测感兴趣区域。\n[0047] 2、将人脸检测感兴趣区域的图像进行灰度化和归一化处理。例如将步骤201中转换成的YUV格式的图像转换成单通道灰度图像,并进行图像归一化处理。\n[0048] 3、对预处理后的图像采用人脸特征分类器中记录的人脸特征分析所述人脸检测感兴趣区域的图像,通过人脸特征分类器中记录的人脸特征,在人脸检测感兴趣区域中完成对图像中人脸区域的检测和定位。\n[0049] 其中,也可以先将图像进行灰度化和归一化处理,然后再基于前一帧图像的人脸区域确定当前帧图像的人脸检测感兴趣区域。\n[0050] AdaBoost算法能够从大量的人脸样本灰度图像中提取出人脸图像中最具有区别性的特征,构造出一个具有高度精确的人脸特征分类器;然后,使用该分类器中记录的人脸Haar特征对人脸检测感兴趣区域进行检测和定位,从而获取最匹配的人脸区域。\n[0051] 在完成人脸区域定位后执行步骤203。\n[0052] 步骤203,基于人脸区域定位人眼区域。在定位人眼时根据预先训练的人眼特征分类器定位人眼区域。人眼检测的目的是精确定位到人眼区域,尽量去除眉毛和头发的影响。人眼检测采用与人脸检测一样的方法。为制作人眼特征分类器,采用AdaBoost算法对大量的人眼样本进行检测,使用基于Harr-like特征的训练算法训练出人眼特征分类器文件,该分类器在大量人眼样本数据基础上训练出来,具有较强的普适性。\n[0053] 在本实施例的一种实例中,在定位人眼区域前先确定人眼检测感兴趣区域,具体包括:\n[0054] 1、在人脸区域中确定人眼检测感兴趣区域。可以采用多种方案来确定人眼检测感兴趣区域,例如采用“三庭五眼”法确定人眼检测感兴趣区域,即将人脸在纵向上进行三等分,在横向上进行五等分,所述人眼检测感兴趣区域在纵向上位于中间部分的偏上部分,在横向上位于第二和第四部分。\n[0055] 2、根据预先训练的人眼特征分类器中记录的人眼特征分析人眼检测感兴趣区域的图像,从而定位人眼区域。\n[0056] 定位人眼区域后执行步骤204。\n[0057] 步骤204,在人眼区域中获取虹膜图像,在一种实例中,先将人眼区域的图像进行亮度变换,增强其亮度;然后采用自适应阈值的OTSU图像分割法得到虹膜图像,然后执行步骤205。\n[0058] 步骤205,基于虹膜图像分析眼睛闭合状态。根据得到的虹膜图像检测虹膜的边缘信息,包括上下眼睑点等,获得实时的上下眼睑点之间的距离,得到眼睛闭合状态,然后执行步骤206。\n[0059] 步骤206,将眼睛闭合状态和疲劳标准比较,判断驾驶员是否处于疲劳状态,如果判断驾驶员处于疲劳状态,则执行步骤207,通过声音或灯光等方式提醒驾驶员。如果判断驾驶员没有处于疲劳状态,则继续监控,转向步骤201。\n[0060] 本实施例中采用AdaBoost检测算法和人脸特征分类器、人眼特征分类器分别定位人脸和人眼,具有较强的普适性,减少了个体性差异对检测结果的影响,同时AdaBoost算法受光照和人脸姿态影响住较小,检测准确度较高,因此提高了人脸和人眼定位的准确性,从而也提高了对驾驶员疲劳状态判断的准确性。\n[0061] 本实施例中还采用先确定人脸和人眼检测感兴趣区域的方案减少了图像数据的处理量,使每帧图像的处理时间减少,单位时间内处理的图像帧数增加,有利于疲劳驾驶监控技术的产业化。\n[0062] 如图3所示为另一种具体实施例的流程图,包括以下步骤:\n[0063] 步骤301,初始化摄像头。\n[0064] 步骤302,初始化人脸特征分类器参数,初始化图像位置信息。\n[0065] 步骤303,通过设置在驾驶员前方的摄像头获取图像,并将图像转换为适合的图像格式,例如如果拍摄的图像是UYVY格式图像,则转换成YUV格式。\n[0066] 步骤304,根据上一帧的检测结果确定人脸检测感兴趣区域。\n[0067] 步骤305,将YUV图像转换为单通道灰度图像并归一化处理,然后将图像按照设定比例缩小,例如将图像缩小到原图像的1/2。\n[0068] 采用图像灰度化和直方图归一化对图像进行预处理,为人脸检测提供可靠图像信息。灰度化可以将原图像由YUV的3通道图像转化成为单通道灰度图像;直方图归一化的目的是增强灰度图像亮度对比,通过直方图变换可使图像的灰度间距拉开,从而增大反差,使图像细节清晰、特征突出,同时减少亮度不平均而造成的干扰。\n[0069] 图4由左至右分别是原始图像、灰度图像、直方图归一化后图像。从图中可以看出,经过直方图归一化,人脸的左半区域的白色光照区域比灰度图像有明显减少,且人物轮廓更加清晰,这为下一步的人脸检测提供了更加优质的图像。\n[0070] 将图像缩小进一步减少了数据处理量。\n[0071] 步骤306,采用AdaBoost检测算法和人脸特征分类器定位人脸区域,当检测到人脸时执行步骤307,当检测不到人脸时执行步骤308。\n[0072] 步骤307,根据人脸区域确定人眼检测感兴趣区域。\n[0073] 如图5所示,方框选择区域1即为通过AdaBoost算法在图像中选择的人脸区域。\n人脸区域的定位能够给人眼的定位提供基础图像,同时还能够验证人眼区域的正确位置。\n确定人脸位置后,在人脸区域上定位人眼区域可以大大节省直接在整幅图像上寻找人眼的开销,减少算法执行时间,提高算法效率。\n[0074] 在人脸区域中,采用改进的“三庭五眼”原则,确定人眼检测感兴趣区域。“三庭”指从前额中央发际线开始到下巴尖之间的距离,共分为3等分,从眉毛到鼻端的距离为中间部分,人眼检测感兴趣区域在纵向上为中间部分的上面2/3区域并适当调整扩大;“五眼”指从左耳到右耳之间的距离,共为五只眼睛的长度。两只眼睛本身为两个眼长,两眼之间为一个眼长,两眼外侧各一个眼长,共五个眼长,人眼检测感兴趣区域在横向上为第二眼长和第四眼长并适当调整扩大。\n[0075] 采用简单算法可以很快确定人眼检测感兴趣区域,然后在较小的人眼检测感兴趣区域内检测人眼,这使检测人眼的准确性和效率更高。\n[0076] 在确定人眼检测感兴趣区域后执行步骤309。\n[0077] 步骤308,初始化图像位置参数,从全图像搜索人脸区域。\n[0078] 步骤309,使用人眼特征分类器中记录的人眼Haar特征对人眼检测感兴趣区域进行检测和定位,从而获取最匹配的人眼区域。\n[0079] 通过AdaBoost算法,在读取每帧视频图像后,选定人脸区域中的局部范围作为人眼检测感兴趣区域,根据人眼特征分类器文件中所记录的人眼Harr特征在人眼检测感兴趣区域中进行图像信息分析,从而精确定位人眼区域。图6清楚显示出在人脸区域内定位人眼区域的效果截图。该图像就是进行人眼状态识别的初始化图像,后续图像处理都是针对这块区域进行的。图中,方框选择区域1为检测的人脸区域,方框选择区域2为检测的人眼区域。\n[0080] 如果在人眼检测感兴趣区域成功检测到了人眼区域,则执行步骤311。\n[0081] 在当前帧无法通过人眼特征分类器匹配检测到人眼区域时,则执行步骤303,检测下一帧图像。如果检测到了人脸而未检测到人眼时,则执行步骤310,利用上一帧确定的人眼位置提取人眼区域,如果成功提取到人眼区域,则执行步骤311,如果仍然不能提取到人眼区域,则执行步骤303,检测下一帧图像。\n[0082] 通过上述步骤,图像处理速度从现有技术的几秒钟处理一帧图像提高到了可1秒内处理12帧图像。\n[0083] 步骤311,将眼部图像的亮度增强,突出人眼虹膜区域。\n[0084] 步骤312,图像高斯平滑去除噪音。高斯去噪是为了消除图像存在的噪声和干扰,并平滑轮廓。\n[0085] 步骤313,自适应阈值的二值化处理。当车辆处于光线较暗的环境中时,红外摄像头可能拍摄不到清晰的人脸或人眼,采用自适应阈值的二值变换是为了得到人眼虹膜的信息,例如采用自适应阈值的OTSU图像分割法对人眼图像进行处理,动态确定二值图像的阈值,利用人眼图像的灰度明显区别于其他人脸部位的特征(特别是在红外光照射情况下),使人眼图像中灰度大于或等于阈值的部分显示白色,人眼图像中灰度小于阈值的部分显示黑色,通过边缘检测、自适应的二值图像处理得到人眼拟合椭圆,从而消除眉毛、眼袋、眼角对于图像的干扰,获得虹膜的二值图像及其边缘信息,包括上下眼睑点、虹膜中心等。\n[0086] 自适应阈值的二值化处理能自适应光线变化,如夜间、隧道等特殊环境,因此经过自适应阈值的二值化处理后能够得到轮廓较分明的虹膜图像。\n[0087] 通过以上步骤,可以比较准确地将驾驶员眼部信息提取出来。该算法的适应性较强,配合红外摄像头左右两边的红外光源,可以在强光、昏暗等环境下得到人眼状态信息,从而自适应不同环境的要求。\n[0088] 步骤314,找到二值图像最大轮廓,为检测人眼状态做最后的准备。在本步骤中,还可以通过图像求反(及白色变为黑色,黑色变为白色)来突出虹膜的轮廓。\n[0089] 请参考图7a所示,从左到右分别是眼部图像经过亮度增强、去噪处理、二值化处理和图像求反处理的眼睛睁开的图像。二值化处理后得到了黑色的虹膜图像,黑色的虹膜图像中间的白点是瞳孔图像。\n[0090] 请参考图7b所示,从左到右分别是眼部图像经过亮度增强、去噪处理、二值化处理和图像求反处理的眼睛闭合的图像。由图上知,眼睛闭合后虹膜只留下很少一部分。\n[0091] 步骤315,提取虹膜轮廓并依据改进的PERCLOS判断眼睛闭合状态。依据人眼的虹膜轮廓,计算眼睛的上下眼睑点及上下眼睑间的距离,分析眼睛闭合状态,包括闭合程度和闭合时间等,并将各参数值与疲劳标准进行对比。\n[0092] 现有技术中,疲劳标准通常采用PERCLOS标准。PERCLOS标准以瞳孔为判断对象,由于瞳孔的成像效果受摄像头分辨率影响较大,并且在红外光照射情况下,瞳孔周围容易产生噪点,本实施例中疲劳标准采用改进的PERCLOS标准,即以虹膜为判断对象,将虹膜被上下眼睑遮住的区域作为眼睛闭合区域,由此计算闭合程度和闭合时间,从而判断疲劳状态。\n[0093] 上下眼睑点是指通过虹膜中心的上下方向的中心轴线与虹膜轮廓的交点。检测出上下眼睑点后即可计算出两者之间的距离。通过检测,可知眼睛正常睁开状态下的上下眼睑点之间的距离,计算实时检测的上下眼睑点之间的距离与眼睛正常睁开状态下的上下眼睑点之间的距离的比值,即可知眼睛闭合程度。当眼睛闭合程度小于设定阈值时,认为眼睛闭合。例如,正常情况下,人眼可见虹膜约为80%,当眼睛闭合程度为80%(即可见虹膜为\n20%)时认为眼睛闭合。统计一段时间内眼睛闭合的总时间和/或驾驶着眨眼一次中眼睛闭合所占时间。\n[0094] 如图8所示为驾驶着眨眼一次示意图,在时间点t0、t5,眼睛张开为最大,在时间点t1、t4,眼睛张开为80%(即可见虹膜为80%,眼睛闭合程度为20%),在时间点t2、t3,眼睛张开为20%(即可见虹膜为20%,眼睛闭合程度为80%),本实施例的疲劳标准为将眼睛闭合百分比f和设定的临界值相比较,当眼睛闭合百分比f大于临界值时,认为驾驶员处于疲劳状态。眼睛闭合百分比f为眨眼一次的过程中眼睛闭合程度大于或等于80%的时间占眼睛闭合程度小于或等于20%的时间的百分比,即:\n[0095] \n[0096] f越接近1,则代表驾驶员越接近疲劳状态。如果选定0.8为判断驾驶员疲劳与否临界值,即眼睛闭合百分比f大于0.8时认为驾驶员处于疲劳状态。\n[0097] 根据上述疲劳标准,如果检测每一帧图像中眼睛是闭合还是睁开,则只需要检测上下眼睑点之间的距离与眼睛正常睁开状态下的上下眼睑点之间的距离的比值是否大于或等于80%,如果是,则判断该帧图像中眼睛处于睁开状态,否则判断该帧图像中眼睛处于闭合状态。在单位时间内,如果眼睛闭合的连续图像帧数大于或等于80%,则判断驾驶员此时处于疲劳状态。例如,如果按照每秒10帧计算,若连续8帧的可见虹膜为20%或以下,则驾驶员处于疲劳状态。\n[0098] 在另外的实施例中,也可以采用其它的疲劳标准来判断疲劳。\n[0099] 如果判断驾驶员处于疲劳状态,则执行步骤316,发出报警信号,例如通过声音或灯光闪烁等方式提醒驾驶员。\n[0100] 上述实施例中,在检测人脸和人眼之前先确定人脸检测感兴趣区域和人眼检测感兴趣区域的技术方案除了可应用在采用人脸分类器和人眼分类器检测人脸和人眼的实施例中,还可以应用在通过其它方式检测人脸和人眼的实施例中。确定人眼检测感兴趣区域除了可应用“三庭五眼”法,还可以用其它方法,例如将检测的前一帧图像的人眼区域作适当扩大后作为该帧图像的人眼区域。\n[0101] 以上内容是结合具体的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
法律信息
- 2019-04-19
未缴年费专利权终止
IPC(主分类): G08G 1/01
专利号: ZL 200910107180.2
申请日: 2009.05.06
授权公告日: 2011.01.12
- 2011-01-12
- 2010-01-27
- 2009-12-02
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有引用任何外部专利数据! |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |