疲劳工作在线预警系统及其预警方法

1.一种疲劳工作在线预警系统，它包括电池(6)，报警装置(4)，其特征是：它还有设 置在人体头部用于采集人眼部动作的眼部图像采集装置(1)，设置在人体腰腹部的心率及呼 吸率采集装置(2)，以及训练控制接口(5)，眼部图像采集装置(1)、心率及呼吸率采集装 置(2)、报警装置(4)和训练控制接口(5)均与疲劳识别装置(3)连接，疲劳识别装置(3) 则与报警装置(4)连接；所述疲劳识别装置(3)包括采用DSP芯片的数字信号处理器(30)， 数字信号处理器(30)通过图像信号接口(31)与眼部图像采集装置(1)连接以接收眼部信 号，并利用眼部信息处理软件(33)进行处理；数字信号处理器(30)通过压力信号接口(32) 与心率及呼吸率采集装置(2)连接，接收人体的心率和呼吸率信号，并利用心率和呼吸率处 理软件(34)处理；数字信号处理器(30)通过训练控制接口(5)利用训练模板形成软件(35) 生成训练模板特征参数；数字信号处理器(30)通过疲劳分析识别软件(36)识别驾驶员的 疲劳状态；数字信号处理器(30)通过报警控制接口(37)与报警装置(4)连接。
2.根据权利要求1所述的疲劳工作在线预警系统，其特征是：所述眼部图像采集装置(1) 包括工作帽(10)，在其帽沿前端与人眼对应位置设有微型摄像头(11)，并通过信号传输线 (13)与疲劳识别装置(3)连接。
3.根据权利要求2所述的疲劳工作在线预警系统，其特征是：所述工作帽(10)的帽沿 上与驾驶员眼部对应位置设有对准其眼部的红外照明光源(12)。
4.根据权利要求1所述的疲劳工作在线预警系统，其特征是：所述心率及呼吸率采集装 置(2)包括带状织物(20)，其两端设有可活动连接的连接头(22)和连接座(23)，腰腹式 压力传感器(21)固联在带状织物(20)上，并束缚在人体腰腹部。
5.根据权利要求1所述的疲劳工作在线预警系统，其特征是：所述报警装置(4)由语 音存储和播放电路(40)、输出放大电路(41)、扬声器(42)组成；疲劳识别装置(3)根据 识别结果，通过报警控制接口(37)触发语音存储和播放电路(40)，语音信号经过放大输出， 提示驾驶员保持警觉、集中精力。
6.一种权利要求1所述疲劳工作在线预警系统的预警方法，其特征是：它的方法为，
a、系统加电启动，进行初始化；
b、由眼部图像采集装置(1)采集驾驶员眼部图像，以图像帧为单位，利用软件对驾驶 员眼部图像处理，计算眼睛的位置、瞳孔大小、开合度、眼睑闭合时间和眼睑闭合频率，然 后转入下一步；如未采集完一帧图像，则直接转入下一步；
c、由心率及呼吸率采集装置(2)采集驾驶员的心率和呼吸率压力数据，如采集完，则 利用软件计算心率和呼吸率呼吸频率及其变化；如未采集完，则直接转入下一步；
d、由软件判断目前是否处于训练状态，如处于训练状态，则生成驾驶员状态模板参数， 包括眼睛的大小、闭合的频率、瞳孔的大小和呼吸频率；如未处于训练状态，则通过疲劳倾 向判断软件，根据驾驶员眼部图像和呼吸率参数进行疲劳状态模式识别；
e、根据识别结果，如果驾驶员处于疲劳状态则通过报警装置(4)发出警报；如未处于 疲劳状态了，则转回步骤b中，重新进行检测判断。

技术领域\n本发明涉及一种预警系统，尤其涉及一种对使用者在工作过程中出现的疲劳倾向和疲劳 状态进行在线识别并告警的疲劳工作在线预警系统及其预警方法。\n背景技术\n重要岗位的值班人员在较长的工作过程中，尤其在夜间，经常会出现精神疲劳、精力集 中程度下降的情况。这将导致其出现眩晕、打盹症状，从而发生决策错误、知觉错误和操作 错误。决策错误主要是预测不准和判断错误，知觉错误包括疏忽大意、精神恍惚、注意不当、 视力下降。操作错误主要是动作不准确。这些疲劳引起的行为错误，是导致工作事故发生的 重要原因。据统计，对社会造成巨大的生命、财产损失的机动车辆交通事故中，由于驾驶员 精神疲劳造成精力不集中、甚至过度疲劳造成瞌睡而引发的死亡事故占交通事故总数的比例 超过25％。\n目前已有多项专利涉及到通过采集人的生物信息，对疲劳状态进行判别。例如，在驾驶 室内安装视频摄像机，采集驾驶员面部信息并连接图像处理设备。由于众所周知的原因，图 像的不稳定、使用人员姿态变化等会造成特征提取困难，尤其是眼睛的准确跟踪难以可靠地 实现。此外，由于非特定使用者之间生物特征存在较大差异性，导致单纯运用面部特征判断 精神状态的方法不够理想。\n还有方案采集使用者的生物电信号，例如体电、脑电等，并经过处理后作为其精神状态 判别的依据。这类方法存在对身体接触测量要求苛刻，从而造成采集装置输出个体差异较大、 使用不方便等问题，导致无法在日常生产、生活活动中在线使用。\n随着电子技术的发展，微型化、便携式图像采集装置已适于人体穿戴。使用简便而且廉 价的人体心率和呼吸率传感装置已经在医学领域获得普及应用。在常规条件下，便于采集的 心率、呼吸率等生物信号对采集装置与身体的接触要求不高，更重要的是，医学研究早已确 认这类信息与人的精神状态存在确定关系。\n发明内容\n本发明的目的就是为了解决目前所用的疲劳预警装置，不能很好的满足预警要求，无法 根据个体差异自动确定精神状态，起到预警作用等问题，提供一种具有结构规范统一，使用 方便，能准确的判断使用者精神状态，预警作用可靠并能辅助改善使用人员的精力集中程度， 预防事故发生的疲劳工作在线预警系统及其预警方法。\n为实现上述目的，本发明采用如下技术方案：\n一种疲劳工作在线预警系统，它包括电池，报警装置，它还有设置在人体头部用于采集 人眼部动作的眼部图像采集装置，设置在人体腰腹部的心率及呼吸率采集装置，以及训练控 制接口，它们均与疲劳识别装置连接，疲劳识别装置则与报警装置连接。\n所述眼部图像采集装置包括工作帽，在其帽沿前端与人眼对应位置设有微型摄像头，并 通过信号传输线与疲劳识别装置连接。\n所述工作帽的帽沿上与使用者眼部对应位置设有对准其眼部的红外照明光源。\n所述心率及呼吸率采集装置包括带状织物，其两端设有可活动连接的连接头和连接座， 腰腹式压力传感器固联在带状织物上，并束缚在人体腰腹部。\n所述疲劳识别装置包括采用DSP芯片的数字信号处理器，它通过图像信号接口与眼部图 像采集装置连接以接收眼部信号，并利用眼部信息处理软件进行处理；通过压力信号接口与 心率及呼吸率采集装置装置连接，接收人体的心率和呼吸率信号，并利用心率和呼吸率处理 软件处理；通过训练控制接口利用训练模板形成软件形成训练模板特征参数；通过疲劳分析 识别软件识别使用者的疲劳状态；通过报警控制接口与报警装置连接。\n所述报警装置包括语音存储和播放电路、输出放大电路、扬声器组成；疲劳识别装置根 据识别结果，通过报警控制接口触发语音存储和播放电路，语音信号经过放大输出，提示使 用者保持警觉、集中精力。\n一种疲劳工作在线预警系统预警方法，它的步骤为\na、系统加电启动，进行初始化；\nb、由眼部图像采集装置采集使用者眼部图像，以图像帧为单位，利用软件对使用者眼部 图像处理，计算眼睛的位置、瞳孔大小、开合度，眼睑闭合时间、眼睑闭合频率，然后转入 下一步；如未采集完一帧图像，则直接转入下一步；\nc、由心率及呼吸率采集装置采集使用者的心率和呼吸率压力数据，如采集完，则利用软 件计算心率和呼吸率呼吸频率及其变化；如未采集完，则直接转入下一步；\nd、由软件判断目前是否处于训练状态，如处于训练状态，则生成驾驶员状态模板参数包 括眼睛的大小、闭合的频率、瞳孔的大小、呼吸频率；如未处于训练状态，则通过疲劳倾向 判断软件，根据驾驶员眼部图像和呼吸率参数进行疲劳状态模式识别；\ne、根据识别结果，如果使用者处于疲劳状态则通过报警装置发出警报；如未处于疲劳状 态了，则转回步骤b中，重新进行检测判断。\n本发明在预警过程中，实时采集使用者眼部信息、心率、呼吸率信息。它采用头戴式图 像传感器，采集使用者的眼部信息。图像传感器与脸部图像的位置相对固定，获取的图像信 息受振动、环境光线的影响小，不受使用者姿势的影响。这些特点使得眼部图像的处理计算 量大为减少，提取的眼睛的动作信息更精确。采用腰腹式传感器采集使用者的心率和呼吸率 以及哈欠信息。通过信息处理提取出反应使用者精神状态相关的眼睛瞳孔变化、眼睑闭合频 率变化、眼睑闭合时间变化、心率变化和呼吸频率变化等特征参数，运用模式识别原理，分 析使用者表现出的疲劳倾向，对其疲劳状态进行匹配识别。设备根据疲劳状态判别结果，发 出警告信息，从而辅助使用者集中精力或采取相应措施，避免因疲劳原因造成工作错误和事 故。\n本发明的有益效果是：结构形式规范统一，信息采集方便精确，能更加准确的发出预警， 减少了疲劳原因造成工作错误和事故。\n附图说明\n图1为疲劳驾驶在线预警设备框图；\n图2为眼部图像采集装置组成框图；\n图3为心率及呼吸率采集装置组成框图；\n图4为疲劳识别装置组成框图；\n图5为报警装置组成框图；\n图6为疲劳工作在线预警软件的流程图；\n图7为本发明电气原理图；\n图8为疲劳识别装置电气原理图；\n图9为图像信号接口电路的电气原理图。\n其中，1.眼部图像采集装置，10.工作帽，11.微型摄像头，12.红外照明光源，13.信 号传输线，2.心率及呼吸率采集装置，20.带状织物，21.压力传感器，22.连接头，23.连 接座，3.疲劳识别装置，30.数字信号处理器，31.图像信号接口，32.压力信号接口，33.眼 部信息处理软件，34.心率和呼吸率处理软件，35.训练模板形成软件，36.疲劳分析识别软 件，37.报警控制接口，4.报警装置，40.语音存储和播放电路，41.输出放大电路，42.扬 声器，5.训练控制接口，6.电池。\n具体实施方式\n下面结合附图与实施例对本发明作进一步说明。\n疲劳工作在线预警设备由眼部图像采集装置1、心率及呼吸率采集装置2、疲劳识别装置 3、报警装置4、训练控制接口5等部分组成，系统各部分的作用关系如图1所示。\n眼部图像采集装置1的作用是采集使用者的眼部图像。它由工作帽10、微型摄像头11、 红外照明光源12和信号传输线13组成。微型摄像头11、红外照明光源12安装在工作帽10 的帽沿上，方向对准使用者眼部。红外照明光源12用于夜暗条件下增强图像清晰图。工作帽 10的结构如图2所示，工作帽10帽沿部材料可以透过红外光线。微型摄像头11选用红外线 敏感的CMOS摄像头，其取景中心指向使用者的左眼或右眼，取景范围是以该眼睛为中心的 上半脸部。图像帧分辨率640×480(30万像素)。一组近红外线发光二极管作为夜暗条件下 的照明光源，照明范围与摄像头取景范围相同。微型摄像头11、红外照明光源12、疲劳识别 装置3部分的元器件和软件代码首先装配在一块多层印刷电路板上，再安装在工作帽10的帽 沿上。\n心率及呼吸率采集装置2的使用方法类似于腰带，系于使用者的腰腹部。如图3所示， 它由带状织物20、压力传感器21、连接头22、连接座23等组成。压力传感器21与带状织 物20固定在一起。连接头22和连接座23分别固定在带状织物20的两端，连接头22和连接 座23搭扣使用，使带状织物20贴紧使用者身体。其压力传感器21信号最大幅度一般可以达 到2伏，通过信号线与疲劳识别装置3连接。\n疲劳识别装置3如图4、图7、图8所示，包括数字信号处理器30、图像信号接口31、 压力信号接口32、眼部信息处理软件33、心率和呼吸率处理软件34、训练模板形成软件35、 疲劳分析识别软件36等部分。图像信号接口31接收来自眼部图像采集装置1的数据，并按 照图像帧格式进行数据暂存，其电路图如图9所示。数字信号处理器30运行眼部信息处理软 件33，以一帧图像作为处理单位，首先通过二值法把图像转换成黑白图像，然后对图像进行 腐蚀和膨胀处理，过滤掉图像中的杂波。进行水平和垂直直方图运算，判定眼睛的位置区域。 进一步对眼睛的图像进行水平和垂直直方图分析，判断眼睛的闭合、眼睑开度瞳孔的大小。 对相继的帧数据进行相关处理后，计算出眼睑闭合频率、眼睑闭合时间、平均眼睑开度大小。 压力信号接口32将来自心率及呼吸率采集装置2的模拟式压力信号转换成数字形式。心动信 号是含有较高频率分量的脉冲波，呼吸传感信号是频率很低的脉冲波。心率和呼吸率处理软 件34从数字式压力信号中提取低频成分和高频成分，并进一步计算出使用者的呼吸率和心率 参数。\n训练控制接口5处于训练状态时，数字信号处理器30运行训练模板形成软件35。采集使 用者正常工作状态下(精神状态良好)的眼部图像、心率、呼吸率信息，经过上述信号处理、 参数提取后，进一步经过统计学方法处理，形成训练模板特征参数。\n系统处于在线预警状态下，数字信号处理器30运行疲劳分析识别软件36。进行疲劳状 态匹配识别的判据主要有：在一定持续时间内，眼睑闭合的频率增高、眼睑闭合的时间延长、 眼睑开度变小、心率和呼吸率减缓、哈欠增多等。运用特征信息融合技术，提高识别稳健程 度。采用特征参数的相对变化量作为匹配度量，进行疲劳倾向在线识别。同时出现多个特征 匹配时，判定使用者出现疲劳状态。识别结果输出到报警装置4。\n报警装置4采用数字语音存储和播放技术。如图5所示，由语音存储和播放电路40、输 出放大电路41、扬声器42组成。语音存储和播放电路40中预先存储多种提示信息和警告信 息，并接受报警控制接口37的控制。该电路输出的语音提醒或者报警声响信号，经过放大电 路后驱动扬声器还原为声音，提示使用者保持警觉、集中精力。报警装置4通过信号线与疲 劳识别装置3相连接。\n电池6为本设备的其他部分提供电源。报警装置4和电池6组装在一个壳体内，壳体的 外形与移动电话手机相似。根据使用环境，壳体可以佩戴在使用者的腰带上或挂在使用者的 身上，也可以置于工作椅或工作台位上。图7给出了本发明的电气原理图。\n训练控制功能由一组操纵开关实现。控制进入训练状态后，模板特征数据自动开始形成。 以短时平均值的变化量作为收敛基本依据，达到规定要求之后，系统给出训练完成提示信息。 训练过程完成后，设备即可转入疲劳工作在线预警状态。\n图6中，本发明的疲劳工作在线预警系统预警方法为：\na、系统加电启动，进行初始化；\nb、由眼部图像采集装置采集使用者眼部图像，以图像帧为单位，利用软件对使用者眼部 图像处理，计算眼睛的位置、瞳孔大小、开合度，眼睑闭合时间、眼睑闭合频率，然后转入 下一步；如未采集完一帧图像，则直接转入下一步；\nc、由心率及呼吸率采集装置采集使用者的心率和呼吸率压力数据，如采集完，则利用软 件计算心率和呼吸率呼吸频率及其变化；如未采集完，则直接转入下一步；\nd、由软件判断目前是否处于训练状态，如处于训练状态，则生成驾驶员状态模板参数包 括眼睛的大小、闭合的频率、瞳孔的大小、呼吸频率；如未处于训练状态，则通过疲劳倾向 判断软件，根据驾驶员眼部图像和呼吸率参数进行疲劳状态模式识别；\ne、根据识别结果，如果使用者处于疲劳状态则通过报警装置发出警报；如未处于疲劳状 态了，则转回步骤b中，重新进行检测判断。