一种基于信息融合的机读旅行证件识别方法

1.一种基于信息融合的机读旅行证件识别方法，其特征在于步骤如下：
(1)机读码信息提取：包括自动定位机读码区域和自动字符识别，通过自动定位机读码区域确定机读码字符的区域，再通过自动字符识别得到持证人的文本信息，然后将此文本信息保存至数据库中；
所述的自动定位机读码区域的方法采用基于连通区域分析的方法，具体如下：
(1.1)在HSI空间采用Thue＝Black对图像进行彩色滤波，滤除背景图像；
(1.2)采用膨胀操作完成滤波后字符图像的笔画粘连，保证每个字符构成一个完整的连通区域；
(1.3)分析图像连通区域得到每一个连通区域的外接矩形，剔除尺寸超过限定范围的矩形，得到矩形集合；
(1.4)根据外接矩形集合划定机读码区域：即将外接矩形集合划分为若干不相交的子集，各子集同时满足(a)和(b)：(a)同一子集内的相邻矩形垂直位置相差较小；(b)同一子集内相邻矩形水平距离较小；
(1.5)求出每个子集中所有矩形的最小外接矩形，长度超过图像长度3/4的矩形区域即为机读码字符区域；
所述的自动字符识别方法如下：
(a)采用最小二乘法对每一行机读码字符外接矩形左上角像素坐标进行线性拟合，根据拟合得到的直线倾斜角对图像进行旋转；
(b)对旋转后的图像进行二值化操作，得到机读码图像二值图像；
(c)对上述二值图像利用字符外接矩形信息完成对字符的分割，得到每一个机读码字符的图像；
(d)利用OCR算法识别上述字符图像，得到文本信息，同时得出机读码区域各字符图像与字符模版的相似度向量序列VectorSeries＝{SimVectorn|1≤n≤N}，其中：N为机读码区域字符的个数，SimVectorn为第n个字符模版的相似度向量，表示为：SimVector＝{Simm|1≤m≤M}，其中M为字符模版的个数，Simm是这个字符与第m个字符模版的相似度；
(2)面部特征提取：检测证件图像中人脸图像位置，提取持证人面部特征，将此特征信息存入数据库中；
所述自动检测证件图像中人脸图像位置，提取持证人面部特征的方法如下：
(2.1)离线训练，利用Adaboost算法从一个大特征样本中选取若干最有效的特征，并为每个特征生成一个弱分类器，通过将这些分类器进行级联组合得到一个强学习算法；
(2.2)在线检测，使用大小不同的窗口扫描图像，使用学习阶段得到的分类器检测窗口图像，若该窗口图像通过了所有的弱分类器，即认为该子窗口图像为人脸图像；
(2.3)结合检测结果得到最终人脸位置；
(2.4)对定位得到的人脸图像进行大小归一化、消除噪声、灰度归一化；
(2.5)采用基于EHMM的特征算法为每一个人脸建立一个EHMM模型；
(3)身份比对：将文本特征和面部特征分别与重点人物数据库中的特征数据进行比对，并对两类比对结果在决策级进行融合，判断持证人是否为重点人物数据库中的成员；
所述在决策级进行融合的融合方法为基于模糊综合的融合算法，其步骤如下：
(3.1)根据自动字符识别中得到的文本信息中‘＜’的位置将机读码字符分割成具有ICAO-9303标准所定义的语义字符串；
(3.2)根据自动字符识别中所得到的相似度向量序列计算每个语义字符串与重点人物数据库中对应文本特征的相似度，得到待比对样本经过文本特征对比后的一组识别结果，表示为：Ψ1＝{(o1，ω1，1)，(o1，ω1，2)，...，(o1，ω1，i)，...，(o1，ω1，p)}，其中，ω1，i为文本特征与第i个样本oi的相似度；
(3.3)采用EHMM模型的前向后向算法计算观察向量序列V与模型参数λ＝(π，A，Λ)的吻合概率p(V|λ)，得到待比对样本与重点人物数据库中所有面部特征EHMM模型的吻合概率序列，即待比对样本经面部特征比对的一组识别结果，表示为：Ψ2＝{(o1，ω2，1)，(o1，ω2，2)，...，(o1，ω2，i)，...，(o1，ω2，p)}，其中：ω2，i＝p(V|λi)为待鉴别样本面部特征与第i个样本oi的相似度；
(3.4)利用模糊集方法将文本特征比对和面部特征比对所得结果进行融合，模糊综合函数取：S(ω1，i，ω2，i)＝(ω1，i·ω2，i)1/2或
(3.5)若maxS(ω1，i，ω2，i)＞T，则该人员为第g个样本，否则该人员为非重点人物，其中T为相似度域值，g＝argi maxS(ω1，i，ω2，i)。

技术领域\n本发明涉及到一种机读旅行证件识别方法，特别是一种基于信息融合的机读旅行证件识别方法，用于快速通关工作。\n背景技术\n随着国际交流合作的不断增加，快速通关已成为流动人口管理工作中的一个重要环节。其主要工作包括人员信息采集和重点人物审查。传统通关方法多采用人工方式进行信息采集和比对，效率低下浪费了大量人力资源。机读旅行证件的使用，使得自动采集和比对人员信息成为可能。机读旅行证件指符合国际民航组织推荐的ICAO-930关于机读旅行证件标准的适用于机器阅读的供国际旅行使用的各种证件，包括护照、签证、通行证和身份证等。\n目前部分流动人员管理单位已采用证件自动识别方法来代替手工操作。但现有的方法只能提取证件中的文本信息，在很大程度上影响了人员审查的准确率。其主要缺陷表现为：(1)只提取文本信息，人员身份审查的准确率直接依赖于对文本信息识别的准确率。然而由于各种因素的影响，识别错误在所难免，因此身份审查正确率不高；(2)存在一些不法分子企图使用伪造证件通关，证件中的文本信息与真实情况不符，因此仅通过文本信息进行身份审查将导致错误结果。\n发明内容\n本发明解决的技术问题：克服现有技术的不足，提供一种基于信息融合的机读旅行证件识别方法，该方法不仅能够自动识别证件图像中的文本信息，同时自动提取证件中包含的持证人面部特征信息，并通过特征比对及结果融合准确地判断持证人是否为重点人物，满足了快速通关工作的需求，提高了持证人身份对比的准确度。\n本发明的技术解决方案：一种基于信息融合的机读旅行证件识别方法，其特点在于：综合利用旅行证件的文本信息及人脸信息，通过决策级融合提高识别的准确率，整个流程分为三部分：机读码信息提取，面部特征提取和身份比对。\n(1)机读码信息提取：机读码区域位于证件图像下部，包含持证人的基本信息，机读码信息提取的主要包括：自动定位机读码区域和自动字符识别，通过自动定位机读码区域确定机读码字符的区别，再通过自动字符识别得到持证人的文本信息，然后将此文本信息保存至数据库中；\n(2)面部特征提取：检测证件图像中人脸图像位置，提取持证人面部特征，将此特征信息存入数据库中；\n(3)身份比对：将文本特征和面部特征分别与重点人物数据库中的特征数据进行比对，并对两类比对结果在决策级进行融合，判断持证人是否为重点人物数据库中的成员。\n所述步骤(1)中的自动定位机读码区域的方法如下：\n(1)在HSI空间采用Thue＝Black对图像进行彩色滤波，滤除背景图像；\n(2)采用膨胀操作完成滤波后字符图像的笔画粘连，保证每个字符构成一个完整的连通区域；\n(3)利用连通区域分析算法得到每一个连通区域的外接矩形，剔除尺寸超过限定范围的矩形，得到矩形集合；\n(4)根据外接矩形划定机读码区域。将外接矩形集合划分为若干不相交的子集，各子集同时满足：(a)同一子集内的相邻矩形垂直位置相差较小；(b)同一子集内相邻矩形水平距离较小；\n(5)求出每个子集中所有矩形的最小外接矩形，外接矩形宽度超过图像宽度3/4的矩形区域即为机读码字符区域。\n所述步骤(1)中的自动字符识别方法如下：\n(1)采用最小二乘法对每一行机读码字符外接矩形左上角像素坐标进行线性拟合，根据拟合得到的直线倾斜角对图像进行旋转；\n(2)对旋转后的图像进行二值化操作，得到机读码图像二值图像；\n(3)对上述二值图像利用字符外接矩形信息完成对字符的分割，得到每一个机读码字符的图像；\n(4)利用OCR算法识别上述字符图像，得到文本信息。同时得出机读码区域各字符图像与字符模版的相似度向量序列VectorSeries＝{SimVectorn|1≤n≤N}，其中：N为机读码区域字符的个数，SimVectorn为第n个字符模版的相似度向量，表示为：SimVector＝{Simm|1≤m≤M}，其中M为字符模版的个数，Simm是这个字符与第m个字符模版的相似度。\n所述步骤(2)中的自动检测证件图像中人脸图像位置，提取持证人面部特征的方法步骤如下：\n(1)离线训练。利用Adaboost算法从一个大特征样本中选取若干最有效的特征，并为每个特征生成一个弱分类器，通过将这些分类器进行级联组合得到一个强学习算法；\n(2)在线检测。使用大小不同的窗口扫描图像，使用学习阶段得到的分类器检测窗口图像，若该窗口图像通过了所有的弱分类器，即认为该子窗口图像为人脸图像；\n(3)对定位得到的人脸图像进行大小归一化、消除噪声、灰度归一化；\n(4)采用基于EHMM的特征算法为每一个人脸建立一个EHMM模型。\n所述的步骤(3)中的在决策级进行融合的融合方法为基于模糊综合的融合算法，其步骤如下：\n(1)根据自动字符识别中得到的文本信息中‘＜’的位置将机读码字符分割成具有ICAO-9303标准所定义的语义字符串；\n(2)根据自动字符识别中所得到的相似度向量序列计算每个语义字符串与重点人物数据库中对应文本特征的相似度。得到待比对样本经过文本特征对比后的一组识别结果，表示为：Ψ1＝{(o1，ω1，1)，(o1，ω1，2)，...，(o1，ω1，i)，...，(o1，ω1，p)}。其中，ω1，i为文本特征与第i个样本oi的相似度；\n(3)采用EHMM模型的前向后向算法计算观察向量序列V与模型参数λ＝(π，A，Λ)的吻合概率p(V|λ)。从而得到待比对样本与重点人物数据库中所有面部特征EHMM模型的吻合概率序列，即待比对样本经面部特征比对的一组识别结果，表示为：Ψ2＝{(o1，ω2，1)，(o1，ω2，2)，...，(o1，ω2，i)，...，(o1，ω2，p)}。其中ω2，i＝p(V|λi)为待鉴别样本面部特征与第i个样本oi的相似度；\n(4)利用模糊集方法将文本特征比对和面部特征比对所得结果进行融合，模糊综合函数取：S(ω1，i，ω2，i)＝(ω1，i·ω2，i)1/2或\n(5)若maxS(ω1，i，ω2，i)＞T则该人员为第g个样本，否则该人员为非重点人物，其中T为相似度域值，g＝argimaxS(ω1，i，ω2，i)。\n本发明与现有技术相比的优点在于：(1)可以自动识别证件图像中的文本信息，提高了人员信息采集的效率；(2)同时自动提取证件中包含的持证人面部特征信息，提高了机读旅行证件持证人的身份比对准确率；(3)提取人脸特征为涉外案件的侦察提供相应的依据。\n附图说明\n图1为本发明的机读旅行证件自动识别方法工作流程图；\n图2为本发明的机读码区域图像；\n图3为本发明采用的人脸图像的EHMM；\n图4为本发明的基于融合算法的身份比对框图。\n具体实施方式\n如图1所示，本发明包括整个流程分为三部分：机读码信息提取，面部特征提取和身份比对。\n1.机读码信息提取方法：机读码信息提取分为两部分：机读码区域定位和机读码识别，前者完成对机读码图像定位，后者完成对机读码图像的预处理和识别。\n通过分析，发现机读码区域字符具有以下特点：(1)机读码区域字符尺寸一定；(2)所有字符均为黑色印刷体字符，采用OCR-B字体；(3)各字符笔画均相连。针对以上特点本方法采用基于连通区域分析的方法来定位机读码区域。\n由于机读码区域位置相对固定，为提高处理速度，仅在图像的下1/3区域内进行机读码区域提取，其方法步骤如下：\n(1)首先在HSI(Hue Saturation Intensity)空间对图像进行彩色滤波，保留所有满足Thue＝Black的像素点，滤除背景图像。\n(2)彩色滤波后，会出现笔画断裂影响连通区域分析，因此采用膨胀操作完成滤波后字符图像的笔画粘连，保证每个字符构成一个完整的连通区域。\n(3)利用文献(Yu and A.Jain.A generic system for form ropout.IEEETrans.Pattern Analysis and Machine Intelligent，1996，18：1127-1134.)中提出的连通区域分析算法得到上述图像中每一个连通区域的外接矩形。剔除尺寸超过限定范围的矩形，得到矩形集合。\n(4)最后，根据外接矩形集合划定机读码区域。分析机读码区域特点，并结合机读码字符国际标准，本方法提出以下假设：(a)同一行相邻字符的外接矩形在垂直位置上相差较小；(b)同一行相邻字符的水平距离较小；(c)一行机读码字符的长度大于图像长度的3/4，将外接矩形集合划分为若干不相交的子集，各子集同时满足假设(a)和(b)。\n(5)求出每个子集中所有矩形的最小外接矩形，外接矩形宽度超过图像宽度3/4的矩形区域即为机读码字符区域。\n机读码识别方法具体步骤如下：\n由于证件图像采集时，可能存在图像倾斜的情况，且字符识别算法只能处理单个文字的二值图像，因此在字符识别之前需进行倾斜校正、二值化以及字符分割等操作。\n针对图像采集过程中产生的图像倾斜，本方法采用最小二乘法对每一行机读码字符外接矩形的左上角像素坐标进行线性拟合。拟合得到的直线倾斜角度作为机读码区域的倾斜角度。\n对图像进行二值化得到机读码的二值图像，利用已得到的所有字符外接矩形，可直接完成对字符的分割。得到每机读码区域中每个字符的图像。\n利用OCR算法识别上述字符图像，得到文本信息。同时得出机读码区域各字符图像与字符模版的相似度向量序列VectorSeries＝{SimVectorn|1≤n≤N}。其中，N为机读码区域字符的个数，SimVectorn为第n个字符模版的相似度向量，表示为：SimVector＝{Simm|1≤m≤M}，其中M为字符种类的个数，即37。Simm是这个字符与所有字符种类中第m个字符的相似度。\n2.面部特征提取方法如下\n面部特征提取由两部分构成：人脸检测和人脸比对。人脸检测负责定位图像中的人脸位置。人脸比对负责提取人脸面部特征，与样本特征进行比对，得到相似度。\n本方法实现了一个正面人脸检测框架，该框架分为离线训练和在线检测两部分。离线训练从一个大特征样本中选取若干最有效的特征，并为每个特征生成一个弱分类器，通过将这些分类器进行级联组合得到一个强学习算法。分类器训练结束以后，即可应用于在线检测中。在线检测通过使用大小不同的窗口扫描图像，使用学习阶段得到的分类器检测窗口图像，若该窗口图像通过了所有的弱分类器，即认为该子窗口图像为人脸图像。对所有窗口图像进行检测之后，结合所有检测结果，得到最后的输出。\n人脸特征提取采用文献(AV Nefian and MH Hayes III：An embeddedHMM-based approach for face detection and recognition.In：IEEE Inter.Conf.on Acoustics，Speech and SignaI Processing，IEEE Press，NewYork(1999)3553-3556)中提出的基于EHMM的特征提取算法，根据人脸五官特征，人脸图像的EHMM取5个超状态对应人脸的额头、眼睛、鼻子、嘴和下巴，分别描述和代表人脸的宏观特征，每个超状态内嵌入的状态分别描述人脸局部区域特征。人脸特征提取采用以下流程，由于特征提取和比对会受到诸如图像大小、亮度以及背景噪声等因素的影响，所以首先对对人脸图像进行大小归一化、消除噪声、灰度归一化等，以便在同一条件下完成训练和识别。然后建立人脸图像的EHMM。为了能够准确的表示人脸特征同时保证算法效率，每个超状态中的嵌入状态数取值为(3，6，6，6，3)。\n3.身份比对方法\n仅将某一种特征作决策依据不能充分的利用证件所提供的信息，难以保证身份比对的准确性，本方法采用基于决策级融合的身份比对综合考虑不同类型的特征，从而得到更可靠、全面、准确的比对结果。该方法通过文本特征比对和面部特征比对得到两组比对结果，并在决策级对两类结果进行融合，最终给出一个二类决策：该人员是否为样本集中的样本。\n在文本信息提取阶段，识别得到所有机读码区域字符，同时得到了一个相似度向量序列VectorSeries。本阶段采用以下步骤进行特征比对：\n根据ICAO-9303机读码标准，机读码字符中具有不同语义的字符被连续的‘＜’分割开。因此首先通过确定识别结果中‘＜’的位置将机读码字符分割成具有ICAO-9303所定义语义的字符串。\n利用相似度向量序列VectorSeries计算每个语义字符串与重点人物数据库中对应文本特征的相似度。例如，对于文本特征“ABC”，在VectorSeries中查找字符串首字符与A的相似度，第二个字符与B的相似度以及第三个字符与C的相似度，按照下式计算与这个文本特征的相似度即可：其中Simi为语义字符串中第i个字符与对应特征字符的相似度，N为字符串中的字符个数。将语义字符串的相似度进行加权平均，得到整个文本信息与重点人物数据库中文本信息的相似度。对于具有重要性较高语义的字符，赋给其较高的权值，而语义相对不重要的字符赋予其较低的权值，下式表示了本方法采用的相似度计算方法：其中，αi为语义字符串的权值，以护照为例各字符的权值如表1所示。SimOfClusteri表示文本信息中第i个语义字符与比对样本中对应信息的相似度，M为文本语义字符串的个数。\n  语义   权值   语义   权值   语义   权值   姓名   0.8   护照号码   1   国籍   0.7   性别   0.9   签证信息   0   其他   0.6\n至此，能够得到待比对样本经过文本特征比对后的一组识别结果，表示为：Ψ1＝{(o1，ω1，1)，(o1，ω1，2)，..，(o1，ω1，i)，...，(o1，ω1，p)}，其中：ω1，i＝μi为文本特征与第i个样本oi的相似度。\n与文本特征比对相似，将前面得到的面部特征与样本空间中所有人脸特征进行比对得到相似度。本发明首先通过2D-DCT变换得到证件中人脸图像的观察向量序列V，采用EHMM模型的前向后向算法计算观察向量序列V与模型参数λ＝(π，A，Λ)的吻合概率p(V|λ)，从而得到待比对样本与重点人物数据库中所有面部特征EHMM模型的吻合概率序列，即待比对样本经“面部特征通道”的识别结果，表示为：Ψ2＝{(o1，ω2，1)，(o1，ω2，2)，...，(o1，ω2，i)，...，(o1，ω2，p)}，其中：ω2，i＝p(V|λi)为待鉴别样本面部特征与第i个样本oi的相似度。\n通过文本特征比对，获得了待比对样本文本特征与样本空间中各元素的相似度，可将其理解为样本经过“文本特征通道”得到的“模糊”判别结果。通过面部特征比对，得到了样本面部特征信息与样本空间各元素的相似度，可将其理解为样本经过“面部特征通道”的另一组“模糊”判别结果。利用模糊集方法将两个通道的结果进行融合，模糊综合函数取：S(ω1，i，ω2，i)＝(ω1，i·ω2，i)1/2或最终的分类判据为，若maxS(ω1，i，ω2，i)＞T则该人员为第g个样本，否则该人员为非重点人物，其中T为相似度阈值，g＝argimaxS(ω1，i，ω2，i)。