基于多源图像特征融合的在线目标跟踪方法

暂无

基于多源图像特征融合的在线目标跟踪方法\n技术领域\n[0001] 本发明涉及一种在线目标跟踪方法，特别是涉及一种基于多源图像特征融合的在线目标跟踪方法。\n背景技术\n[0002] 利用可见光传感器和红外传感器获取的图像分别呈现不同的物理特点，自动、有效地把可见光图像和红外图像进行融合并进行鲁棒的在线目标跟踪，具有非常重要的意义。现有的在线目标跟踪方法主要有：基于在线学习的模版匹配跟踪方法和基于在线学习的最优特征跟踪方法。\n[0003] 文献“Online selection of discriminative tracking features.PAMI，27(10)：\n1631-1643，Oct.2005.”公开了一种基于在线选取的最优特征目标跟踪方法。该方法采用直方图统计的方式获得最优的目标特征线性组合图像，之后采用mean-shift的方法对目标进行跟踪。在选取最优线性组合图像阶段，利用不用的参数设置对可见光图像中的R，G，B三个通道图像进行线性融合，然后在新生成的大量线性组合图像上对选取的目标与背景的直方图进行统计分析，获取最大对比度结果的线性融合图像，利用该线性融合图像的线性融合参数对下一帧图像进行同样方式融合处理。但是该方法主要是针对可见光图像三个通道的线性融合，在增加红外图像之后，该线性融合的参数设置不能直接适用。在mean-shift跟踪阶段，由于缺乏必要的模板更新，当目标本身发生姿态变化时，跟踪失败；在跟踪过程中由于窗口宽度大小保持不变，当目标尺度有所变化时，跟踪失败；当目标速度较快时，跟踪效果不好。综上所述，mean-shift跟踪方法的鲁棒性并不是很好。\n发明内容\n[0004] 为了克服现有基于在线选取的最优特征目标跟踪方法鲁棒性差的不足，本发明提供一种基于多源图像特征融合的在线目标跟踪方法。该方法利用线性组合的方式将可见光图像与红外图像融合，使目标在当前图像上与背景的对比度达到最大，突出目标在图像上的特征信息；其次，通过对目标提取角点的方式获取目标的特征信息，并利用光流算法实现目标的跟踪。为了进一步提高跟踪的鲁棒性，加入了检测分类算法对目标与背景样本的信息进行分类，再此基础上，利用在线学习，协同处理光流跟踪结果和检测分类结果，获取最优的目标跟踪结果。\n[0005] 本发明解决其技术问题所采用的技术方案是：一种基于多源图像特征融合的在线目标跟踪方法，其特点是包括以下步骤：\n[0006] 步骤一、对可见光图像中的R，G，B三个通道的信息再结合红外图像中的热红外灰度信息进行线性组合，产生融合图像。线性组合的表达式如下，\n[0007] F1≡{w1R+w2G+w3B+w4I|w*∈[-2，-1，0，1，2]} (1)\n[0008] 式中，R，G，B分别对应可见光图像中的三个通道的图像信息，I对应红外图像的热红外灰度信息，w*为相应的线性组合参数，取值范围为-2到2。剔除等效组合方式(w1，w2，w3，w4)=k(w1′，w2′，w3′，w4′)。\n[0009] 步骤二、在每一个线性组合后的图像上，分别计算目标区域与背景区域的直方图统计信息。令目标的像素特征直方图为Hobj(i)，背景样本的像素特征直方图为Hbg(i)，分别计算目标和背景的概率密度并进行归一化得到\n[0010] p(i)=Hobj(i)/nobj (2)\n[0011] q(i)=Hbg(i)/nbg (3)\n[0012] 式中，nobj、nbg分别代表目标样本和背景样本的数量，p(i)、q(i)分别代表目标样本和背景样本的离散概率密度。利用p(i)、q(i)得到似然函数\n[0013] \n[0014] 式中，δ=0.001，放置log出现为0的情况。通过计算L(i)的方差判断目标样本\n2 2\n特征和背景样本特征的差异度，利用方差计算公式var(x)=Ex-(Ex)得到\n[0015] \n[0016] 式中，a(i)是概率密度函数。从而得到似然函数的方差比公式\n[0017] \n[0018] 获得所有样本的数据，根据样本的数据进行排序，得到最大的目标特征与背景特征的对比度，获取最优的特征融合线性组合方式。\n[0019] 步骤三、首先通过基于角点检测和非极大值抑制的方法对已经获取的融合图像上的目标物进行特征提取；然后利用RANSAC方法去除外点；最后用光流法计算保留下来的稳定特征点的特征光流，估计目标在下一帧出现的位置。采用光流描述相对于观察者的运动所造成的观测目标、表面或者边缘的运动。通过图像检测出运动的瞬时速度或者离散图像位移。每一个时刻均有一个二维或多维的向量集合(x，y,t)，(x，y,t)表示指定坐标在t点的瞬时速度。设I(x，y,t)为t时刻(x，y)点的强度，在很短的时间Δt内，x、y分别增加Δx、Δy，得：\n[0020] \n[0021] 同时，考虑到两帧相邻图像的位移足够短，因此\n[0022] I(x，y，t)=I(x+Δx，y+Δy，t+Δt) (8)\n[0023] 从而得到\n[0024] \n[0025] \n[0026] 最终得出结论：\n[0027] \n[0028] 式中，Vx和Vy是x和y的速率，称为I(x，y,t)的光流， 是图像(x，\ny,t)在t时刻特定方向的偏导数。Ix、Iy、It的关系如下：\n[0029] IxVx+IyVy=-It (12)\n[0030] 式中，Ix、Iy分别为特征点对应的x方向或者是y方向的梯度值，It是前后两帧图像在对应像素点位置的灰度差值。得出目标上选定的特征点的光流，在前一帧目标位置的基础上估计出下一帧目标出现的位置。\n[0031] 步骤四、首先，产生目标可能出现的所有位置，输入到第一层概率分类器进行投票，结果传递给Nearest Neighbor分类器；其次，Nearest Neighbor分类器对其进行决策，将可信度高的位置和其固有相似度输出；再次，以Nearest Neighbor分类器的输出作为距离约束分类器的输入，过滤掉距离已确认的跟踪结果的可能位置。最后输出的即检测部分的最终结果。如果检测部分的最终结果个数过多或过少，反馈到Nearest Neighbor分类器和距离约束分类器阶段调整阈值进行重新决策。\n[0032] 步骤五、根据每一帧图像中的跟踪结果和检测结果，首先判断跟踪结果和检测结果是否都存在，然后采用跟踪与检测协同机制对最终结果进行调整；最后通过反馈机制将最终结果用来调整跟踪轨迹，并更新检测过程中的各个分类器。\n[0033] 本发明的有益效果是：该方法利用线性组合的方式将可见光图像与红外图像融合，使目标在当前图像上与背景的对比度达到最大，突出目标在图像上的特征信息；其次，通过对目标提取角点的方式获取目标的特征信息，并利用光流算法实现目标的跟踪。为了进一步提高跟踪的鲁棒性，加入了检测分类算法对目标与背景样本的信息进行分类，再此基础上，利用在线学习，协同处理光流跟踪结果和检测分类结果，获取最优的目标跟踪结果，跟踪结果准确率达到85％以上。\n[0034] 下面结合实施例对本发明作详细说明。\n具体实施方式\n[0035] 本发明基于多源图像特征融合的在线目标跟踪方法具体步骤如下：\n[0036] 1、多源图像特征融合。\n[0037] (a)对可见光图像中的R，G，B三个通道的信息再结合红外图像中的热红外灰度信息进行多种线性组合，产生大量的融合图像。线性组合的表达式如下所示，\n[0038] F1≡{w1R+w2G+w3B+w4I|w*∈[-2，-1，0，1，2]} (1)\n[0039] 其中，R，G，B分别对应可见光图像中的三个通道的图像信息，I对应红外图像的热红外灰度信息，w*为相应的线性组合参数，取值范围为-2到2。通过计算后，一共产生625个线性组合后的图像，但是在这些图像中，类似于(w1，w2，w3，w4)=k(w1′，w2′，w3′，w4′)组合方式是等效的，因此在剔除掉等效的组合方式后，剩下可计算的线性组合图像一共有\n215个。\n[0040] (b)在每一个线性组合后的图像上，分别计算目标区域与背景区域的直方图统计信息。令目标的像素特征直方图为Hobj(i)，背景样本的像素特征直方图为Hbg(i)，分别计算目标和背景的概率密度并进行归一化得到\n[0041] p(i)=Hobj(i)/nobj (2)\n[0042] q(i)=Hbg(i)/nbg (3)\n[0043] 其中，nobj、nbg分别代表目标样本和背景样本的数量。利用p(i)、q(i)得到似然函数\n[0044] \n[0045] 其中，δ=0.001，放置log出现为0的情况。通过计算L(i)的方差来判断目标样\n2 2\n本特征和背景样本特征的差异度，利用方差计算公式var(x)=Ex-(Ex)得到\n[0046] \n[0047] 其中，a(i)是概率密度函数。从而得到似然函数的方差比公式\n[0048] \n[0049] 通过计算之后，获得所有样本的数据，根据样本的数据进行排序，得到最大的目标特征与背景特征的对比度，从而获取最优的特征融合线性组合方式。\n[0050] 2、在线学习目标跟踪。\n[0051] (a)首先通过基于角点检测和非极大值抑制的方法对已经获取的融合图像上的目标物进行特征提取；然后利用RANSAC方法去除外点；最后用光流法计算保留下来的稳定特征点的特征光流，用以估计目标在下一帧出现的位置。采用光流（optical flow）用来描述相对于观察者的运动所造成的观测目标、表面或者边缘的运动。一系列的图像检测出运动的瞬时速度或者离散图像位移。每一个时刻均有一个二维或多维的向量集合，如(x,y，t)，表示指定坐标在t点的瞬时速度。设I(x,y，t)为t时刻(x，y)点的强度，在很短的时间Δt内，x、y分别增加Δx、Δy，得：\n[0052] \n[0053] 同时，考虑到两帧相邻图像的位移足够短，因此：\n[0054] I(x，y，t)=I(x+Δx，y+Δy，t+Δt) (8)\n[0055] 因此\n[0056] \n[0057] \n[0058] 最终得出结论：\n[0059] \n[0060] Vx和Vy是x和y的速率，或称为I(x，y,t)的光流， 是图像(x,y，t)\n在t时刻特定方向的偏导数。Ix、Iy、It的关系如下表示：\n[0061] IxVx+IyVy=-It (12)\n[0062] 这里理解Ix、Iy分别为特征点对应的x方向或者是y方向的梯度值、It是前后两