基于DSP的目标图像实时传输与跟踪方法及其装置

1.一种基于DSP的目标图像实时传输与跟踪方法，其特征在于：包括以下步骤：
步骤一：视频监控信号由摄像机的输出端连接到图像处理单元的视频输入端，完成视频信号的输入，输入的信号为PAL制或NTSC制的标准视频信号；
步骤二：经过图像处理单元视频输入端的视频信号由视频解码器转化为数字图像信号，即将标准的PAL制或NTSC制视频信号转换为数字色差信号，其输出格式为ITU-RBT.656；
步骤三：进行图像阈值分割和二值化，将目标和背景分离出来，即根据每帧数字色差信号中的亮度信号采用最大类间方差法自动选取图像分割的阈值，将亮度值大于阈值的像素点的亮度置为255，小于阈值的像素点的亮度置为0；
步骤四：利用连通域算法，将二值化图像中的目标分成多个区域，根据算法中的设定的判据提取出要跟踪的目标；
步骤五：以被跟踪目标的亮度信号建立图像匹配的目标模板，在波门内搜索目标，计算当前模板与目标模板的相似度，以相似度最高的点作为被跟踪目标的位置，如果最高相似度大于设定的值，则进行模板更新，即将相似度最高的模板作为目标模板；
步骤六：根据目标运动的轨迹，利用最小二乘法预测目标下一点可能出现的位置，以这个点为中心，并以固定的波门大小，设置下一帧的搜索波门，并且通过串口发送云台控制命令，使云台运动到目标下一点的位置；
步骤七：如果在当前帧的波门内没有搜索到目标，则在下一帧中扩大一倍波门大小来搜索目标，如果下一帧还没有搜索到目标，则从下下帧开始，采用连通域算法全屏扫描搜索，直到重新获得目标；
步骤八：将经过处理的图像通过快速以太网物理层，采用H.264标准编码压缩，用UDP传输协议在以太网上进行传输，网络上的计算机解码视频信号，远程监控目标跟踪过程；
步骤九：综合管理计算机通过以太网向图像处理单元发送相关命令，改变要跟踪的目标以及切换跟踪方式，即采用自动跟踪还是手动跟踪。
2.根据权利要求1所述的一种基于DSP的目标图像实时传输与跟踪方法，其特征在于：
步骤6中的波门大小为50*50像素点到80*80像素点。
3.一种基于DSP的目标图像实时传输与跟踪装置，其特征在于：包括图像处理单元、瞄具、随动装置、交换机、远程终端和综合管理PC，其中，图像处理单元分别与交换机、随动装置和瞄具连接，交换机还与综合管理PC和远程终端连接，瞄具还与随动装置连接；
瞄具中的摄像头把采集的可见光视频信号传递给图像处理单元，图像处理单元进行目标图像跟踪处理，提取出目标信息，把控制命令通过串口发送给随动装置，随动装置控制瞄具转动跟踪运动目标，并把处理后的视频图像传输到交换机，交换机进行远程传输，以太网上的远程终端和综合管理PC可以解码视频信号后监控跟踪过程；
其具体方法包括以下步骤：
步骤一：视频监控信号由摄像机的输出端连接到图像处理单元的视频输入端，完成视频信号的输入，输入的信号为PAL制或NTSC制的标准视频信号；
步骤二：经过图像处理单元视频输入端的视频信号由视频解码器转化为数字图像信号，即将标准的PAL制或NTSC制视频信号转换为数字色差信号，其输出格式为ITU-RBT.656；
步骤三：进行图像阈值分割和二值化，将目标和背景分离出来，即根据每帧数字色差信号中的亮度信号采用最大类间方差法自动选取图像分割的阈值，将亮度值大于阈值的像素点的亮度置为255，小于阈值的像素点的亮度置为0；
步骤四：利用连通域算法，将二值化图像中的目标分成多个区域，根据算法中的设定的判据提取出要跟踪的目标；
步骤五：以被跟踪目标的亮度信号建立图像匹配的目标模板，在波门内搜索目标，计算当前模板与目标模板的相似度，以相似度最高的点作为被跟踪目标的位置，如果最高相似度大于设定的值，则进行模板更新，即将相似度最高的模板作为目标模板；
步骤六：根据目标运动的轨迹，利用最小二乘法预测目标下一点可能出现的位置，以这个点为中心，并以固定的波门大小，设置下一帧的搜索波门，并且通过串口发送云台控制命令，使云台运动到目标下一点的位置；
步骤七：如果在当前帧的波门内没有搜索到目标，则在下一帧中扩大一倍波门大小来搜索目标，如果下一帧还没有搜索到目标，则从下下帧开始，采用连通域算法全屏扫描搜索，直到重新获得目标；
步骤八：将经过处理的图像通过快速以太网物理层，采用H.264标准编码压缩，用UDP传输协议在以太网上进行传输，网络上的计算机解码视频信号，远程监控目标跟踪过程；
步骤九：综合管理计算机通过以太网向图像处理单元发送相关命令，改变要跟踪的目标以及切换跟踪方式，即采用自动跟踪还是手动跟踪。
4.根据权利要求3所述的一种基于DSP的目标图像实时传输与跟踪装置，其特征在于：
所述的图像处理单元包括DSP处理器，电源电路、复位电路、时钟电路、调试接口、串口、高速以太网口、数据存贮器Flash、同步动态存储SDRAM和解码器，其中，DSP处理器分别与电源电路、复位电路、时钟电路、调试接口、串口、高速以太网口、数据存贮器Flash、同步动态存储SDRAM和视频解码器连接。

基于DSP的目标图像实时传输与跟踪方法及其装置\n技术领域\n[0001] 本发明属于一种图像处理和图像传输技术，特别是一种基于DSP的目标图像实时传输与跟踪方法及其装置。\n背景技术\n[0002] 一般的图像跟踪系统是以摄像头为成像传感器，用图像跟踪器产生跟踪误差信号的一种光电跟踪装置。图像跟踪系统主要由摄像头、图像跟踪器、伺服系统和监视器等四个部分组成。摄像头是图像跟踪系统的关键部分，用来摄取景物(包括目标)的图像, 并将光学图像转换为符合电视制式的视频信号，一般使用 CCD 摄像头、红外成像仪、激光摄像机等等。图像跟踪器是整个图像跟踪系统的核心部分，其主要功能是对采集到的图像进行处理，包括图像的预处理、图像的识别（图像分割、目标识别与跟踪）、同步输出图像信号的处理(波门叠加、跟踪标志设置等等)。图像跟踪单元给出目标方位和俯仰位置上的跟踪偏差值，以此驱动后面的伺服系统对目标实现实时的跟踪。伺服系统是跟踪的实施部件，主要包括方位、俯仰、横滚三轴稳定平台及相位控制单位。监视器用于显示系统对视频信号的处理结果。\n[0003] 图像跟踪系统对目标的跟踪是通过跟踪指定目标的图像实现的，然而由于目标的运动、背景的复杂程度和光强的变化等因素，使得跟踪往往不能在理想的条件下进行。针对一些客观因素对目标跟踪的影响，人们设计了多种跟踪算法。常见的一些算法有：连通域算法、边缘跟踪、峰值跟踪和模板匹配算法等方法。目前在图像跟踪系统中应用比较广泛的是连通域算法和模板匹配算法。\n[0004] 现有技术系统一般只能自动选择跟踪目标，无法手动选择跟踪目标；一般采用单一的连通域算法或模板匹配算法，没有将两个算法融合起来；系统一般没有以太网传输功能。\n发明内容\n[0005] 本发明的目的在于提供一种能够利用可见光图像对运动目标进行跟踪，并能将跟踪图像通过以太网传输，且网络上的计算机可以监控跟踪过程，综合管理计算机还可以改变要跟踪的目标以及切换跟踪方式的基于DSP的目标图像实时传输与跟踪方法及其装置。\n[0006] 实现本发明目的的技术解决方案为：\n[0007] 一种基于DSP的目标图像实时传输与跟踪方法，包括以下步骤：\n[0008] 步骤一：视频监控信号由摄像机的输出端连接到图像处理单元的视频输入端，完成视频信号的输入，输入的信号为PAL制或NTSC制的标准视频信号；\n[0009] 步骤二：经过图像处理单元视频输入端的视频信号由视频解码器转化为数字图像信号，即将标准的PAL制或NTSC制视频信号转换为数字色差信号，其输出格式为ITU-R BT.656；\n[0010] 步骤三：进行图像阈值分割和二值化，将目标和背景分离出来，即根据每帧数字色差信号中的亮度信号采用最大类间方差法自动选取图像分割的阈值，将亮度值大于阈值的像素点的亮度置为255，小于阈值的像素点的亮度置为0；\n[0011] 步骤四：利用连通域算法，将二值化图像中的目标分成多个区域，根据算法中的设定的判据提取出要跟踪的目标；\n[0012] 步骤五：以被跟踪目标的亮度信号建立图像匹配的目标模板，在波门内搜索目标，计算当前模板与目标模板的相似度，以相似度最高的点作为被跟踪目标的位置，如果最高相似度大于设定的值，则进行模板更新，即将相似度最高的模板作为目标模板；\n[0013] 步骤六：根据目标运动的轨迹，利用最小二乘法预测目标下一点可能出现的位置，以这个点为中心，并以固定的波门大小，设置下一帧的搜索波门，并且通过串口发送云台控制命令，使云台运动到目标下一点的位置；\n[0014] 步骤七：如果在当前帧的波门内没有搜索到目标，则在下一帧中扩大一倍波门大小来搜索目标，如果下一帧还没有搜索到目标，则从下下帧开始，采用连通域算法全屏扫描搜索，直到重新获得目标；\n[0015] 步骤八：将经过处理的图像通过快速以太网物理层，采用H.264标准编码压缩，用UDP传输协议在以太网上进行传输，网络上的计算机解码视频信号，远程监控目标跟踪过程；\n[0016] 步骤九：综合管理计算机通过以太网向图像处理单元发送相关命令，改变要跟踪的目标以及切换跟踪方式，即采用自动跟踪还是手动跟踪。\n[0017] 一种基于DSP的目标图像实时传输与跟踪装置，包括图像处理单元、瞄具、随动装置、交换机、远程终端和综合管理PC，其中，图像处理单元分别与交换机、随动装置和瞄具连接，交换机还与综合管理PC和远程终端连接，瞄具还与随动装置连接；瞄具中的摄像头把采集的可见光视频信号，通过AV视频传输线传递给图像处理单元，图像处理单元进行目标图像跟踪处理，提取出目标信息，把控制命令通过串口发送给随动装置，随动装置控制瞄具转动跟踪运动目标，并把处理后的视频图像传输到交换机，交换机进行远程传输，以太网上的远程终端和综合管理PC可以解码视频信号后监控跟踪过程。\n[0018] 本发明与现有技术相比，其显著优点为：\n[0019] （1）本发明的系统能自动选择跟踪目标，也可以通过综合管理计算机改变要跟踪的目标；\n[0020] （2）本发明的跟踪方式可以通过综合管理计算机在自动或者手动之间自由转换；\n[0021] （3）本发明系统采用连通域算法和模板匹配算法相结合的方式，实现对运动目标的跟踪。相对于单一的连通域算法或模板匹配算法，两者结合的方式能有效提高跟踪的成功率；\n[0022] （4）本发明系统有以太网实时传输功能，可以让网络上的计算机实时监控目标跟踪过程，具有新颖性和实用性。\n[0023] 下面结合附图对本发明作进一步详细描述。\n附图说明\n[0024] 图1 是本发明基于DSP的目标图像实时传输与跟踪装置的结构示意图。\n[0025] 图2是本发明基于DSP的目标图像实时传输与跟踪装置的图像处理单元的组成示意图。\n[0026] 图3是本发明基于DSP的目标图像实时传输与跟踪方法的流程图。\n具体实施方式\n[0027] 参见图1，本发明一种基于DSP的目标图像实时传输与跟踪方法及其装置，其装置包括图像处理单元、瞄具、随动装置、交换机、远程终端和综合管理PC，其中，图像处理单元分别与交换机、随动装置和瞄具连接，交换机还与综合管理PC和远程终端连接，瞄具还与随动装置连接；瞄具中的摄像头把采集的可见光视频信号，通过AV视频传输线传递给图像处理单元，图像处理单元进行目标图像跟踪处理，提取出目标信息，把控制命令通过串口发送给随动装置，随动装置控制瞄具转动跟踪运动目标，并把处理后的视频图像传输到交换机，交换机进行远程传输，以太网上的远程终端和综合管理PC可以解码视频信号后监控跟踪过程。\n[0028] 参见图2，图像处理单元包括DSP处理器，电源电路、复位电路、时钟电路、调试接口、串口、高速以太网口、数据存贮器Flash、同步动态存储SDRAM和解码器，其中，DSP处理器分别与电源电路、复位电路、时钟电路、调试接口、串口、高速以太网口、数据存贮器Flash、同步动态存储SDRAM和视频解码器连接。图像处理单元是整个系统的核心部件，它把采集可见光视频信号经视频解码器转换为数字信号，然后送入微DSP处理器进行处理，一方面提取出目标信息，对采集的信息进行目标图像跟踪处理，通过高速以太网接口把编码压缩后的数字信号上传到以太网。以太网传输采用RTSP为实时流协议，UDP为底层传输协议的实时视频图像传输技术，RTSP可以提供时间信息和实现流同步，为按顺序传送数据包提供可靠的传送机制，提供流量控制或拥塞控制，能以有效的反馈和最小的开销使传输效率最佳化，采用H.264视频图像压缩标准，节省了网络带宽。另一方面通过一定的算法处理，计算出目标位置，通过随动系统控制瞄具转动跟踪运动目标。DSP处理器选用高性能DM642芯片，解码器采用TI公司生产的TVP515O视频解码芯片。\n[0029] 参见图3，一种基于DSP的目标图像实时传输与跟踪方法，包括以下步骤：\n[0030] 1.1视频监控信号由摄像机的输出端连接到图像处理单元的视频输入端，完成视频信号的输入，输入的信号为PAL制或NTSC制的标准视频信号。\n[0031] 1.2经过图像处理单元视频输入端的视频信号由视频解码器转化为数字图像信号，即将标准的PAL制或NTSC制视频信号转换为数字色差信号，其输出格式为ITU-R BT.656。\n[0032] 1.3进行图像阈值分割和二值化，将目标和背景分离出来，即根据每帧数字色差信号中的亮度信号采用最大类间方差法自动选取图像分割的阈值，将亮度值大于阈值的像素点的亮度置为255，小于阈值的像素点的亮度置为0。\n[0033] 1.4利用基于像素的连通域算法，将二值化图像中的目标分成多个区域，跟据算法中的设定的判据提取出要跟踪的目标。\n[0034] 1.5以被跟踪目标的亮度信号建立图像匹配的目标模板，目标模板大小取20*20像素点；在波门内搜索目标，计算实时子区图像与目标模板的相似度，相似度计算公式如下：\n[0035]\n[0036] 其中t(i，j)为参考模板图像，尺寸为M×N。f(i，j)为实时子区图像；\n[0037]\n[0038]\n[0039] 相似度满足| r(u，v) |≤1，r(u，v)的最大值为最佳的匹配位置。在图像匹配跟踪过程中，目标模板图像在当前波门内滑动，并与实时子区图像作相关运算，寻找最佳的匹配点，以最佳的匹配点作为被跟踪目标的位置。当最佳的匹配点的相似度大于设定的值，则进行模板更新，设定的值取大于0.9的数；采用的模板刷新策略为：\n[0040]\n[0041] 其中，T为新模板， 为当前最佳匹配点处的子图， 为当前模板，α为当前最佳匹配点处子图的置信度，0<α<1。\n[0042] 1.6根据目标运动的轨迹，利用最小二乘法预测目标下一点可能出现的位置，算法中用目标的前3点位置，来预测目标下一点的位置。轨迹预测方程为：\n[0043] X(k+1)=(4x(k)+x(k-1) -2x(k-2))/3\n[0044] Y(k+1)=(4y(k)+y(k-1) -2y(k-2))/3\n[0045] 其中x(t)为目标在横轴方向的位置，y(t)为目标在纵轴方向的位置，k为大于等于\n2的整数；\n[0046] 以这个预测点为中心，并以60*60像素点大小的波门，设置下一帧的搜索波门，并且通过串口发送云台控制命令，使云台运动到目标下一点的位置。\n[0047] 1.7如果在当前帧的波门内没有搜索到目标，则在下一帧中扩大波门大小来搜索目标，扩大的波门大小为80*80,；如果下一帧还没有搜索到目标，则从下下帧开始，采用连通域算法全屏扫描搜索，直到重新获得目标。\n[0048] 1.8将经过处理的图像通过快速以太网物理层，采用H.264标准编码压缩，用UDP传输协议在以太网上进行传输，网络上的计算机解码视频信号，远程监控目标跟踪过程。\n[0049] 1.9综合管理计算机监控目标跟踪过程，通过系统综合管理界面，可设置系统的跟踪方式是采用自动跟踪还是手动跟踪，自动跟踪是摄像头根据算法中的跟踪控制方式实现对目标的跟踪，手动跟踪是监控人员根据视频图像，在综合管理界面通过以太网向图像处理单元发送摄像头转动命令，从而控制摄像头跟踪目标；监控人员也可以在视频窗口中双击想要跟踪的目标，从而改变要跟踪的目标。