基于图像的实时多目标位置检测方法和系统

1.一种基于图像的实时多目标位置检测方法，其特征在于，该方法包括以下步骤：
(1)设置有图像摄取设备的云台零位初始化，完成云台水平、垂直零位自校正标定；
(2)按照上个检测周期检测结果给出目标点的设定值；
(3)设置有图像摄取设备的云台在云台位置反馈调节系统的控制下，获取目标在图像坐标系中角度检测信息；
(4)读取基准物对象图像及倾斜传感信号修正计算检测结果；
(5)将修正后的检测结果与实时物理参数进行比较，如果参数相同则保存目标点的位置坐标，然后进行下一个目标点的位置检测；如果参数不同，则重新调整检测目标点的设定值，转到步骤(3)；
(6)判断是否完成所有目标点的位置检测，如果为是，则结束检测，否则转到步骤(2)。
2.根据权利要求1所述的一种基于图像的实时多目标位置检测方法，其特征在于，步骤(1)中所述的云台零位初始化是在云台位置反馈调节系统的控制下完成。
3.根据权利要求1或2所述的一种基于图像的实时多目标位置检测方法，其特征在于，所述的云台位置反馈调节系统的控制具体为，分别由水平、垂直两组光电正交编码器采集云台的水平、垂直偏转角度，然后由控制器分别输出百分比调节信号驱动云台的水平、垂直驱动伺服电机。
4.根据权利要求1所述的一种基于图像的实时多目标位置检测方法，其特征在于，步骤(4)具体为，以被检测系统某一固定特征物为基准物，在基准物上选取特征点，将特征点
2D图像点连接为一个多边形，通过正弦条纹网格化处理生成标靶板，结合基准物安装位置、结构尺寸及图像设备固定安装位置信息得到标靶板的倾斜角度并经基准物的倾斜传感信号修正后得到标定标靶板，然后利用标定标靶板修正计算结果。
5.根据权利要求4所述的一种基于图像的实时多目标位置检测方法，其特征在于，所述多边形为四边形。
6.根据权利要求1所述的一种基于图像的实时多目标位置检测方法，其特征在于，步骤(5)中所述的实时物理参数为以被检测系统某一固定特征物为基准物上选取特征点所连接为一个多边形的几何尺寸。
7.根据权利要求6所述的一种基于图像的实时多目标位置检测方法，其特征在于，所述多边形为四边形。
8.一种实施权利要求1所述的方法的系统，其特征在于，该系统包括：
设置有图像摄取设备的云台，用于图像摄取；
偏转角度信号检测器，用于实时检测云台的水平、垂直偏转角度；
微控制器，用于根据检测到的云台水平、垂直偏转角度分别输出百分比调节信号驱动云台的水平、垂直驱动伺服电机；
基准物倾斜传感器，用于检测基准物的倾斜角度；
图像处理器，用于完成图像分析、处理，得出目标点的位置信息。
9.根据权利要求8所述的系统，其特征在于，所述的云台为普通云台、球形云台或者重型云台。
10.根据权利要求8所述的系统，其特征在于，所述的偏转角度信号检测器为光电正交编码器。
11.根据权利要求8所述的系统，其特征在于，所述的微控制器采用的调节算法为比例积分。

基于图像的实时多目标位置检测方法和系统\n技术领域\n[0001] 本发明涉及一种实时视觉检测技术，尤其是涉及一种基于图像的实时多目标位置检测方法和系统。\n背景技术\n[0002] 随着科学技术的进步和计算机视觉技术、摄影测量技术的发展，使得基于摄像机的图像监控、实时视觉检测技术在安防行业、工业环境中物体尺寸及空间位置参数等方面的应用有了飞跃的发展。实时视觉检测系统具有非接触、动态范围大、信息丰富等优点，受到国内外测量领域的重视。实时视觉检测可以独立、客观地对被测物进行静态或动态的测量。对于许多不能对被测物上安装传感装置的测量问题成为可能。实时视觉检测技术作为非接触测量技术中的一种，不仅在于模拟人眼完成的功能，更重要的是它能完成人眼所不能胜任的工作。\n[0003] 实时视觉检测技术采用多目视觉进行三维测量利用视差原理，对不同视角下获取的同一目标检测场景的多幅图像进行处理，从而恢复出目标检测场景的三维坐标信息完成目标检测场景位置检测。而图像坐标的获取受图像设备参数（如内部光学、几何特性、实际场景坐标系与图像设备间的位置关系等）的影响。这些参数往往受大气温度、风向、风速、日照及湿度等影响，同时还具有时变性，使实时视觉检测系统在执行多任务条件下，难以满足目标检测场景位置检测的需要：\n[0004] （1）基于摄像机的实时视觉检测系统组成中，云台（可分为：有普通云台，球型云台、重型云台）从目前来看，结构基本相似，内部有水平驱动电机，用做水平方向也就是左右方向的驱动动力；垂直电机用做上下方向驱动。驱动控制采用开环控制方式，难以满足需拟合断面曲线的多目标检测场景位置自动实时检测的需要。\n[0005] （2）相位测量法采用正弦光栅投影和相移技术，使投影在物体上的光栅，根据物体的高度而产生变形，通过对变形条纹的处理，解调出代表物体高度的相位信息，这种方法处理简单，精度较高，但却不能消除条纹中高频噪声引起的误差，在梯度变化较大处，栅线密集，解相困难，很难应用需拟合断面曲线的多目标检测场景位置检测的需要。\n[0006] （3）由于实时视觉检测系统中，图像摄取设备除了完成位置检测的需要外，还常常作为图像监控等任务使用，由于图像摄取设备的参数随不同的操作运行方式的变化内部参数变化或不稳定，在位置检测时存在量化误差和非线性镜头畸形等影响。\n[0007] （4）在实时视觉所测量的多为建筑物内部近景，图像摄取设备间基线长度很小，从而造成计算误差较大。\n[0008] 因此，在实时视觉检测应用过程中，对图像设备参数和图像设备基准坐标自动校正，目标检测场景标靶自动跟踪对准是实现连续实时高精度检测的重要内容。\n发明内容\n[0009] 本发明提供一种基于图像的实时多目标位置检测方法和系统，其针对现有的图像测量中图像摄取设备转动下进行视距变化过程中多目标位置检测时内部参数标度难及测量精度低的难题，以自标定基准物空间位置自校正，串级图像设备自定位为依据，实现多目标位置图像坐标检测。可应用于长视距条件下，空间尺寸大的检测物轮廓或长线形检测物断面曲线恢复检测等领域。\n[0010] 本发明的发明目的通过以下技术方案来实现：\n[0011] 一种基于图像的实时多目标位置检测方法，其特征在于，该方法包括以下步骤：\n[0012] （1）云台零位初始化，完成云台水平、垂直零位自校正标定；\n[0013] （2）按照上个检测周期检测结果给出目标点的设定值；\n[0014] （3）云台在云台位置反馈调节系统的控制下，获取目标在图像坐标系中角度检测信息；\n[0015] （4）读取基准物对象图像及倾斜传感信号修正计算检测结果；\n[0016] （5）将修正后的检测结果与实时物理参数进行比较，如果参数相同则保存目标点的位置坐标，然后进行下一个目标点的位置检测；如果参数不同，则重新调整检测目标点的设定值，转到步骤（3）；\n[0017] （6）判断是否完成所有目标点的位置检测，如果为是，则结束检测，否则转到步骤（2）。\n[0018] 优选的，步骤（1）中所述的云台零位初始化是在云台位置反馈调节系统的控制下完成。\n[0019] 优选的，所述的云台位置反馈调节系统的控制具体为，分别由水平、垂直两组光电正交编码器采集云台的水平、垂直偏转角度，然后由控制器分别输出百分比调节信号驱动云台的水平、垂直驱动伺服电机。\n[0020] 优选的，步骤（4）具体为，以被检测系统某一固定特征物为基准物，在基准物上选取特征点，将特征点2D图像点连接为一个四边形或多边形，通过正弦条纹网格化处理生成标靶板，结合基准物安装位置、结构尺寸及图像设备固定安装位置信息得到标靶板的倾斜角度并经基准物的倾斜传感信号修正后得到标定标靶板，然后利用标定标靶板修正计算结果。\n[0021] 优选的，步骤（5）中所述的实时物理参数为以被检测系统某一固定特征物为基准物上选取特征点所连接为一个四边形或多边形的几何尺寸。\n[0022] 一种实施权利要求1所述的方法的系统，其特征在于，该系统包括：云台，用于图像摄取；偏转角度信号检测器，用于实时检测云台的水平、垂直偏转角度；微控制器，用于根据检测到的云台水平、垂直偏转角度分别输出百分比调节信号驱动云台的水平、垂直驱动伺服电机；基准物倾斜传感器，用于检测基准物的倾斜角度；图像处理器，用于完成图像分析、处理，得出目标点的位置信息。\n[0023] 优选的，所述的云台为普通云台、球形云台或者重型云台。\n[0024] 优选的，所述的偏转角度信号检测器为光电正交编码器。\n[0025] 优选的，所述的微控制器采用的调节算法为比例积分或仿人PI。\n[0026] 与现有技术相比，本发明具有以下优点：\n[0027] 1、针对基于摄像机的实时视觉检测系统组成中，云台驱动控制采用开环控制方式，难以满足需拟合断面曲线的多目标检测场景位置自动实时检测的需要及测量定位精度不高等难题，采用水平、垂直偏转角度信号分别由两组光电正交编码实现水平、垂直方向正、反角度检测及云台零位标定，结合两个独立比例积分（PI）或仿人PI控制策略，分别输出百分比调节信号驱动水平、垂直伺服驱动，实现图像系统检测目标方向快速、精确定位，以实现检测对象多目标点的实时跟踪检测需要。\n[0028] 2．结合检测对象系统中固定基准物受土壤、气象条件等因素的长期作用出现不均匀沉降影响，出现基准物倾斜或位移变化采用外部倾斜传感信号修正基于基准物的标定标靶板，实现在线实时自适应图像系统的标定。\n[0029] 3．采用基于标靶图像的自校正串级调节系统，调节（控制）内环以云台跟踪定位调节组成，外环自校正标定标靶图像调节组成。可保证在目标物（点）检测过程中，有效视野范围的高精度检测的需要。同时可结合检测系统对象实际情况，在周期检测中采用多基准物为基础的多标定标靶切换检测，满足长距离线性检测对象近距离、中距离、远距离目标物（点）的需要。适用于如输电架空线路等线路断面曲线、大尺寸检测物的轮廓外形检测等实时在线视觉检测系统中，提高图像定标精度，提高测量精度及实时性。\n附图说明\n[0030] 图1为本发明在当前检测周期（K）M个目标点检测工作流程图；\n[0031] 图2为云台位置反馈控制系统构成框图；\n[0032] 图3为基于标靶图像的自校正串级调节系统框图。\n具体实施方式\n[0033] 下面结合附图和具体实施例对本发明进行详细说明。\n[0034] 实施例 一种基于图像的实时多目标位置检测方法和系统\n[0035] 基于图像的实时多目标位置检测系统，针对现有的图像测量中图像摄取设备转动下进行视距变化过程中多目标位置检测时内部参数标度难及测量精度低难题，以自标定基准物空间位置自校正，串级图像设备自定位为依据，实现多目标位置图像坐标检测。可应用于长视距条件下，空间尺寸大的检测物轮廓或长线形检测物断面曲线恢复检测等领域。其在现有实时检测系统的基础上增加了以下两方面的改进：\n[0036] 1．加入了云台位置反馈控制系统\n[0037] 云台位置反馈控制系统是在普通云台中嵌入微控制器，并对用作水平方向上左右方向的驱动动力伺服电机及用做垂直方向上上下方向驱动垂直伺服电机转动进行检测获得位置信号，该位置信号与跟踪检测目标设定信号相比较通过位置调节算法输出控制命令作用于驱动伺服机构对象，实现云台位置自动定位。以获取实时目标在图像坐标系中角度（α，β，γ）检测信息。\n[0038] 云台位置反馈控制系统工作方框图如图2所示，图像摄取设备云台对象的水平、垂直偏转角度信号的检测采用光电正交编码方式进行检测。水平、垂直偏转角度信号分别由两组光电正交编码（A0，B0及A1，B1），实现水平、垂直偏转信号检测及云台零位（0度,0度）自标定。水平、垂直调节算法分别采用两个独立比例积分（PI）或仿人PI控制策略，分别输出百分比调节信号信号驱动水平、垂直伺服驱动。\n[0039] 2．基于图像的实时多目标位置检测系统图像摄取设备的标定\n[0040] 由于安装于地面上的参考标靶采用视野范围内的已知尺寸基准物，受土壤、气象条件等因素的长期作用出现不均匀沉降影响，出现基准物倾斜或位移，通过基准物倾斜传感信号对参考标靶尺寸进行自校正，从而完成内外参数标定。结合实时目标在图像坐标系中角度（α，β，γ）检测信息，以实现目标图像坐标检测。基于基准物的参考标靶图像系统标定：该方法以被检测系统某一固定特征物为基准物，在基准物上选取特征点。将特征点\n2D图像点连接为一个四边形或多边形，通过正弦条纹网格化处理生成标靶板，结合基准物安装位置、结构尺寸及图像设备固定安装位置信息得到标靶板的倾斜角度并经基准物的倾斜传感信号修正后得到标定标靶板，结合最小二乘法等优化算法完成图像系统标定。\n[0041] 经过双图像摄取设备图像采集，获取基准物图像通过去噪，角点提取，图像匹配，剪裁，网格化，畸形计算生成参考标靶图像。将两个测量数据通过坐标变换完成内外模型参数计算。被检测系统目标物（点）可采用图3所示基于标靶图像的自校正串级调节系统框图原理输出目标物（点）的图像系坐标信息。被检测系统有目标物（点）P0、P1、P2…PK，图像摄/\n取设备以固定基线长度从两个不同地点C和C 分别以两个角度拍摄目标物（点）P0、P1、P2…PK，通过建立世界实景坐标系与图像坐标系完成检测系统特征点目标坐标搭建。通过特征点坐标采用基于神经网络算法及最小二乘法等算法的拟合断面曲线，获取检测系统参数检测的需要。\n[0042] 本发明方法如图1所示，在图1中，云台零位初始化可按实际检测系统情况L个检测周期运行一次，云台零位初始化主要完成云台水平、垂直零位（0度,0度）自校正标定；按K-1次检测结果调整检测目标点i位置目标设定是指在当前检测周期K的上个检测周期检测结果给出目标设定值；云台位置反馈调节按图1所示工作方框图所示原理工作，调节算法采用常规比例积分或仿人PI，分别输出百分比调节信号信号驱动水平、垂直伺服驱动。实时物理参数是指以被检测系统某一固定特征物为基准物上选取特征点所连接为一个四边形或多边形的几何尺寸。该方法包括以下步骤：\n[0043] （1）云台零位初始化，完成云台水平、垂直零位自校正标定；其中，云台零位初始化是在云台位置反馈调节系统的控制下完成。云台位置反馈调节系统的控制具体为，分别由水平、垂直两组光电正交编码器采集云台的水平、垂直偏转角度，然后由控制器分别输出百分比调节信号驱动云台的水平、垂直驱动伺服电机。\n[0044] （2）按照上个检测周期检测结果给出目标点的设定值；\n[0045] （3）云台在云台位置反馈调节系统的控制下，获取目标在图像坐标系中角度检测信息；\n[0046] （4）读取基准物对象图像及倾斜传感信号修正计算检测结果；\n[0047] 以被检测系统某一固定特征物为基准物，在基准物上选取特征点，将特征点2D图像点连接为一个四边形或多边形，通过正弦条纹网格化处理生成标靶板，结合基准物安装位置、结构尺寸及图像设备固定安装位置信息得到标靶板的倾斜角度并经基准物的倾斜传感信号修正后得到标定标靶板，然后利用标定标靶板修正计算结果。\n[0048] （5）将修正后的检测结果与实时物理参数（实时物理参数为以被检测系统某一固定特征物为基准物上选取特征点所连接为一个四边形或多边形的几何尺寸）进行比较，如果参数相同则保存目标点的位置坐标，然后进行下一个目标点的位置检测；如果参数不同，则重新调整检测目标点的设定值，转到步骤（3）；\n[0049] （6）判断是否完成所有目标点的位置检测，如果为是，则结束检测，否则转到步骤（2）。\n[0050] 为了实施上述方法，设计的系统包括：云台，用于图像摄取；偏转角度信号检测器，用于实时检测云台的水平、垂直偏转角度；微控制器，用于根据检测到的云台水平、垂直偏转角度分别输出百分比调节信号驱动云台的水平、垂直驱动伺服电机；基准物倾斜传感器，用于检测基准物的倾斜角度；图像处理器，用于完成图像分析、处理，得出目标点的位置信息。\n[0051] 云台为普通云台、球形云台或者重型云台。偏转角度信号检测器为光电正交编码器。微控制器采用的调节算法为比例积分或仿人PI。\n[0052] 本发明针对基于摄像机的实时视觉检测系统组成中，云台驱动控制采用开环控制方式，难以满足需拟合断面曲线的多目标检测场景位置自动实时检测的需要及测量定位精度不高等难题，采用水平、垂直偏转角度信号分别由两组光电正交编码实现水平、垂直方向正、反角度检测及云台零位标定，结合两个独立比例积分（PI）或仿人PI控制策略，分别输出百分比调节信号驱动水平、垂直伺服驱动，实现图像系统检测目标方向快速、精确定位。\n以实现检测对象多目标点的实时跟踪检测需要。\n[0053] 本发明结合检测对象系统中固定基准物受土壤、气象条件等因素的长期作用出现不均匀沉降影响，出现基准物倾斜或位移变化采用外部倾斜传感信号修正基于基准物的标定标靶板，实现在线实时自适应图像系统的标定。\n[0054] 本发明采用基于标靶图像的自校正串级调节系统，调节（控制）内环以云台跟踪定位调节组成，外环自校正标定标靶图像调节组成。可保证在目标物（点）检测过程中，有效视野范围的高精度检测的需要。同时可结合检测系统对象实际情况，在周期检测中采用多基准物为基础的多标定标靶切换检测，满足长距离线性检测对象近距离、中距离、远距离目标物（点）的需要。适用于如输电架空线路等线路断面曲线、大尺寸检测物的轮廓外形检测等实时在线视觉检测系统中，提高图像定标精度，提高测量精度及实时性。\n[0055] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。