ballbet贝博·艾弗森官网

运动目标检测与跟踪的研究与实现
栏目:ballbet贝博 发布时间:2025-10-26 01:48:32

  ballbet贝博在道路交通管理中,为了获得车辆的运动数据,早期经常采用的是感应线圈等硬件测量的方法。而如果采用摄像头拍摄的道路视频,再用计算机软件处理的方法,则可以极大的增加方便性和灵活性。本文运动目标检测与跟踪研究如何让计算机从视频图像序列中获得物体运动数据。

  图二中虚线框的步骤,是物体运动跟踪之后可以继续进行的后续步骤,本文把精力集中放在运动目标检测和跟踪的研究上,没有对这些后续步骤做更多研究,在这里做简单说明:运动物体真实速度获取的目的是把运动跟踪得到的物体在图像二维坐标下的速度转换成真实空间三维坐标下的速度,其涉及到摄像头标定;车型车牌识别、道路事件检测是将运动跟踪得到的车辆和道路数据作进一步的处理,以得到诸如车型、车牌、车辆是否闯红灯、车辆是否超速等等,其涉及到很多研究方向,如模式识别等。

  首先是对运动点团二值图像做数学形态学处理,去除微小的噪声物体。然后提取运动点团的位置和大小。提取运动点团的位置和大小有多种算法,第六章比较了不同的算法,并且提出了改进算法,改进算法更适合运动目标检测和跟踪。第六章还讲述了运动点团层的运动跟踪,并指出了其存在的几个问题,为解决这些问题,必须在运动点团层上增加运动物体层(见图一),从而引出了第七章。另外,在运动跟踪时,我们是先确定一帧图像中所有运动点团的位置,然后和前一帧图像中的运动点团位置关系判断是否为同一运动物体。还有一种运动跟踪的方法[7]:在当前运动点团邻域搜索匹配下一帧中的运动点团,这种方法不需要提取运动点团的位置和大小,可以称之为基于像素的运动跟踪,然而图像的像素数量是很大的,这种像素点搜索匹配的方法所需的时间远远多于我们的方法,因此我们没有采用这种像素点搜索匹配的方法。

  背景提取是在视频图像序列中提取出背景。背景就是场景中静止不动的景物。因为摄像机不动,因此图像中的每个像素点都有一个对应的背景值,在一段时间内这个值比较固定。背景提取的目标就是根据视频图像序列,找出图像中每一点的背景值。这是下一步运动点团提取的基础。在运动点团提取中,背景提取这一步提取出来的背景图像将作为参考图像,每一帧图像都要与背景图像作差,把背景去除,以得到运动点团前景。因此,这一步提取出的背景图像的好坏将直接影响到之后每一帧的运动点团提取的质量。背景会随着时间的变化而发生变化,例如光照变化导致背景亮度、色度变化;运动物体停止运动成为背景的一部分;又如背景的一部分运动起来成为运动前景等。因此背景需要不断更新,而背景的更新一般需要运动前景的信息,所以背景的更新将在第四章讲述。本章讲述背景初始化的方法,即在没有运动前景的任何信息的情况下提取背景图像,输入是视频图像序列,每帧图像都包括运动物体和静止景物,输出是只含静止景物的背景图像。第3.1节讲述原始彩色图像的背景提取,处理对象是彩色图像序列;第3.2节讲述灰度图像的背景提取——先把彩色图像序列转换成灰度图像序列,再对灰度图像序列提取背景;第3.3节讲述边缘图像的背景提取——先对彩色图像提取边缘,再对边缘图像序列提取背景,这是考虑到为将运动前景和静止背景分离,边缘信息起到的重要作用。

  并不是图像的每一个像素都会出现运动物体,关注区是图像中可能会出现运动物体的部分。在背景提取的时候可以同时获取关注区,之后的处理就集中在关注区中,这是减少图像像素数,减少处理时间的好方法。第五章讲述了关注区的提取方法和利用关注区数据计算道路繁忙度的方法。

  前面讲述的处理方法都是基于图像像素的,属于图一中的图像像素层,这一层处理的结果是运动点团二值图像,1代表运动前景像素,0代表背景像素。接下来到了运动点团层处理。第六章讲述运动点团层的处理。

  第四章讲述并比较了每一帧图像与背景图像作差的不同方法。由于阴影的存在,背景差法会把阴影作为运动物体的一部分,而阴影会把不同的运动物体连成一片,影响之后的处理,因此需要对阴影做特别处理。第四章讲述和比较了阴影处理的不同方法,并提出一种改进的算法,实验分析其优于其他算法。第四章也指出了基于灰度图像的运动点团提取无法解决阴影的问题,因此基于灰度图像的运动目标检测与跟踪方法没有基于彩色图像的方法好。提取运动前景像素除了上面所述背景差法外,还可以采用相邻两帧图像作差的帧间差法[6],第四章接着讲述帧间差法,并将其与背景差法比较。图像会随时间而变化,得到前景和背景像素后,就可以对背景图像做更新,第四章最后讲述背景更新的策略。

  在道路交通控制管理领域,管理部门需要掌握道路上车辆的速度、车辆的数量等等数据以控制红绿灯平衡道路车流量、对超速和闯红灯的车辆进行处罚。早期,人们一般采用感应线圈的方式获得车辆的速度、车辆的数量等数据。这种方法,需要在检测路段埋入感应线圈,这需要对道路施工,会影响交通,严重影响道路寿命,并且感应线圈设备容易被重型车辆压坏,维护起来又要对道路施工,非常麻烦[1]。

  运动目标检测与跟踪的流程有三个层次,如图一[4]。每个层次再细分,可以得到图二的几个步骤。

  系统的输入是彩图像序列。检测运动物体需要无运动物体的背景图像,而视频图像序列中的每帧图像一般都有运动物体,因此需要提取背景。背景图像提取出来后,将每一帧图像与背景图像作差,然后二值化,得到前景像素构成的运动点团图像,这就是背景差法。

  在道路视频图像序列中获得车辆的速度,可以使用简单的方法,就是在图像中的道路位置设置虚拟检测线,模拟感应线圈,根据虚拟检测线上的像素颜色的变化得到经过虚拟检测线的车辆的速度,同时也可以对经过虚拟检测线]。这种方法有很大的局限性。首先,它需要人工标定虚拟检测线,摄像头一旦换位置,就需要重新设定一次虚拟检测线,很不方便;其次,它只能检测通过虚拟检测线的车辆,而对图像其他区域的车辆一无所知,图像的大量信息丢失掉了。因此,本文不采取虚拟检测线的方法,而以运动物体(车辆)为目标,跟踪每个运动物体在视频图像序列中的位置,进而得到每个物体的运动速度和运动物体总数。

  我们研究运动目标检测和跟踪使用道路交通作为实验场景。我们对多组实验数据进行实验,每组实验数据是一段彩色的视频图像序列,所有实验视频数据的分辨率都归一到720 352像素。下文所说的“实验数据一”是交通管理部门摄制的15秒道路视频,图三是其中的一帧;“实验数据二”是我们用数码相机到天桥上摄制的23秒道路视频,图四是其中的一帧。

  背景提取有很多种算法,第三章将详述与比较各种背景提取算法,并提出一种改进的算法,实验证明改进的算法有更好的效果。除了直接将视频图像序列做处理外,还可以先将视频图像序列转换成灰度图像序列,然后在灰度图像序列上做运动目标检测和跟踪;或者,因为前景、背景分离的最重要的信息是边缘信息,可先将视频图像序列转换成边缘图像序列,然后在边缘图像序列上做运动目标检测和跟踪[5]。第三章也讲述了彩色图像转变成灰度图像的方法以及提取彩色图像的边缘图像的方法。

  随着计算机技术的发展,道路交通数据获取不再需要复杂的线圈设备了。只需在检测路段固定摄像头,摄像头拍摄的道路数字化视频压缩后通过传输线路(如光纤)传输到监控中心,监控中心的计算机采用数字图像处理的方法将道路交通的数据计算出来[2]。与早期的方法相比,这种方法利用了软件算法通过计算机的强大计算能力得到我们需要的数据,而不是复杂的硬件设备(如感应线圈)对数据直接测量。这极大的增加了方便性和灵活性。如何让计算机从视频图像序列中获得道路交通数据,例如车辆的速度等,近年来很多人对此展开了研究。

  本文还通过实验分析比较了基于灰度图像序列的运动目标检测与跟踪、基于边缘图像序列的运动目标检测与跟踪,它们都没有基于彩色图像序列的运动目标检测与跟踪效果好。

  最后,本文得到了一整套运动目标检测与跟踪的方法,它们的健壮性和实时性都符合实际运用的要求。

  背景提取、阴影处理、运动目标检测、运动跟踪、彩色图像、灰度图像、彩色边缘检测

  从视频图像序列中获得运动物体的数据的方法除了能运用在道路交通外,也能运用于各种监控领域,例如小区防盗、银行监控等等,用以检测和跟踪进入场景的人或物体,应用范围非常广泛。

  本文就是研究如何让计算机从视频图像序列中获得物体运动数据——视频图像序列中运动物体的检测和跟踪。研究以道路交通作为实验场景,单摄像头且摄像头固定的情况。输入是RGB色彩空间的视频图像序列,目标是实现对视频图像序列中运动物体的跟踪,获得其在图像坐标下的速度。而多摄像头的情况和摄像头跟随物体运动的情况,比单摄像头且摄像头固定的情况复杂,例如多摄像头的多个二维图像序列中如何重构三维场景等。单摄像头且摄像头固定的情况是最基本的情况,因此本文集中精力研究单摄像头且摄像头固定情况下的运动目标检测和跟踪。

  第七章讲述运动物体层的运动跟踪。首先,介绍了卡尔曼滤波器,其可以用于运动跟踪[4],但其存在一些问题,由卡尔曼滤波器启发,本文提出了一种基于预测的运动跟踪方法,其实质是一种简化的卡尔曼滤波器,很好的解决了卡尔曼滤波器存在的问题。我们做了很多实验验证了此算法的健壮性。这一章还比较了基于边缘图像的运动跟踪与基于原始的彩色图像的运动跟踪的效果,指出了基于边缘图像的运动跟踪差于基于原始彩色图像的运动跟踪的原因。

  运动目标检测与跟踪分为背景提取、运动点团提取、运动点团位置提取、运动物体跟踪这几个步骤,本文对每一个步骤的各种算法做了实验分析比较研究,并提出了改进算法。在背景提取步骤提出了改进的基于均值的背景提取算法以及减少图像像素的兴趣区提取算法。在运动点团提取的阴影处理步骤提出了改进的基于RGB空间的阴影处理算法。在运动点团位置提取步骤提出了改进的线段编码算法。在运动物体跟踪步骤提出了基于预测的运动跟踪算法。实验与分析说明本文提出的算法优于原算法。