运动目标检测与跟踪是计算机视觉研究的主要问题之一,融合了图像处理、模式识别、自动控制、人工智能以及计算机等许多领域的先进技术,
统计数据显示,英国目前有400多万个摄像机,而伦敦的居民平均每个人每天要被摄像机拍摄300次。
公安部主导的“平安城市”计划,促进了视频监控市场的迅速增长,全国约有200万个监控摄像机用于城市监控与报警系统。
视觉跟踪是在20世纪50年代从统计模式识别开始的,当时的工作主要集中在二维图像的分析和识别上;
60年代Roberts(1965)通过计算机程序从数字图像中提取出诸如立方体楔形体棱柱体等多面体的三维结构,并对物体形状及物体的空间关系进行描述;
80年代至今运动目标的视觉跟踪已经成为计算机视觉研究领域中的一个十分重要的理论框架
经历了几十年的发展,尽管人们对视觉跟踪的研究有了突飞猛进的进展,但是由于图像映射成图像信息的丢失图像的噪声干扰目标运动的复杂性(尤其是对人的跟踪中,关于行为事件状态有着不同的概念),目标的非刚体或链接特性目标的部分或全部遮挡目标形状的复杂性场景光照的变化实时处理的要求等,都使得对目标进行有效跟踪变得异常困难其中运动的分割遮挡的处理建模与跟踪多摄像机的使用性能的评估(鲁棒性准确性和快速性)依然是今后研究的热点和难点问题。
光照亮度的渐变和轻微噪声干扰问题没有很好的解决方法,适应周围环境中的性能比较差。自然界光线和灯光的亮度是在不断变化的,但是人眼一般感觉不到这种光线亮度的微笑变化,但是在运用机器对场景中运动目标进行检测的过程中对这种情况非常敏感,会严重的影响检测结果
需要有运动目标的有效分类。从背景中有效的识别出运动物体是运动目标检测的关键。如果没有应用正确的目标识别的方法,则就会导致检测与跟踪过程中目标丢失或出现虚假跟踪目标现象。所以,运动目标的有效分类问题必须得到有效的解决,这是提高跟踪算法的有效性的关键技术。
运动目标检测与跟踪中存在的遮挡与重叠问题。对单个目标跟踪,目前己经有了许多有效的跟踪算法,但当场景中出现多个运动目标时,尤其是这些运动目标之间存在着相互遮挡和重叠时,有效分离运动目标并正确跟踪将是很困难的。
初始运动参量的确定在检测与跟踪系统中有效确定,如果跟踪目标的初始运动状态参数的确定方法不当,跟踪速度会非常慢,正确率也会随之急剧下降。
对于不同的应用环境、图像类型和性能要求,都有各自不同的跟踪方法,而不同的跟踪算法往往是针对不同的目标特征描述来设计的。目前,绝大多数算法都是针对某类问题提出的,适合于任何环境或任何跟踪条件的通用的算法不存在。
静态场景下运动目标跟踪就是摄像机在整个监视过程中不发生移动,只有被监视目标在场景中移动;针对运动目标检测与跟踪关键技术问题展开了研究,在认真总结前人研究成果的基础上,深入分析与探讨了目前运动目标检测与跟踪算法研究领域所面临的主要问题。论文主要针对两个关键技术展开研究,一是运动图像分割,二是基于粒子滤波的运动目标跟踪。
在实际环境中,由于视觉信息非常丰富,并且存在着背景光线变化、观测视角变化、运动目标移入移出、目标物相互遮挡等问题,使得视频跟踪算法面临着多种挑战。视频跟踪算法必须要能够适应这些复杂场景变化,并且能从这些外在变化导致的跟踪失误中恢复过来,这就对跟踪算法的鲁棒性及准确性提出了很高要求,除此之外,跟踪算法也应该具备良好的实时性,这样才能实时处理连续的视频流信息,跟踪的实时性也是现阶段一个研究热点。努力研究一种具有良好鲁棒性、准确性、实时性并具有良好可移植性的视频跟踪算法成为了人们共同努力的方向。
运动目标检测与跟踪是在基于动态图像分析的基础上结合图像模式识别和图像跟踪方法对图像序列中的目标进行检测—识别—跟踪的过程,它是图像处理与计算机视觉领域中的一个非常活跃的分支,在最近二十几年间,随着计算机技术、CLSI技术与高分辨率传感技术,图像处理技术的迅速更新,它在国名经济和军事领域的许多方面有着广泛的应用。
军事公安方面的应用:在军事方面主要用于导弹的精确制导,可疑目标的检测与跟踪公安业务图片的判读分析,指纹识别,人脸识别,不完整图片的复原,以及智能交通监控、事故分析等。
智能交通方面:通过对道路交通情况的实时监控,利用图像处理技术对各种情况作出准确的判断。
体育方面的应用:对运动员在比赛或者是训练中的技术动作的视频进行分析,得出精确的运动参数进行分析。
目前国内外有很多机构和学者对基于计算机视觉的运动物体检测和跟踪方法进行研究。近些年来出现了基于卡尔曼滤波和基于粒子滤波的跟踪算法。这些跟踪算法是通过计算机,在比较复杂的场景中自动检测出运动物体,同时对其进行跟踪,这种技术有着非常广泛的应用前景和极其重要的实践意义。虽然在该领域己经取得了一定的成绩,但同时在该领域也存在研究对象场景复杂且研究内容需要涉及多种学科的现象,所以目前还存在很多的研究难点,例如:
对于不同的应用环境、图像类型和性能要求,都有各自不同的跟踪方法,而不同的跟踪算法往往是针对不同的目标特征描述来设计的。目前,绝大多数算法都是针对某类问题提出的,适合于任何环境或任何跟踪条件的通用的算法不存在。
利用序列图像在时间和空间上的冗余信息,将场景中的运动目标从背景中分离出来。主要
困难在于光照变化、背景物运动干扰、运动目标阴影以及摄像机运动等干扰因素。
课题主要针对运动目标检测与跟踪关键技术问题展开研究。将会在在认真总结前人研究成果的基础上,深入分析与探讨目前运动目标检测与跟踪算法研究领域所面临的主要问题。课题主要针对两个关键技术展开研究,一是运动图像分割,二是基于卡尔曼滤波的运动目标跟踪。
1)对于运动图像分割技术方面,考虑传统混合高斯模型及HSV向量空间特点,提出一种基于HSV彩色空间的分块混合高斯模型建模方法,减少了传统模型的运算量,很好的抑制运动目标阴影,增加了算法的鲁棒性。
2)对于粒子滤波运动目标跟踪技术方面,在对建议分布的选择机制及自适应选择机制研究基础上,提出了两种基于建议分布的粒子滤波运动目标跟踪算法:一种是基于混合建议分布改进和自适应重采样结合的粒子滤波运动目标跟踪算法;另一种是基于样本多样性测度的建议分布自适应改进粒子滤波运动目标跟踪算法,通过试验,均能实现有效的目标跟踪。
特征提取和目标跟踪:对检测出的目标提取可识别的特征,依据这些特征在后续的视频图像序列中对目标进行跟踪。
运动目标检测是把目标从图像序列中将变化区域从背景图象中提取出来的一种方法。本文要分析各种算法的优缺点,然后结合算法的优点进行运动目标的检测,取得良好的检测效果,
控,包括运动对象的存在的位置、大小和形状等。本文运用了粒子滤波进行跟踪,由于粒子滤波存在样本退化和样本枯竭的现象,为了改进其跟踪的性能,本文采用了改进的粒子滤波跟踪算法,通过改进建议分布来提高跟踪的效率,对其进行研究,增加跟踪的可靠性。
利用序列图像在时间和空间上的冗余信息,将场景中的运动目标从背景中分离出来。主要困难在于光照变化、背景物运动干扰、运动目标阴影以及摄像机运动等干扰因素。
其基本原理是:给图像中的每一个像素点赋予一个速度矢量,这就形成了一个图像运动场,在运动的一个特定时刻,图像上的点与三维物体上的点一一对应,根据各个像素点的速度矢量特征对图像进行动态分析,如果图像中没有运动目标,则光流矢量在整个图像区域是连续变化的,当物体和图像背景存在相对运动时,运动物体所形成的速度矢量必然和邻域背景速度矢量不同,从而检测出运动物体的位置。
光流法是通过计算图像的光流场实现运动目标检测的一种方法。所谓光流场是指空间运动物体被观测表面上的像素点运动产生的瞬时速度场,一个二维的速度场,包含了物体表面结构和动态行为的重要信息。光流法的核心是求解出运动目标的光流,即速度。
帧间差分法是将连续两帧或者几帧图像进行比较,采用基于像素的时间差分并且阈值化来提取运动目标信息进而实现目标检测
背景差分法的原理是:用检测之前获取的背景图像帧对每个像素进行统计建模,构建背景模型,再将当前图像帧与背景模型进行差分运算,并对得到的差分图像进行二值化,根据确定的阂值计算出当前图像帧中与背景模型值相差较大的像素点,并判断此像素是否为目标上的点,从而可得到较完整的目标信息。
运动图像分割就是把运动目标从复杂的背景提取出来,是运动图像处理过程的前期阶段,当然分割算法的好坏不仅取决于算法自身,还应该根据不同的场景选择适合的算法,也是非常重要的。
混合高斯模型是背景建模中研究最广泛的方法之一。传统的混合高斯模型是建立在RGB色彩空间基础上的,本文采用的是SHV色彩空间模型,并为每个像素点建立x个(一般3-5)高斯模型,根据每个高斯模型权重的不同,进行自适
为了得到好的检测结果,找到有效的背景估计方法来生成背景图像便成为背景差分法的核心。在实际应用中,当背景光照变化比较明显时,仍有新的问题需要解决,主要的两个问题是:背景图像的获取和背景图像的更新
a)背景图像的获取:背景图像的获取的理想情况是在没有运动目标的情况下直接获取,但是现实中由于外界光线的变化、摄像机的扭动偏转等,很难使背景中没有运动目标,因此增加了获得背景图像的难度。
b)背景模型的更新:一般情况下,场景中的背景图像不会没有任何变化,因此为了使检测与跟踪目标更准确,需要经常更新背景图像,以适应场景的变化。
背景差分法中,构建的背景模型与真实场景的符合度会影响检测的准确性。最简单的获取背景方法是采集一幅场景中没有运动目标的图像作为背景,但该方法只适用于场景比较简单或者变化较小的场合,所以人们就对如何动态的构建背景模型以及实时的更新背景模型进行了大量的研究。常用的方法有:统计平均法、Surendra背景更新算法、混合高斯模型法等。
光流法通过计算三维运动场投影到二维图像平面内的速度场来区分运动目标和背景,一般包括连续光流法和特征光流法。
如图可见,由目标运动引起的运动变化区域包括运动目标在前后两帧中的共同位置(图中黑域)、在当前帧中新显露出的背景区域和新覆盖的背景区域三部分。
假设1:在背景静止的情况下,若外界光照条件不变,且在不考虑噪声的情况下,视频序列图像中的背景保持不变。
根据假设1,在静态场景的条件下视频序列图像中不包含目标的完整背景在每一帧都相同,由于运动目标会遮挡住一部分背景,所以每一帧中的背景并不等于完整背景,关键技术就是根据一定的准则从连续k帧图像中估计出该视频序列图像的完整背景。
根据假设2,运动目标与背景之间的灰度存在着一定的对比度,因此在不考虑噪声的情况下,在差分图像中属于背景区域的像素的灰度值为零,从而检测出了运动目标。
原因:由于阴影和目标都与背景的差别很大,并且二者常有着相同的运动,阴影常被错划为运动目标。
1.目标的合并,即两个或多个目标由于阴影而连成一个连通域,被后续目标提取算法判为一个目标;
1.基于几何模型的方法:它利用摄像机位置、场景表面的几何特征以及目标间的几何约束来检测阴影,需要很多假设和先验知识,如要求地面平直、目标垂直于地面、明确摄像机和光源位置等;
2.基于颜色特征的算法:它在RGB、HSV、YUV等颜色空间上使用多种阈值分割前景、背景、阴影,或者利用统计模型对阴影像素的颜色值进行描述,如显著性检验、贝叶斯推断、最大后验概率、混合高斯模型等。这类方法中,大多通过经验选取分割阈值,分割效果常会随图像内容的不同而不同。
3.基于纹理模型的检测方法:它利用投射阴影降低相应背景像素灰度值,但不改变像素领域纹理的特征进行阴影检测,典型的用于阴影检测的纹理特征有Gabor特征,小波变换特征,比率边缘等。
场景中如果除了运动目标外还存在一些运动的背景物体,如果不抑制背景中的运动物体,这些虚假目标会表现出大量的虚警,直接影响感兴趣运动目标的提取。
天气变化、灯光开启或关闭以及摄像机光圈自动调节均会导致光照发生较大变化,致使图像发生显著变化,提取的运动区域就不对应于任何运动目标,形成大面积虚警。
运动目标跟踪简单的说,就是寻找当前帧图像中的运动目标在下一帧图像中的位置。目前的方法基本上都是先预测运动目标在下一帧中可能处于的区域,以此来缩小目标搜索的范围,然后在搜索区域内进行模板匹配,进而获得准确的目标位置信息。
基于区域匹配的跟踪方法(比较常用的,基本思想是把图像中运动目标的连通区域的共有特征信息作为跟踪检测值的一种方法。在连续的图像中有多种区域信息,例如颜色、纹理特征,目标的位置、外接距大小等等)
卡尔曼滤波器的工作过程就是先利用预测方程组根据上一次估计结果的状态值毫一和预测误差最一。来预测得到本次的预测状态值和预测误差,但是这样预测得到的结果与状态的真实值一般都会有或多或少的误差,因此在获得新的观测值时就需要根据新的观测值来修正预测的结果。从而就需要修正方程组根据当fj{『的观测值Zk来修正当前的预测值,得到修正后的状态估计值和噪声方差估计值。整个是一个递归的过程,预测和修正过程迭代执行下去就构成了卡尔曼滤波过程。
第一步提取并记录运动目标的特征,为了对运动目标进行跟踪,首先必须用外接矩形对运动目标进行标定,然后提取并记录目标的质心和外接矩的特征信息。
第二步用提取出的特征信息初始化卡尔曼滤波器。由于初始化时对目标的速度,以及目标外接矩形的变化速率未知,所以对于这几个量可以初始化为零。
第三步用卡尔曼滤波器对下一帧中对应的目标区域进行预测,当下一帧到来后,在预测区域内进行目标匹配。
第四步如果匹配则当前帧中的目标信息更新卡尔曼滤波器,并记录下当前帧中的目标信息。
线性卡尔曼滤波是美国工程师Kalman在线性最小方差估计的基础上,提出的在数学结构上比较简单的最优线性递推滤波方法。
这里运用式(5)和式(6),根据扩展的卡尔曼滤波器,预测目标在下一时刻可能出现的位置:
式中:Δpk+1表示预测的不准确程度,即提供了目标匹配的搜索范围;p⌒k+1表示预测位置的坐标及搜索范的中心坐标。在实际应用中,往往扩大目标匹配的搜索范围为Δpk+1+ε,其中ε为预设正常数。
将找到的使匹配距离最小的目标区域作为被跟踪到的目标,将该区域的复制记为Tk+1,并把它的中心坐标复制给pk+1,则:
主要根据每帧得到的测量值修正目标的参数,使用IRR(无限冲击响应)滤波器完成对v⌒k,a⌒k和Δvk,Δak的修正,其公式为:
能够更好的服务于目标跟踪的处理。,但是频繁执行重采样会导致样本衰竭,而过
图像中的运动目标检测与跟踪是数字图像处理与识别以及计算机视觉领域研究的主要内容之一,在机器人导航、智能视觉监控系统、医学图像分析、工业检测以及视频图像分析等领域中都有应用。ballbet贝博