第10章 运动分析

运动图像分割 随着多媒体技术的发展，视频图像得到广泛应用，由一系列时间上连续的2-D图像组成 从空间分割的角度来看，视频图像分割主要是希望把其中独立运动的区域(目标)逐帧检测处理 从时间分割的角度来看，主要是把连续的序列分解为时间片断 这两种都同时利用时域信息(帧间灰度等的变化)和空域信息(帧内灰度等的变化)

运动图像的分割可直接利用时-空图像的灰度和梯度信息进行分割，也可采用在两帧视频图像间估计光流场，然后基于光流场进行。前者称为直接方法，后者称为间接方法

差分法 在序列图像中，通过逐象素比较可直接求取前后两帧图像之间的差别 假设照明条件在多帧图像间基本不变化，那么差图像的不为0处表明该处的象素发生了移动 也就是说，对时间上相邻的两幅图像求差，可以将图像中目标的位置和形状变化突出出来

如图所示，设目标的灰度比背景亮，则在差分的图像中，可以得到在运动前方位正值的区域，而在运动后方为负值的区域，这样可以获得目标的运动矢量，也可以得到目标上一定部分的形状，如果对一系列图像两两求差，并把差分图像中值为正或负的区域逻辑和起来，就可以得到整个目标的形状。

设ti和tj时刻采集到两幅图像f(x,y,ti)和f(x,y,tj)，则可得差图像： dij(x,y)= 1 如|f(x,y,ti)-f(x,y,tj)|>T 0 其它 由于噪声的影响，没有发生象素变化的地方也可能检测出图像间差别不为0的情况，另外由于噪声产生的为1的象素一般比较孤立，可以用连通体分析而去除他们，但这样可能将慢运动和尺寸小的目标去除 利用一系列多幅图像进行差运算，将第一幅图像作为参考图，通过将参考图与其后的每一幅图比较可得到累积差图像

在应用视觉系统中，检测运动目标常用差分图像的方法，一般有两种情况一是当前图像与固定背景图像之间的差分称为减背景法，二是当前连续两幅图像 (时间间隔Δｔ)之间的差分称为相邻帧差分法

从实验结果可以看出，减背景差分法对于运动目标能很好的检测出来，然而自然景物环境永远不会很静止 (例如，风吹动树枝和树叶，太阳位置改变导致阴影的变化)，因此该方法抑制噪声能力较差。这种目标检测方法的优点是计算简单、易于实时，位置准确，但它要求背景绝对静止或基本无变化（噪声较小），不适用于摄像头运动或者背景灰度变化很大的情况，因而适用场合有限， 另外其不足之处还在于受环境光线变化的影响较大，在非受控环境下需要加入背景图像更新机制。而对于相邻帧差分法对运动目标很敏感，但检测出的物体的位置不精确，其外接矩形在运动方向上被拉伸，这实际上是由相对运动与物体位置并非完全一致引起的

间接方法-估计光流场 假设有K个独立的运动目标，每个光流矢量对应一个透明目标在3-D空间进行刚体运动所得到的投影，这样每个独立的运动都可准确的用一组映射参数来描述 从光流场计算方法可知，在光流场中，不同的物体会有不同的速度，大面积背景的运动会在图像上产生较为均匀的速度矢量区域，这为具有不同速度的其它运动物体的分割提供了方便。

给图像中的每一像素点赋予一个速度向量，就形成了图像运动场(motion field)。在运动的一个特定时刻，图像上某一点pi对应三维物体上某一点P0，这种对应关系可以由投影方程得到。在透视投影情况下，图像上一点与物体上对应一点的连线经过光学中心，该连线称为图象点连线(Point ray)。

设物体上一点p0相对于摄像机具有速度v0，从而在图像平面上对应的投影点pi具有速度vi。在时间间隔△t时，点p0运动了v0 △t ，,图像点pi运动了vi △t 。速度可由下式表示 r0和ri之间的关系

当物体运动时，在图像上对应物体的亮度模式也在运动。光流(optical flow)是指图像亮度模式的表观（或视在）运动 (apparent motion)。使用“表观运动”这个概念的主要原因是光流无法由运动图像的局部信息唯一地确定，比如，亮度比较均匀的区域或亮度等值线上的点都无法唯一地确定其点的运动对应性，但运动是可以观察到的。

基于块的运动分析 基于块(Block-based))的运动分析在图像运动估计和其它图像处理和分析中得到了广泛的应用，比如在数字视频压缩技术中，国际标准MPEG1-2采用了基于块的运动分析和补偿算法。块运动估计与光流计算不同，它无需计算每一个像素的运动，而只是计算由若干像素组成的像素块的运动，对于许多图像分析和估计应用来说，块运动分析是一种很好的近似。 块运动通常分为平移、旋转、仿射、透视等运动形式，一般情况下，块运动是这些运动的组合，称为变形运动(deformation motion)

步骤 在基于块的运动分析中最为重要的就是块的匹配。

块匹配的基本思想：在第帧中选择以为中心、大小为的块，然后在第帧中的一个较大的搜索窗口内寻找与块尺寸相同的最佳匹配块的中心的位移矢量。搜索窗口一般是以第帧中的块为中心的一个对称窗口，其大小常常根据先验知识或经验来确定。

匹配准则 匹配准则－最大互相关准则，最小均方差准则，最小平均绝对值差，最大匹配像素数量准则 最小均方差准则(mean square error，MSE)定义如下 通过求上式的极小化可以估计出位移矢量

对MSE求极小化的准则可以认为是给窗口内的所有象素强加一个光流约束。最小均方差准则很少通过超大规模集成电路(VLSI)来实现，主要原因是用硬件实现平方运算有相当的困难。通过超大规模集成电路(VLSI)来实现的准则是最小平均绝对差。

最小平均绝对差准则(mean absolute difference，MAD)定义如下 位移矢量的估计值为

最大匹配像素数量准则(matching pel count，MPC) －这种方法是将窗口内的匹配象素和非匹配象素根据下式分类：

搜索策略 为了求得最佳位移估计，可以计算所有可能的位移矢量对应的匹配误差，然后选择最小匹配误差对应的矢量就是最佳位移估计值，这就是全搜索策略。这种策略的最大优点是可以找到全局最优值，但十分浪费时间，因此，人们提出了各种快速搜索策略。尽管快速搜索策略得到的可能是局部最优值，但由于其快速计算的实用性，在实际中得到了广泛的应用。下面讨论一种快速搜索方法：步搜索或对数搜索。

设窗口大小为15×15 ，当前象素值位于窗口中心，用“0”来标记，第一步，选择标记为“0”和“1”的9个象素计算匹配准则函数，如果最佳匹配仍在“0”处，则无运动。第二步，以第一步最佳匹配对应的象素点为中心选择8个点（图中用标记“2”表示），计算这8个点的匹配准则函数值。第三步，以第二步最佳匹配对应的象素点为中心选择8个点（图中用标记“3”表示），计算这8个点的匹配准则函数值，最佳匹配值即为最后的最佳运动估计。由图(a)可见，每进行一步，搜索距离减小一半，并且愈来愈接近精确解．人们将上述搜索过程称为3步搜索．当然可以继续在子象素级上进行搜索，以得到更精确的估计值，这样就需要大于3步的搜索，称之为步搜索。由于搜索步数与窗口内象素个数是对数关系，因此，常将这种搜索称为对数搜索。另一种对数搜索策略是在每一步有4个搜索位置，它们以十字形或交叉形布置，如图(b)所示。