光流算法从理论到实践专题2

1、资料搜索

2、本人总结

我在“光流算法从理论到实践专题1”已经详细介绍了光流的基本概念以及最基本的LK光流算法。下面我们开始针对光流中的假设进行细化分析，其实在我给大家讲解光流概念的时候，里面就有一个存在一个不严谨的假设：假设上帧与当前帧的时间间隔比较短，但是当运动是快速运动的时候，我们该如何解决呢。我们可以举例来说明一下，加入我们是一个1000X1000分辨率的图像，结果前后两帧图像相同位置的像素偏移了[10,10]。但是如果我们把图像分辨率缩放为100X100，那么像素偏移则变为[1,1]。因此，这篇博客针对这个问题，开始引入 金字塔分层的LK光流法。

2.1 概念

该方法是由Bouguet提出，通过使用金字塔分层的方式，将原始图像逐层分解处理。说白了，就是金字塔上层的一个像素可以代表下层金字塔的几个像素。通过金字塔来实现自上而下的运动量。

2.2 算法简单流程

（1）首先建立一个高斯金字塔对原始图像进行分层，其中底层为原始图像，高层为最低分辨率图像；

（2）之后需要计算光流，即从顶层 $L_{n}$ 开始，通过最小化每个领域范围内的匹配误差和，来得到顶层中每个点的光流

$\varepsilon(d) = \varepsilon(d_{x}, d_{y}) = \sum_{x=u_{x}-w_{x}}^{u_{x}+w_{x}} \sum_{y=u_{y}-w_{y}}^{u_{y}+w_{y}}[I(x, y) - J(x + d_{x}, y + d_{y})]^{2}$

假设图像每次缩放为原来的一半，经过L层金字塔后，其中第0层为原图像，假设已知位移距离为d，每层的位移为：

$d^{L} = \frac{d}{2^{L}}$

（3）顶层的光流计算结果反馈到 $L_{n-1}$ 层，可以得到初始的光流值 $g^{L-1} = 2*(g^{L} + d^{L})$

（4）重复上面的操作，知道第0层对应的 $d = g^{0} + d^{0}$ （准确值 = 估计量 + 残差）

因此，每层中每个点的光流都是基于领域内所有匹配点所有的匹配误差最小化：

$\varepsilon^{L}(d^{L}) = \varepsilon^{L}(d_{x}^{L}, d_{y}^{L}) = \sum_{x=u_{x}^{L}-w_{x}}^{u_{x}^{L}+w_{x}} \sum_{y=u_{y}^{L}-w_{y}}^{u_{y}^{L}+w_{y}}[I^{L}(x, y) - J^{L}(x + d^{L}_{x} + g^{L}_{x}, y + d^{L}_{y} + g^{L}_{y}) ]^{2}$