2019 - CVPR - 视频修复 Video Inpainting论文导读 -《Deep Flow-Guided Video Inpainting》

1. 论文动机

视频补全(Video Inpainting)的目标是填充一段视频中确实的部分,以往的效果比较好的算法是基于patch的补全技术,但是仍然存在两大缺陷:
(1)由于摄像机等不可控制的因素,很可能输入的视频不是平滑均匀的,但是基于patch的视频补全技术却要求视频是平滑均匀的 ,因此不能处理复杂的运动视频。
(2)基于patch的补全技术显然要计算patch之间的相似性以找到最合适的patch,因此这种方法对算力提出了极高的要求。
这篇论文是2019年发表在CVPR上的,在此之前,比较流行的技术是CNN,但是CNN也存在着很大的缺陷:
(1)经过实验验证,基于CNN的视频补全技术会产生明显的伪影和抖动,极大地影响了Inpainting效果。
(2)模型直接将RGB图像输入,而RGB图像的帧量极大,这会导致计算的复杂性非常高,同时也对模型的容量提出了很高的要求。

2. 论文导读:

基于以上的动机,这篇论文提出了在当时全新的方法 —— Flow-Guided,因为我们对光流进行补全要比对原RGB图像直接补全要容易很多,而且很大部分的确实区域是可以由已知区域传播得到。因此,可以先对视频中的光流进行补全,然后再进行颜色等的填充。于是,他们synthesizing a coherent flow field across frames。为了对视频进行光流补全,这篇论文提出了新型的网络架构 —— DFC-Net. 他们认为视频补全可以通过对光流进行处理和像素的传播来实现。同时他们也证明了此方法适用于复杂的、不均匀

猜你喜欢

转载自blog.csdn.net/m0_51339444/article/details/124001163