【论文笔记】Self-Supervised Scene De-occlusion


Self-Supervised Scene De-occlusion
arXiv:2004.02788v1 [cs.CV] 6 Apr 2020
自监督场景去遮挡
注:限于作者水平,本笔记难免存在不妥之处,欢迎批评指正

原作知乎

自监督场景去遮挡

问题定义

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

自监督的部分补全机制

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

部分补全网络的训练

Partial Completion Networks (PCNets)
PCNet-M for Mask Completion
PCNet-C for Content Completion
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

顺序恢复的推理过程

在这里插入图片描述
在这里插入图片描述

基于遮挡顺序的Amodal Completion

内容补全

在这里插入图片描述

与image inpainting的不同之处

在这里插入图片描述

Ordering-Grounded Amodal Completion

在这里插入图片描述

Amodal-Constrained Content Completion

在这里插入图片描述

解决疑问

为何要选取所有祖先节点作为遮挡物,而非仅仅直接遮挡的一阶祖先节点
在这里插入图片描述

Experiments

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

应用1: amodal mask自动生成

在这里插入图片描述

Amodal completion可视化结果

在这里插入图片描述

应用2: 场景编辑和重组

在这里插入图片描述
在这里插入图片描述

可以解决多个物体循环遮挡

在这里插入图片描述

不可解决两个物体互相遮挡

因为如下图中的互相遮挡的情况中,无法定义ordering graph。ordering graph是object level的,而互相遮挡则需要boundary-level de-occlusion。
在这里插入图片描述

用于Re-ID领域的思考

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_43359312/article/details/107830235