57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法

上个月,Scaled-YOLOv4 刚刚刷新COCO 目标检测的新记录:55.8% AP!

昨天该数据又双叒叕被打破了!

57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法
谷歌拿下COCO目标检测和实例分割双项第一名!其中:

目标检测数据刷到57.3 AP;

实例分割数据刷到49.1 AP!

57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法

Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation

复制-粘贴是用于实例分割的强大数据增广方法

作者单位:谷歌大脑(Quoc V. Le等人), 加州大学伯克利分校, 康奈尔大学

论文:https://arxiv.org/abs/2012.07177

从标题可以看出,本文的灵魂就是:Copy-Paste,简称复制粘贴大法好!本文虽然标题是用于实例分割,但同理用于mask的复制粘贴,也可以直接用于box的复制粘贴。

由图1简单粗暴看出加上Copy-Paste的涨点情况:

57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法

建立数据高效且可以处理稀有对象类别的实例分割模型是计算机视觉中的一项重要挑战。利用数据增广是解决这一挑战的有希望的方向。在这里,本文对复制-粘贴增广([13,12])进行了系统研究,例如将对象随机粘贴到图像上的分割。

实际上Copy-Paste这个思想之前就有了,比如ICCV 2017 《Cut, Paste and Learn: Surprisingly Easy Synthesis for Instance Detection》

57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法

ECCV 2018 《Modeling Visual Context is Key to Augmenting Object Detection Datasets》

57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法

先前关于Copy-Paste的研究依赖于对周围的视觉环境进行建模以粘贴对象。但是,本文发现随机粘贴对象的简单机制足够好,并且可以在强大的基线之上提供可靠的性能提升。此外,本文显示出Copy-Paste在半监督方法下是性能是直接"加法"的提升,其中半监督方法通过伪标签(例如自训练)利用额外数据。

57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法

本文主要创新点:

  1. Blending Pasted Objects

公式:I1 × α + I2 × (1 - α)

  1. Large Scale Jittering

  2. Self-training Copy-Paste

这三点其实很容易理解(不用翻译,直接看懂),没有花哨的处理,但实验证明涨点明显!

关于Large Scale Jittering如下图所示:

57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法

实验结果
在COCO实例分割上,本文实现了49.1个mask AP和57.3个box AP,与之前的最新技术相比,分别提高了+0.6个mask AP和+1.5个box AP。

值得注意的是,在baseline上只加上Copy-Paste,在COCO上就可达56.0 AP!就已经刷新目前最高记录;然后在加上self-training,直接助力到57.3 AP!

看样子,COCO目标检测刷到60 AP也不远了...

57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法

下面还有一些实验结果,也相当有意思:

57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法
57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法
57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法

本文进一步证明,Copy-Paster可以显著改善LVIS基准。我们的基准模型在罕见类别上的表现优于LVIS 2020挑战赛的获胜者,获得+3.6 Mask AP。

57.3 AP!刷新COCO目标检测和实例分割新记录!谷歌提出复制-粘贴大法

上述论文PDF下载

后台回复:复制粘贴大法,即可下载上述论文,赶紧学起来!

目标检测综述下载

后台回复:目标检测二十年,即可下载39页的目标检测最全综述,共计411篇参考文献。

下载2

后台回复:CVPR2020,即可下载代码开源的论文合集

后台回复:ECCV2020,即可下载代码开源的论文合集

后台回复:YOLO,即可下载YOLOv4论文和代码

猜你喜欢

转载自blog.51cto.com/15069443/2612410