BlendMask是一阶段的密集实例分割方法，结合了Top-down和Bottom-up的方法的思路。它通过在anchor-free检测模型FCOS的基础上增加了Bottom Module提取low-level的细节特征，并在instance-level上预测一个attention；借鉴FCIS和YOLACT的融合方法，作者提出了Blender模块来更好地融合这两种特征。最终，BlendMask在COCO上的精度（41.3AP）与速度（BlendMask-RT 34.2mAP, 25FPS on 1080ti）都超越了Mask R-CNN。这篇文章的创新点不能算突出，但是实验做的很充足，优化模型的思路也很值得借鉴，好评~

背景介绍

本文主要讨论的是密集实例分割（ Dense instance segmentation），密集实例分割也同样有top-down和bottom-up两类方法。

Top-down 方法

自上而下的密集实例分割的开山鼻祖是DeepMask，它通过滑动窗口的方法，在每个空间区域上都预测一个mask proposal。这个方法存在以下三个缺点：

mask与特征的联系（局部一致性）丢失了，如DeepMask中使用全连接网络去提取mask
特征的提取表示是冗余的，如DeepMask对每个前景特征都会去提取一次mask
下采样（使用步长大于1的卷积）导致的位置信息丢失

Bottom-up 方法

自下而上的密集实例分割方法的一般套路是，通过生成per-pixel的embedding特征，再使用聚类和图论等后处理方法对其进行分组归类。这种方法虽然保持了更好的低层特征（细节信息和位置信息），但也存在以下缺点：

对密集分割的质量要求很高，会导致非最优的分割
泛化能力较差，无法应对类别多的复杂场景
后处理方法繁琐

混合方法

本文想要结合 top-down和bottom-up两种思路，利用top-down方法生成的instance-level的高维信息（如bbox），对bottom-up方法生成的 per-pixel prediction进行融合。因此，本文基于FCOS提出简洁的算法网络BlendMask。融合的方法借鉴FCIS（裁剪）和YOLACT（权重加法）的思想，提出一种Blender模块，能够更好地融合包含instance-level的全局性信息和提供细节和位置信息的低层特征。

总体思路

BlendMask的整体架构如下图所示，包含一个detector module和BlendMask module。文中的detector module直接用的FCOS，BlendMask模块则由三部分组成：bottom module用来对底层特征进行处理，生成的score map称为Base；top layer串接在检测器的box head上，生成Base对应的top level attention；最后是blender来对Base和attention进行融合。

Bottom Module

这部分的结构类似FCIS和YOLACT，输入为 $N \times K \times \frac{H}{s} \times \frac{W}{s}$ 的低层特征，由骨干网络或FPN输出。通过一系列的decode（上采样和卷积），生成score maps，称为Base(B)。文中使用的是DeeplabV3+的decoder，其他分割网络的decoder同样适用。

上式中的N为batch size，K为Base的数量，H和W是输入图像的大小，s则是Base的输出步长。

Top Layer

在检测金字塔的每一层后面都加了一层卷积，用来预测 top-level attentions (A)。这里与YOLACT相似，但有所区别：

在YOLACT中，输出是 $N \times K \times H_{l} \times W$ ，即base的每个channel的权重值，原文中称为mask cofficient；
本文输出的A的维度是 $N \times(K \cdot M \cdot M) \times H_{l} \times W_{l}$ ，这里 $M \times M$ 为attention 的分辨率，即对应的base的每个像素点的权重值，包含的粒度更细。

由于top-level attention是三维的，因此可以学习到一些instance-level的信息，例如大致的形状和姿态。具体的实现为output channel为 $K \cdot M \cdot M$ 的卷积。

Blender

Blender模块是文章的创新部分，该部分的混合过程具体解释如下：

首先明确Blender模块的输入，分别为：

detector tower 生成的bbox proposal(P)，维度为（K×H'×W'）；此外，在训练的时候，直接使用GT bbox作为P，而在推理时，则使用检测器的检测结果。
top layer 生成的top-level attention(a)，维度为（K×M×M）
bottom module 生成的base(B)，是整图大小的k个mask，维度为（K×H×W）

对B：使用Mask R-CNN中的RoIPooler（即sampling ratio 为1 的 RoIAlign，Mask R-CNN中为4），在 B 上crop出 P 对应的区域的mask，并resize到固定R×R大小的特征图，最后得到的 $r_d$ 的维度为(K×R×R)；

对A：这一步其实是top layer中的后处理操作，放在这里来讲。作者根据FCOS中的后处理方法，选出前D个检测框和对应的A，并通过RoIAlign (sampling ratio=1) 和 reshape，将A的维度由（K*M*M, H‘, W'）调整为（K×M×M)，记为a；
对a：由于M一般小于R，做一个插值，将 A 从 M×M 插成 R×R 大小，得到的 $a_d^{}$ 维度为(K×R×R)

再在K维度上做softmax，得到一系列的scores map， $s_d^{}$ 的维度同样为(K×R×R)

融合：这时的 $s_d^{}$ 和 $r_d$ 都是 (K×R×R) 的大小，可以直接做element-wise product：把k个bbox大小的mask和对应的attention乘起来，再按通道叠加起来，得到最终的mask

实验结果

参数设置

BlendMask的超参数共有以下几个：

R，bottom-level RoI的分辨率，论文中的设置为56
M，top-level prediction(A)的分辨率，一般比R小得多，论文中的设置为7
K，base的数量，论文中的设置为4
bottom module的输入特征，来自骨干网络（C3,C5）or FPN（P3, P5），论文中使用P3,P5
bottom bases的采样方法，最近邻池化 or 双线性池化，论文中采用双线性池化
top-level attention的插值方法，最近邻插值法 or 双线性插值，论文中采用双线性插值

这些超参数在后面都会做消融实验，为了与其他模型做合理对比，在消融实验中使用的BlendMask设置如下：R_K_M分别为28, 4, 4；bottom module的输入特征采用来自骨干网络C3和C5；top-level attention使用的是最近邻插值法，与FCIS一致；Bottom level使用双线性池化，与RoIAlign一致。