BlendMask: Top-Down Meets Bottom-Up in Instance Segmentation

论文链接：https://arxiv.org/abs/2001.00309>

GitHub项目（采用PyTorch框架，基于Detectron2实现）：https://github.com/aim-uofa/adet>

Introduction

实例分割任务要求实现密集的逐像素预测，不仅需要完成像素级别的语义分类，还需准确识别出各个目标实例。基于深度学习的实例分割模型通常包含Top-down架构与Bottom-up架构两种类型，二者在性能和特点上各具优势。本文提出的BlendMask实例分割模型以无锚点FCOS检测器为核心结构，通过整合高层次实例信息与低层次逐像素预测结果，实现了当前最先进的分割效果。该模型的mask mAP最高可达41.3，在实时版本中，其mAP性能与处理速度分别达到34.2和25FPS（基于1080ti GPU）。

Top-down架构：

Top-down类模型通常首先采用特定方法（例如RPN、检测器等）获取边界框信息，随后从高层特征区域中提取感兴趣区域（ROI）特征，并对区域内像素进行mask生成。此类模型普遍面临以下几个问题：

1. 高层特征图的使用可能导致位置信息的丢失；
2. 特征与mask之间的局部一致性难以保持，容易引发错位现象；
3. 特征提取过程存在冗余性，每个边界框都需要重新进行一次mas