Side Adapter Network in Open Vocabulary Segmentation

该研究引入了Side Adapter Network用于解决Open-Vocabulary Semantic Segmentation问题，并在该领域取得了显著进展。

代码链接：https://github.com/MendelXu/SAN

作者： Mengde Xu,Zheng Zhang,Fangyun Wei,Han Hu,Xiang Bai

发表单位： 华中科技大学、微软亚洲研究院

会议/期刊： CVPR2023 Highlight

一、研究背景

ImageNet上的分割实验结果表明，在每一个输入图像中，将该图像所属的类别与COCO类别进行整合作为推理阶段的词汇表来源，并且仅对实例分割标注区域进行可视化显示。

现代语义分割技术通常需要大量标注的数据支持，在实际应用中这些标注数据仅涵盖几十到几百个类别。尽管如此这使得数据采集与标注的成本显著提高。近年来大规模视觉-语言模型（如CLIP）在图像分类任务中取得了巨大的成功但由于这类模型主要通过图像级别的对比学习进行训练它们的学习表征难以满足像素级语义分割的需求。以弥补这种表示粒度差异