Semantic Instance Segmentation via Deep Metric Learning notes

度量学习，亦称相似度学习，其核心在于如何评估图像之间的相似性。具体而言，该方法旨在通过最大化类别间的差异并最小化类别内的差异，使不同类别的图像呈现较低的相似度，而同类图像则具有较高的相似度。

在该论文中，度量学习被应用于像素级别的相似性计算。其目标是确保属于同一物体的像素之间具有较高的相似性，而不同物体对应的像素之间则表现出较低的相似性（首先计算两个像素归属于同一物体的可能性，随后将相似的像素进行聚类）。

首先应用一个已经过预训练的语义分割模型，随后移除其最后一层（以 Deeplabv2 模型为例，该模型为全卷积结构，输入尺寸为 [2h,2w,3]，输出特征图尺寸为 [\frac{4}{h},\frac{4}{w},2048]，此特征图将作为嵌入模型以及分类与种子模型的输入，即实现了整个图像的共享卷积特征），并在其后接入两种不同类型的输出端。

在解读该图时，需明确上下两端并非并行