深入探讨对比学习与SimCSE的知识点

2020年,Moco与SimCLR等技术一起,推动了对比学习在计算机视觉领域的快速发展,而到了2021年, SimCSE的出现更是让自然语言处理领域乘上了CompareLearning这列春风. 为了更好地深入理解这一领域的精髓与创新,我们计划通过问答形式,深入挖掘其中一些细节知识点.

1. 如何理解对比学习？它与度量学习有何区别？

2. 在对比学习中，默认情况下会将一个batch中除目标样本外的所有样本作为负样本。然而，在某些情况下这些负样本之间可能存在高度相似性该如何应对？

3. infoNCE损失应该如何理解？与交叉熵损失相比有哪些特点？

4. 在对比学习的infoNCE损失中温度常数起到了什么作用？

5. SimCSE中的dropout mask指的是什么呢？其mask率大小会对模型产生什么样的影响？

6. SimCSE无监督模式的具体实现流程是怎样的？标签生成与loss计算是如何实现的？

1、如何去理解对比学习，它和度量学习的差别是什么？

对比学习的思想旨在促进相似样本之间的融合，并使不相似样本保持远离状态。这一目标是为了构建一个具有良好语义表达能力的空间。

论文[1]探讨了'Alignment and Uniformity on the Hypersphere'这一主题,