LCD: 2D-to-3D matching algorithm

LCD: 2D-3D匹配算法

标题：LCD: 学习跨域描述符用于2D-3D匹配

作者：Quang-Hieu Pham, Mikaela Angelina Uy,
Binh-Son Hua, 等人

论文地址：https://arxiv.org/abs/1911.09326

摘要

在本研究中，设计了一种全新的方法，用于学习适用于2D图像与3D点云匹配的局部跨域描述符。该方法基于双自编码器神经网络结构，将2D和3D输入数据映射至共享的潜在空间表示。结果显示，相较于分别从2D和3D域中提取的描述符，共享嵌入空间中的局部跨域描述符具备更强的判别能力。为推动训练过程的发展，通过采集公开可用RGB-D场景中约140万个2D-3D对应关系，构建了一个新的数据集。所提出的描述符在三个主要实验任务中得到验证：即2D-3D匹配、跨域检索以及稀疏到稠密深度估计。实验结果表明了该方法在解决跨域任务方面的稳定性与优越性，并且还能够推广至单独处理2D和3D任务。

计算机视觉中的诸多任务，如运动结构重建、视觉内容检索等，均依赖于来自2D与3D领域的稳健描述符。在各自领域内，这些描述符通常由低级特征（如颜色、边缘等）构成。图像匹配作为计算机视觉中的经典问题之一，已有多种手工设计的局部特征被提出，例如SIFT（low e 2004）、SURF（Bay、Tuytelaars和Van Gool 2006）