多目标跟踪: CVPR 2019论文阅读

多目标跟踪：CVPR2019论文阅读

Robust Multi-Modality Multi-Object Tracking

论文链接：https://arxiv.org/abs/1909.03850

代码链接：https://github.com/ZwwWayne/mmMOT

摘要

在自动驾驶系统中，多传感器融合是确保系统稳定性和精确性的关键要素之一；而多目标追踪（MOT）技术则是通过追踪动态目标的行为轨迹来提升系统的稳定性和精确性。目前多数基于多传感器多目标追踪的方法要么仅依赖单一数据源（如中心摄像头），缺乏可靠性；要么在融合阶段综合多个传感器结果却不充分利用其固有信息而导致精度不足。本研究提出了一种通用的无传感器模态MOT框架（mmMOT），该框架允许每个模态（即特定传感器）独立执行其功能以维持可靠性，并通过引入新的多模态融合模块进一步提升精度水平；本文提出的mmMOT架构支持端到端训练方式，并能同时优化各模态的基础特征提取器以及跨模态关联估计器；此外，在 MOT 数据关联处理中首次实现了对点云深度表示的有效编码；为评估所提框架的有效性，在Kitti基准测试集上进行了广泛实验并记录了最新性能数据

1. Introduction

该研究对融合模块展开了系统性的实验研究，并将其应用于KITTI跟踪数据集上的框架评估[13]。在模拟真实场景的条件下（无铃声和口哨声