Self-Training Multi-sequence Learning with Transformer for Weakly-supervised VAD at AAAI 2022

基于Transformer的弱监督视频异常检测自训练多序列学习

目录

摘要内容提炼

弱监督视频异常检测（VAD）中，通常采用多实例学习（MIL）方法，其核心依据是异常片段所对应的异常分数普遍高于正常片段的得分。然而在训练初期，由于模型尚未达到较高精度，容易误判异常片段。为降低此类错误发生的可能性，我们首先引入了一种多序列学习（MSL）方法，并设计了一种基于hinge的排序损失函数，该方法以由多个片段构成的序列作为优化的基本单元。随后，构建了一个基于Transformer架构的MSL网络，用于同时学习视频层面的异常概率以及片段层面的异常分数。在推理阶段，我们建议利用视频级别的异常概率对片段级别的异常分数进行平滑处理，以减少其波动性。最后，在需要预测片段级异常分数的VAD任务中，我们提出了一种自训练策略，通过逐步缩短所选序列长度来实现对异常分数的精细化调整。实验结果表明，在ShanghaiTech、UCF-Crime和XD-Violence等多个数据集上，所提方法均取得了较为明显的性能提升。

1.引言

......

......。一般情况下，采用MIL方法的模型假定阳性包中异常分数最高的实例应当优于阴性包中异常分数最高的样本。因此，对于MIL方法而言，准确识别阳性包中的异常实例至关重要。多数基于MIL的方法将单个实例作为优化的基本单元。然