Advertisement

自监督学习:去除背景(提取鲁棒的特征)

阅读量:

背景增强的自监督视频表征学习

【知乎的一篇介绍,写的很详细】
【代码、论文】

  • 概述:
    CVPR2021 的论文,同样属于自监督学习中pretext task设计的范畴,其中所提出的观点具有较高的参考价值与研究意义。
    文中多次提及的background,既可理解为背景信息,也可指代具体的场景内容。

  • 上面的知乎链接介绍了文章的动机

【知乎原文

一、神奇的想法:通过添加background来去掉background

小标题可能难以理解,但其本质即是前述所提及的“文章的动机”:背景信息在视频处理中具有双重影响,无论是过度关注还是忽视都会带来不利影响。因此,在视频数据中引入具有多样化但相似背景的图像(即对图像背景进行扰动),有助于提升网络模型的泛化能力。
作者提出采用GAN、VAE等方法生成与原视频背景相似的图像,我认为其意图是将这些生成图像作为训练样本进行替换,但该方法较为复杂。于是想到通过在视频背景中加入噪声的方式

全部评论 (0)

还没有任何评论哟~