How transferentiable are feature representations across different DNNs?

摘要内容提炼

在自然图像上进行训练的深度神经网络普遍呈现出一种奇特的现象，即其第一层参数与Gabor滤波器的参数高度相似（这表明模型具备了经典图像处理算法中所蕴含的优良特性，Gabor滤波器作为一种广泛应用的滤波工具，意味着模型在初始阶段也需要执行一些基础模式的计算操作，这一点与传统图像处理算法存在共通之处）。第一层所提取的特征并非针对特定数据集或具体任务设计，而是具有广泛适用性的特征，这些特征能够适应多种数据集和各类常见任务。随着模型层级的加深，其特征将从通用性逐步向专业性转变（即特征会越来越紧密地与具体任务及数据集相关联），这种转变过程目前仍缺乏系统性的研究（通常先借助成熟的通用模式来应对问题，在深入分析后逐步引入更贴合问题本质的方法以提升整体效果）。通过实验手段对深度神经网络各层神经元的通用性与特殊性进行量化分析，并揭示了一些出人意料的结果。

1 介绍

现代深度神经网络呈现出一种引人注目的特性：其第一层参数与Gabor滤波器的参数具有高度相似性。这些滤波器所展现出的特性具有广泛的适用性。这一现象不仅在不同数据集上有所体现，甚至在多种训练任务中也存在，包括有监督的图像分类、无监督密度估计以及无监督稀疏表示学习等。

无论损失函数或图像数据集如何变化，第一层中出现的标准特征似乎始终存在，因此我们将其定义为通用特征。相反，网络最