深度学习入门 --- 稀疏自编码器

在掌握稀疏自编码器之前，学习者应具备BP神经网络的相关基础知识

1. 为何采用稀疏自编码器

针对缺乏类别标签的数据集，由于手动添加类别标识的过程较为繁琐，我们期望机器能够自主提取样本中的关键特征。通过在隐藏层引入特定的约束条件，可以促使模型在复杂环境下学习到更具表达力的特征，并实现对数据的有效降维。其中一种常见的约束方式便是对隐藏层进行稀疏性限制。
假设我们构建了一个神经网络，并设定其输出与输入保持一致，随后通过训练调整参数，从而获得每一层的权重矩阵。自然而然地，我们可以得到输入数据的多种不同表示形式（每一层对应一种表示），这些表示即为数据的特征。自动编码器正是一种能够最大程度还原输入信号的神经网络结构。为了达成这一目标，自动编码器必须捕捉到能够表征输入数据核心要素的关键信息，类似于PCA方法寻找主要成分的过程。
当然，在此基础上我们还可以引入额外约束条件以开发出新的深度学习方法。例如，在AutoEncoder框架中加入L1正则化约束（L1的主要作用是确保隐含层中大部分节点输出为零，仅少数节点具有非零值，这正是“Sparse”一词的来源），即可得到稀疏自编码器（Sparse AutoEncoder）方法。
对隐含层实施稀疏化处理的原因在于：当隐藏神经元数量较多（甚至可能超过输入像素数量）时，如果不加以稀疏性限制，则无法获得有效的压缩表示