特征层次分析与视觉语义探索（微调与预训练）

1. 关于卷积运算、密集连接层、池化与小样本

它们的本质区别在于：密集连接层能够在输入特征中学习到全局性规律，在计算机视觉领域中反映的是高层次的理解能力（即每个像素都参与其识别的过程），例如狗头、耳朵以及向日葵等图案均能被有效识别。相比之下，则是专注于捕捉局部空间中的特定模式：而卷积层则专注于捕捉局部空间中的特定模式（即每个滤波器仅关注有限大小的区域），能够识别出局部区域内的特定图案或纹理特征）。这些低级特征通常与图像中的边缘、纹理以及细节信息相关

正是因为这样的特性，使得卷积神经网络具有两个有趣的特性：

• 卷积神经网络提取出的模式表现出位置无关性。当卷积神经网络在图像某一区域识别特定模式时，在任何其他位置都能识别这一模式（其本质是作为低级特征探测器，在后续处理中相当于对每个候选模式进行判别）。
• 卷积神经网络能够掌握模式的空间层次结构特性。具体而言，在第一个卷基层中可以提取出小尺寸图像的基本特征（如边缘、纹理和亮度），而第二个卷积层则能够从第一层特征中提炼出更大的结构化模式（如猫耳形状、眼纹等），依此类推。
• 这一机制使得卷积神经网络具备了逐渐学习复杂视觉概念的能力。（视觉世界本质上呈现出空间层次结构特性）

池化是一种在卷积神经网络中广泛应用的技术手段。与跨步卷积相类似的是，在池化操作中同样涉及下采样。然而，在具体应用中发现，在最大池化操作中通常能够