基于深度可视化技术的神经网络理解笔记

0 摘要

在训练大型深度神经网络领域取得了显著进展，在包括利用卷积神经网络进行自然图像识别的任务中尤其突出。然而我们对于这些模型工作原理的理解仍显不足

将可视化任务划分为两大类：一类是非参数化方法：这类方法无需深入探究卷积核的具体参数，而是首先选定图片库，并在此基础上利用已有模型完成一次正向传播过程；随后将这些图片在现有模型中进行一次正向传播后，在针对某特定的卷积核上筛选出对其响应最为显著的图像块来进行可视化处理；而另一类则是专注于解析卷积核内部的参数结构特点，并通过提取这些参数信息进而重建出对应的图像。

1 介绍

近年来在训练强大的深度神经网络模型方面取得了显著进展；这些模型已在多种具有挑战性的机器学习任务中表现出色，在某些领域甚至超过了人类的能力。其中最具代表性的是AlexNet网络，在分类自然图像的任务中展现了卓越的效果；该领域蓬勃发展得益于GPU的强大计算能力和先进的技术手段来提升模型性能；此外还引入了激活函数ReLU来提高模型的非线性表达能力；借助了大规模标记数据集ImageNet的支持。