Advertisement

Grouped Convolution

阅读量:

参考资料:A Tutorial on Filter Group (Grouped Convolution)

分组卷积最初在AlexNet架构中提出,在设计深度神经网络时面临硬件资源受限的问题,在训练过程中的卷积操作无法实现完全并行化以提升效率 为此研究者们采用了多块独立运行的专用硬件或分布式计算框架 将输入图像分割后分别在不同设备上完成特征提取 最终将各设备提取到的特征图整合生成当前层输出

直至2016年,《Deep Roots: Efficiently Improving CNNs through Hierarchy of Filter Groups》一文首次发布前,在深度学习领域中大多数研究者都将其滤波器组视为一种技术手段

AlexNet的作者于2012年揭示了一个有趣的副作用:卷积层中的第1层滤过器相对容易被解析;而这些滤过器组通常会将卷积层第1部分解构为两个相对独立的任务,并将它们划分为黑白滤过器与彩色滤过器。

AlexNet论文中并未明确阐述的是分组卷积具有更为显著的影响性,在实际

全部评论 (0)

还没有任何评论哟~