CRU激活函数
发布时间
阅读量：
阅读量
一种改进ReLU激活函数的文章，来自ICML2016.
《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》
《Comprehending and Enhancing Convolutional Neural Networks through the concatenation of rectified linear units》
1. 背景介绍
整个文章的出发点来自于下图的统计现象：
为了看懂上图。
（1）首先介绍一下余弦相似度(cos距离)的概念
余弦相似度的取值范围为 [-1, +1]。当该数值越趋近于 -1 时，则表明这两个向量的方向更加相反，在这种情况下两者之间的关系呈现为负相关
全部评论 (0)
还没有任何评论哟~