二阶矩和方差在正向和反向传播中的作用分析

\sigma_{BN}= \sqrt{\frac{(x-\mu)^{2}}{N}}<\sigma_{FRN}=\sqrt{\frac{x^{2}}{N}}

A = \frac{x}{\sqrt{\sigma_{BN}^2+\epsilon}}>B=\frac{x}{\sqrt{\sigma_{FRN}^2+\epsilon}}

从正向传播的角度分析，FRN层所生成的输出数值相较BN层而言更为微小。
从反向传播的角度分析：
\frac{\partial A}{\partial x}=\frac{1}{\sqrt{\sigma_{BN}^2+\epsilon}}(I-AA^{T})
\frac{\partial B}{\partial x}=\frac{1}{\sqrt{\sigma_{FRN}^2+\epsilon}}(I-BB^{T})

|\frac{\partial A}{\partial x}|-|\frac{\partial B}{\partial x}|\approx \frac{AA^{T}}{\sqrt{\sigma_{BN}^2+\epsilon}}-\frac{BB^{T}}{\sqrt{\sigma_{FRN}^2+\epsilon}}>0
由此可知，FRN层在计算梯度时所得出的结果相较于BN层同样更小。这或许能够成为解释