Advertisement

BN导数

阅读量:

针对原始的BN机制,其梯度计算公式可表示为:
\frac{\partial L}{\partial \overrightarrow{x}}=\frac{1}{\sigma}[\frac{\partial L}{\partial \overrightarrow{y}}-\frac{(\frac{\partial L}{\partial \overrightarrow{y}},\overrightarrow{1})}{N}\overrightarrow{1}- \frac{(\frac{\partial L}{\partial \overrightarrow{y}},\overrightarrow{y})}{N}\overrightarrow{y}]
定义如下变量:
g_{Bt}=\frac{(\frac{\partial L}{\partial \overrightarrow{y_t}},\overrightarrow{1})}{N},\psi_{Bt}=\frac{(\frac{\partial L}{\partial \overrightarrow{y_t}},\overrightarrow{y_t})}{N}
若对这两个变量引入滑动平均统计量,则可得:
g_{B}=\frac{1}{m}\sum^{m}_{s=1}g_{B_{t-m+s}}

全部评论 (0)

还没有任何评论哟~