均值方差估计

均值方差估计方法

输入数据x表示为一个（B，Cin）维度的矩阵。权重参数w则定义为一个（Cin，Cout，w，h）维度的矩阵。本文旨在对z = x*w的结果进行分布估计。一旦完成对z的均值与方差的计算，即可借助量化点偏移策略，实现对BN层的省略操作。
假设模型结构如下：

输入x为relu函数的输出结果，假定x中每个随机变量X服从半波高斯分布N(0,1)；权重w中的每个随机变量W服从全波高斯分布N(\mu_w,\sigma_w^2)。同时假设x与w中的随机变量相互独立且同分布，那么z = x * w = X_1W_1+X_2W_2+....X_{C_{in}}W_{C_{in}}=C_{in}XW的均值可通过以下公式进行计算：
$E(z) = C_{in}*\frac {1}{\sqrt{2\pi}}\int_{0}^{\infty}xe{-\frac{x^{2}}{2}}dx *\frac{1}{\sqrt{2\pi}\sigma_{w}}\int_{-\infty}^{\infty}we{\frac{-(w-\mu_w)^{2}}{