Gumbel-Max方法或重参数化技巧
发布时间
阅读量：
阅读量
总说
以下内容主要摘自相关链接文章。
参考链接：
https://www.zhihu.com/question/62631725/answer/507940806
了解一个离散型随机变量X的概率分布，
例如，p(X=1)=p1=0.2，p(X=2)=p2=0.3，p(X=3)=p3=0.5，随后我们希望获得一些符合该分布的离散x值。
然而，在完成采样后所得到的均为离散数值，无法对 p1, p2, p3进行求导操作 ，这在神经网络中将导致无法实现反向传播。通常情况下，我们只需要x的期望值，此时x可表示为p1+2p2+3p3，并且对于p1、p2、p3的导数是明确的，从而使得反向传播过程得以顺利执行。但在此处的需求是进行采样以获取实际的x值，正如上述所言，这一过程中出现无法求导的问题便成为阻碍。
思路：提供一个以p1、p2、p3作为参数的函数表达式f(p1,p2,p3)，并且该函数能够返回对应的x采样结果。 因此，这种方法也被称为 reparameterization（重参数化） ，其核心在于对概率分布进行了重新定义与参数化。
gumbel-max技巧：
还没有任何评论哟~