VAE与GAN的关系(2)

上文从 KL(q(\mathbf x, y)\Vert p(\mathbf x, y)) 推导出GAN的两个Loss，并给出生成器Loss的正则项设计思路，接下来我们仍从引入隐变量构成联合概率分布角度，推导VAE的Loss。
首先，我们观察KL(p(\mathbf x, \mathbf z)\Vert q(\mathbf x, \mathbf z)) 有：

在变分自编码器(VAE)框架下，
我们用潜在变量模型来建模数据生成过程。
具体而言，
对于每个输入样本x\in\mathbb{R}^d
以及潜在变量向量
z\in\mathbb{R}^k
来说，
潜在空间中的每个点
都是原始数据的一个潜在表示。
基于这一假设，
我们构建了一个双线性变换模型，
将潜在变量与观测值相关联。

右边第一项代表的是\iint p(\mathbf x,\mathbf z )p(\mathbf x) \log p(\mathbf x)d\mathbf x d\mathbf z这一真实的积分表达式，在VAE可调参数不受其影响的情况下，在优化过程中无需考虑这一因素即可忽略。

3、第二项有：

当从概率分布中仅抽取一个样本 \mathbf x\sim p(\mathbf x) 时, 该样本被用作Encoder的输入, 计算其期望变得不再有意义, 则（4）式将重新变形。

假