深入解析谱归一化机制

《Spectral Normalization for Generative Adversarial Networks》【1】是Takeru Miyato在2018年2月发表的一篇将谱理论应用于Gan上的文章，在2017年，本文的第3作者Yuichi Yoshida就发表了一篇著名的谱范数正则（Spectral Norm Regularization）的文章【2】，如有兴趣也可参看我的上一篇Blog：<>
【1】、【2】两篇文章从不同的角度讨论了：参数矩阵的谱范数对多层神经网络的泛化的影响，并分别给出了两个不同的应对方法：前者对Discriminator矩阵参数进行归一化处理，后者可以加入任意多层网络（在更新梯度时加入了谱范数正则项）。本文将在【1】的阅读理解基础上，探讨其实现的方法。

一、Gan的Lipschitz稳定性约束

尽管生成对抗网络（Gan）在性能上具有优势，但其训练过程存在诸多困难，主要表现在以下几个方面：第一，模式坍塌问题，即最终生成的样本仅局限于少数几种模式；第二，训练过程中难以达到收敛状态。在训练阶段，判别器往往过早达到理想状态，能够准确地区分真实与生成样本，从而无法为生成器提供有效的梯度信息，导致训练过程停滞。Martin Arjovsky在其论文《Towards principled methods for training generati