ENAS-pytorch代码研究

https://github.com/carpedm20/ENAS-pytorch

尽管该项目宣称能够对CNN（包括cifar和mnist）以及RNN（如ptb和wikitest）实施NAS，但实际测试发现，CNN相关的代码尚未完成，推测仍需参考原始的tensorflow代码进行补充。

在ENAS框架中，存在两类可学习的参数：控制器LSTM的参数，用\theta表示；以及子模型共享的参数，用\omega表示。

文章结构概览

• 掌握 child model
  • 掌握 control model
  • • 文献综述
    • 源码分析

Child Model理解分析

对参数\omega进行训练

\nabla_{\omega} \mathbb{E}_{\mathbf{m} \sim \pi(\mathbf{m} ; \theta)}[\mathcal{L}(\mathbf{m} ; \omega)] \approx \frac{1}{M} \sum_{i=1}^{M} \nabla_{\omega} \mathcal{L}\left(\mathbf{m}_{i}, \omega\right)

从分布\pi(m;\theta)中抽取样本m_i

参考具有共享参数的循环神经网络模型: `models.share