吴恩达《深度学习专项》笔记（七）：参数调整、批归一化处理、多分类任务及编程平台

学习提示

本周所涉及的知识点较为零散，主要包括四个方面的内容：超参数调节、批归一化技术、多分类任务以及深度学习编程框架。

在过往的编程实践中，通过调整学习率等参数，可以深刻认识到超参数对模型性能的关键作用。事实上，确定合适的超参数并非依靠偶然性，而应采用一套科学的策略以高效地确定最佳参数组合。

早在两周前，我们已学习了输入数据的归一化处理方法。同样地，若对神经网络中的每一层都实施归一化操作，则有助于整体性能的提升。这种广泛应用的技术被称为批归一化。

此前的学习内容主要围绕二分类问题展开。然而，只需对网络结构和激活函数进行适当调整，即可将原本用于二分类的方法扩展至多分类任务中。

为提高编程效率，从本周起将开始学习深度学习相关的编程框架。这类框架通常具备自动求导功能，使我们能够将更多精力集中于构建模型的正向传播过程。

课堂笔记

调参

在英文中，“调参”对应的动词是tune，该词作为动词时通常指调音。从这一角度理解，将“调参”翻译为“调整参数”或“调试参数”似乎略显直白。实际上，调参应当被视为一种系统化的行为，正如为乐器进行音准校正一般。若随意更改参数，则难以达到预期效果。

超参数优先级分析

此前所涉及的超参数包括以下内容：

• 学习率 \alpha
• 动量项 \beta
• Adam优化器中的$\bet