吴恩达《深度学习专项》课程（五）：实践层面的数据处理与优化（包括数据集划分、偏差与方差分析、参数初始化策略以及正则化技术）

学习提示

第二门课程所涵盖的内容较为分散，在展示每周学习笔记之前，我将先对每周所涉及的知识点进行归纳整理。

本周内容将首先讲解优化机器学习模型的基础途径。为阐述这一主题，我们将引入两个关键概念：数据集的分割方式以及偏差与方差的平衡问题。掌握这两个概念后，便可以识别当前模型存在的缺陷，并进一步探索相应的优化策略。

接下来，我们将聚焦于“高方差问题”，并探讨一系列应对该问题的解决方案。这些策略统称为“正则化方法”。本周将介绍以下几种正则化手段：引入正则化项、采用dropout技术、实施数据增强以及应用提前停止机制。

最后，我们将学习若干与神经网络相关的技术要点。其中包括用于提升训练效率的输入标准化方法、用于避免梯度计算异常的参数初始化策略，以及用于调试程序的梯度验证技术。

课堂笔记

数据集的划分：训练集/开发集/测试集

【在构建机器学习模型时，通常会将所使用的数据集划分为三个部分：训练集、开发集以及测试集。

机器学习作为深度学习的上位概念，代表了更为广泛的人工智能算法体系。

开发集（Development Set）也常被称为验证集（Validation Set），其本质是用于交叉验证（Hold-out Cross Validation) 的数据子集。

三种数据集的定义与说明

它们之间的