吴恩达机器学习课程：线性回归、代价函数与梯度下降

一、基本概念

1.1 机器学习的定义

一个相对较近的定义出自卡内基梅隆大学的 Tom Mitchell ，其提出了一种良好的学习问题界定方式：

当程序在具备经验 E 的基础上，针对任务 T 的处理能力，通过性能度量 P 进行评估后得到提升时，即可认为该程序具备从经验中学习的能力。这一过程需满足：程序在经历经验 E 之后，能够使自身在任务 T 上的表现依据性能度量 P 显著增强。

以机器学习算法应用于下棋为例，其中经验 E 可理解为程序进行上万次自我训练所积累的数据；任务 T 则是进行棋类对弈；而性能度量值 P 则用于衡量该程序在面对全新对手时取得胜利的可能性。

1.2 分类问题和回归问题

**分类任务：用于预测具有离散性质的数据点。**例如以下所示的二分类任务：

红×与蓝圈分别表示两种不同的类别，图中中间的直线即为本算法所预测的分类边界函数。当函数参数被确定后，对于任意给定的输入数据，其输出结果将表现为位于直线之上或之下的离散点，从而表明该输入数据最可能归属的类别类型。对于涉