机器学习（五）：梯度下降法、归一化与过拟合

梯度下降法

1. 批量梯度下降 BGD

批量梯度下降就是我们有m个样本，都用上

上图中，我们的目的不是找cost，而是找最小值处的模型theta

梯度下降法步骤：

对于调整theta，

当theta位于最低点左侧时（或称左侧），梯度值小于零（即负数），因此theta_{t+1}趋于增大，

当theta位于最低点右侧时（或称右侧），梯度值大于零（即正数），因此theta_{t+1}趋于减小。

若想使梯度下降到零，则会要求优化过程执行较多的步骤。然而，在实际应用中，默认设定一个下限作为梯度较小的阈值时，则判定达到了预期效果，并使算法自然终止。

如何求梯度？

计算目标函数的梯度，在机器学习算法中我们通常需要对目标函数进行优化操作以最小化损失值。
其中θ是一个参数向量，在机器学习模型中θ往往