人工智能教程·学科基础课程·机器学习导论·梯度下降算法

梯度下降(Gradient descent)

• 是一种用于寻找函数最小值的计算方法，梯度下降法能够使损失函数J达到最小状态。
  • 不仅在线性回归问题中适用，还能应用于其他多种场景。

设有某函数 J(\theta_0,\theta_1)
目标是求解 min_{\theta_0,\theta_1}J(\theta_0,\theta_1)

算法执行流程
1）. 首先需要随机选取一组参数进行初始计算，通常可以设定为零值
start with some \theta_0,\theta_1 (say \theta_0=0,\theta_1=0 )

2）. 接下来持续对参数组合进行微小调整，通过这样的调整来逐步降低代价函数的值，直到最终找到J的全局最小点或局部最小点。
keep changing \theta_0,\theta_1 to reduce J(\theta_0,\theta_1)
until we hopefully end up at a minimum

首次实验设计与实施

第二次实