机器学习系列（七）：经典优化算法
发布时间
阅读量：
阅读量
优化算法
经典优化算法
经典的优化算法主要可分为直接法与迭代法两大类。
直接法能够提供优化问题的最优解,但它仅在特定条件下才能实现这一目标。
首先, 直接法要求目标函数必须满足一定的条件,其中之一是函数L(\cdot)必须为凸函数,此时若\theta^*是最优解,则该点处的梯度必然是零向量
即▽L(\theta^*)=0。
为了使上述条件能够得到满足,第二个必要条件是该方程必须存在闭式解。
岭回归正是满足这两个条件的经典算法之一,其目标函数定义为
L(\theta)=||X\theta-y||_2^2+\lambda||\theta||_2^2
其中\lambda为正则化参数。
其最优解可表示为L(\cdot)\theta^*=(X^TX+\lambda I)^{-1}X^Ty。
迭代法则通过逐步更新的方式逼近最优解。
假设当前估计值为\theta_t,我们希望找到一个序列\{\theta_t\}使其收敛于最优解
θ∗=argminθ L(θ)
每一次迭代都基于前一次估计进行更新
θ_{t+1}=θ_t+α∇L(θ_t)
其中α代表学习率
还没有任何评论哟~