可扩展的机器学习并行与分布式优化算法的大论文综述_亢良伊2017

一、基础知识：

1.目标函数
通常情况下，机器学习中用于优化的损失函数可表示为以下形式：

目标函数被定义为J(θ)，其中f表示实际观测值与模型预测值之间的偏差，而r(θ)则作为正则化项存在，其主要作用在于避免模型出现过拟合现象，常见的正则化方式包括L1正则项与L2正则项。
各类优化方法通过不同的计算路径对上述方程进行求解，从而获取能够使目标函数J(θ)达到最优状态的参数θ。

2.优化算法
目前最为常见的五类优化方法如下：
梯度下降算法（GD）：适用于可微凸函数的情形
二阶优化算法（Second-order）：适用于可微凸函数的情形
邻近梯度算法（PG）：适用于可微凸函数与不可微凸函数之和的问题
坐标下降算法（CD）：适用于不可导凸函数的问题
交替方向乘子算法（ADMM）：适用于存在约束条件的凸函数问题