L1和L2正则化面试常考题

正则化

L1与L2均属于对损失函数进行优化的手段，L范式的核心目的在于避免模型出现过拟合现象，而范式本质上是通过引入参数约束来实现这一目标。
L1的主要功能在于促使矩阵趋向稀疏化，其理论基础假设模型参数遵循拉普拉斯分布。
L2的作用则在于提升模型的平滑性，从而增强其泛化能力，其对应的假设是参数服从高斯分布。

L1正则化与L2正则化可视为损失函数中引入的惩罚项。“惩罚”一词在此处意指对特定参数施加一定的限制条件。
L1正则化的具体形式为权值向量w中所有元素绝对值之和。
L2正则化的表达方式则是权值向量w中各个元素的平方和后再开平方。

L1正则化和L2正则化区别

L1正则化有助于生成稀疏的权重矩阵，即构建出一个稀疏模型，并可用于特征选择。
L2正则化能够有效抑制模型过拟合的现象；在一定程度上，L1同样具备防止过拟合的能力。

正则化为什么能降低过拟合程度？并且说明下下L1正则化和L2正则化。

降低过拟合程度：正则化的降过拟合机制源于其作为结构风险最小化策略的一种实现方式。在损失函数中引入正则项后，新的优化目标函数h = f + normal需要在f与normal之间进行平衡（trade-off）。若仅关注f的优化，则可能获得较为复杂的解，导致normal项较大，从而使h并非最优解。由此可见，添加正则项有助于使解趋于简化，