L1正则项与稀疏性

题目（164）：L1正则化为何能够促使模型参数呈现稀疏性特征？

回答角度：

1. 几何视角，关注解空间的形态特征
2. 微积分视角，针对带有L1约束的目标函数进行求导分析
3. 贝叶斯先验概率的引入方式

解空间形状分析

Step 1. 正则条件与限制条件之间的等价关系
Step 2. L1范数及L2范数所对应的几何形态
Step 3. 当原始问题的目标函数最优解未处于可行解集合之中时，满足约束条件的最优解必定位于该集合的边界位置。
\textcolor{red}{\text{[回顾KKT条件，互补松弛性]}}

微积分与函数叠加分析

在目标函数中引入L1正则项后，其表达式被定义为J(\bm \theta) = L(\bm \theta) + c \|\bm \theta\|_1。当\bm \theta>0时，c \|\bm \theta\|_1的梯度等于c；而当\bm \theta<0时，其梯度则为-c。由此可知，若L(\bm \theta)的梯度处于区间(-c,c)内，则对于\bm \theta<0的情况，目标函数的梯度始终为负值，表明在原点左侧时，目标函数呈单调递减趋势；而对于\bm \theta>0的情况，其梯度始终为正值，说明在原点右侧时目标函数呈现单调递增特性。因此，在此条件下最