机器学习问题汇总：L1和L2正则化技术

1、L1正则与L2正则的概念解析：

2、两者的区别是什么

• L1正则化指的是在损失函数中引入权值向量w的绝对值总和，即对各个元素的绝对值进行求和，而L2正则化则是将权值向量w的平方和纳入损失函数之中。
• L1正则化的目的是促使权重趋于稀疏状态（实现变量筛选），而L2正则化的作用则是使权重分布更加平滑。

3、L1正则化为何能够获得稀疏解？

• 解空间形状

换言之，L2正则化为参数构建了一个圆形的解空间，而L1正则化则构建了一个菱形的解空间。L1所具有的“棱角分明”特性，使得其解空间更易与目标函数的等高线在顶点处发生接触，从而促使稀疏解的出现。实际上，为何它们会在坐标轴上实现相切，这本身是一个相当复杂的议题。我曾在某个暑期学校的课堂上向一位专门研究该问题的教授提出过这个疑问，他只是微笑着回应道：这是一个很好的问题，但要进行严格证明却十分困难，并且随