深度学习系统分析范数与正则化（二）

文章目录

• • 正则化

  • 范数

  • • 向量范数
    • • p-范数

  • -\infty-范数

  • 1-范数

  • 2-范数

    • 矩阵范数
    • • 1-范数

  • \infty-范数

  • 2-范数

  • F-范数

  • 核范数

  • L1正则和L2正则

  • 总结

今天的知识梳理将围绕范数与正则化展开。文章主要基于个人理解进行编写，在此过程中难免会有不足之处，请广大读者不吝赐教。

正则化

正则化是对学习算法施加的一种约束，在机器学习中常被用来防止过拟合现象的发生，并提升模型在 unseen 数据上的表现。泛化能力通常被用来衡量一个机器学习算法的效果，并反映其在未来面对新问题时的表现潜力；而泛化误差则直接反映了该模型如何推广到新数据集的表现——即通过评估模型在测试集上的表现来量化其推广性能。

正则化的主要作用在于施加限制，在一定程度上控制模型的拟合程度。在实际应用中若出现这样的情况，则会被归类为过拟合问题。在线性模型中，则其数学表达式为：

y' = wx + b

理论上而言，我们希望找到一组参数w和b，在保证预测结果的同时尽量避免过拟合现象的发生。
而对于理论研究而言，在线性模型中，则其数学表