机器学习中的VC维及其对模型和样本复杂度的影响

引言

在前一节内容中，我们介绍了VC维的相关概念，并将其作为衡量假设集合表达能力的工具。本节将围绕VC维所蕴含的实际意义展开讨论，深入探讨如何依据VC维所提供的信息来合理选取模型及相应的假设集合。

VC维的物理意义解析

若将假设集合的数量|H|视为其自由度，那么VC维则可被理解为该假设集合在进行二元分类时所具备的有效自由度，即该假设空间能够生成多少种不同的Dichotomies的能力（VC维描述的是，在何种情况下，假设集合仍能实现shatter，从而生成最多的Dichotomies）。

VC维、真实错误率、训练错误率

【在上一节内容中，我们探讨了实现良好预测所需具备的两个关键要素，其一是训练误差应与真实误差保持接近，即Ein(g)近似等于Eout(g)；其二是训练误差需尽可能趋近于零，即Ein(g)近似为零。
接下来，我们将借助VC维这一分析工具进行进一步阐述。

• 当VC维数值较低时，出现显著预测偏差的风险相对较小，这有助于使Ein(g)与Eout(g)之间保持较为接近的关系；然而，这也意味着假设空间的表达能力受到一定限制，从而可能导致Ein(g)难以达到非常低的水平。
• 若VC维较高，则假设空间具备较强的表达能力，我们更有可能选取到一个训练误差极小的假设；但与此同时，Ein(g)与Eout(g)之间差异较大的