《机器学习实战》第七章AdaBoost元算法

元算法

元算法是一种将多种算法进行整合的途径，其核心理念在于融合多个专家的经验以形成最终的判断结果，这种机制与我们常见的投票方式具有相似之处。在众多相关技术中，提升方法被最为广泛地应用，特别是在分类任务中，该方法通过调整训练样本的权重来构建多个分类模型，并对这些分类模型的结果实施线性组合。

弱分类器和强分类器

关于AdaBoost方法，相较于SVM所需的大量数学推导过程，其理论框架显得更为简洁明了。以下是一些个人认为较为直观的推导方式：
AdaBoost实现
bootstrap, boosting, bagging 几种方法的联系
sign函数
单层决策树

弱分类器的结构通常较为简单，常见的实现方式为单层决策树。然而，这类分类器虽然形式上易于构建，但其在实际应用中的分类效果往往较差。因此，在提升方法中，弱分类器在最终投票过程中所占权重较低，而强分类器则具有更高的权重。这种组合方式能够有效应对一些特殊样本，从而显著提升整体的分类性能。本文主要关注代码中涉及的弱分类器构建过程，可以将其理解为如下步骤：

1. 遍历所有特征，并从中选取最优特征作为当前决策依据
2. 在所选特征对应的取值范围内设定步长，并确