机器学习和集成学习

1. 基本概念

1.1. 定义

集成学习并非简单地堆砌多个模型，而是一种通过构建并结合多个个体学习器（通常称为基学习器或弱学习器）来协同完成特定学习任务的智能策略。其核心思想在于“三个臭皮匠，顶个诸葛亮”，即通过集成多个模型的预测结果，往往能够获得比单一最佳学习器显著更优越的泛化性能与鲁棒性。这种优越性不仅体现在准确率的提升上，更体现在模型对噪声数据的抵抗能力以及在不同数据集上的稳定性方面。

1.2. 分类

1.3. 研究的核心

在集成学习的理论框架中，个体学习器的“准确性”与“多样性”之间存在着天然的张力与冲突。如果所有学习器都完全相同，集成效果将等同于单个学习器；如果学习器过于随机，则可能引入过多噪声。因此，该领域的研究核心在于如何巧妙产生并结合**“好而不同”**的个体学习器。这里的“好”指单个学习器需