01_集成学习（Ensemble Learning）概述

集成学习（Ensemble Learning）简介

集成学习方法融合了多种技术手段，其中多个机器学习模型被称作基础学习者（或称为弱学习者），这些模型能够结合各自的预测结果，并在输入与输出数据已知的前提下，生成最优的预测输出。该方法的核心目标是应对偏差与方差问题。通过整合多个模型，可以在不降低单个模型复杂度的前提下，有效降低整体预测误差。正如此前所述，每个模型的误差存在一个与复杂性相关的最低阈值。此外，由于初始条件、超参数以及其他变量的影响，相同算法也可能生成差异化的模型结构。通过将不同类型的模型进行组合，可以显著降低整体误差期望值，而各个模型本身保持不变。这种现象源于统计特性而非单纯的学习过程。为了进一步验证这一观点，我们设想存在11个基础学习器用于分类任务，每个学习器出现错误分类的概率为err = 0.15或15%。接下来我们构建一个简单的集成系统，并始终假定大部分基础学习器的输出是正确的答案。如果这些学习器之间具有统计上的独立性，则出现多数错误的概率将降至0.26%

集成方法主要被划分为两类或分类体系：生成方法 与 非生成方法。在非生成性