随机森林与提升方法的自我认知总结

文章结构概览

• • 随机森林与Adaboost
    • • 一：随机森林
      • • 1.1:随即森林思想

    • 1.2 随机森林的两个随机

    • 1.3：随机森林的步骤

    • 1.4 随机森林的优点

    • 1.5 随机森林的缺点

      • 二：Adaboost
      • • 2.1: Boosting思想

    • 2.2:AdaBoost步骤

    • 2.3: AdaBoost优点

    • 2.4:Adaboost算法缺点:

随机森林与Adaboost算法对比

随机森林模型应用

1.1:随即森林思想

随机森林属于基于bagging思想构建的一种算法。bagging的核心理念较为简单，即从原始数据集中随机抽取样本，同时确保数据集的规模维持不变。利用这些新生成的数据集对弱学习器进行训练，并重复这一过程多次，最终形成一个强分类器。在回归任务中，通常通过计算所有基学习器输出结果的平均值来进行汇总；而在分类任务中，则多采用投票机制实现结果整合。

单棵决策树构成一棵树，多棵决策树则组成了随机森林。单棵树仅具备单一的决策能力，而多棵树则拥有多个独立的决策权。将所有树所做出的判断进行综合分析，其整体表现必然优于单一树的判断结果，从而有效克服了单棵决策树泛化能力不足的问题。