机器学习之集成学习： bagging, boosting 和 stacking (Python版本)
发布时间
阅读量：
阅读量
目录
一、什么是集成学习
二、bagging
三、boosting（提升）
四、集成学习的结合
4.1、学习器结合的好处
4.2、结合策略
4.2.1、平均法
4.2.2、投票法
4.2.3、学习法
一、什么是集成学习
集成学习是一种将多种算法融合起来共同完成特定任务的学习方法。人们常说三个臭皮匠抵个诸葛亮，在这个语境下说明了集成学习的思想精髓：通过综合运用多种技术手段来实现目标。单一模型由于受到各种因素的影响而可能出现不稳定的情况；因此在实际应用中我们通常会采用多套不同的模型来进行决策并取其最优结果这样既能避免因单一方案带来的局限性又能最大限度地提升整体效能基于此在集成方法中整合各子模型的能力通常能够显著提升整体性能
在进行分类任务时, 我们可以通过训练m个不同的分类模型来实现, 这些模型可能基于相同的技术构建, 或者各自采用独特的开发方案. 若所有模型均基于决策树技术构建, 则这种集成学习方法被称为随机森林. 各模型之间可能存在关联性, 或者完全独立. 在缺乏相互关联的情况下, 我们将其定义为Bagging方法; 若存在关联性, 则被称作Boosting（即提升）
集成学习思想运用在分类中的示意图如下：
全部评论 (0)
还没有任何评论哟~