机器学习基础 -- 集成学习简述, Web前端开发最佳实践

1. 概述

核心理念 是将多个弱分类器整合为一个具备更强判别能力的强分类器。

在处理分类任务时，其核心理念在于通过组合多个弱分类器来构建出性能更优的强分类器。具体实现方式是通过对训练样本赋予不同的权重，依次训练多个分类模型，并将这些模型以线性方式融合，从而有效提升整体的分类效果。

该方法的基本思路是从基础的弱学习算法出发，通过多次迭代训练过程，获取一系列弱分类器（也称为基础分类器），随后将这些弱分类器进行集成，最终形成一个具有更高准确率的强分类器。

多数提升算法的核心机制在于调整训练数据的概率分布（即改变样本的权重分配），根据不同分布下的数据特征，依次调用弱学习算法生成多个弱分类器。

最为知名的优化策略：AdaBoost

2. Boosting的两个核心问题

如何调整权重？如何将多个分类器整合为一个高性能的分类器？

（１）在每一轮迭代过程中，应采取何种策略来调整训练样本的权重或概率分布？

通过增加那些在上一轮中被弱分类器错误分类的样本权重，同时降低被正确分类样本的权重，从而促使分类器更加关注那些