梯度提升和决策树的基础机器学习
发布时间
阅读量：
阅读量
引言
上一节介绍了《随机森林算法》[1]（GitHub链接），该算法采用基于Bootstrap aggregating（Bagging）的方法构建一系列决策树，并在决策树的学习过程中引入了额外的随机性以减少模型过拟合的风险。这种模型结构能够实现验证过程的同时实现特征选择功能。
本节我们将决策树与AdaBoost算法相结合，在AdaBoost框架下进行迭代训练时会不断更新数据集中每个样本的权重值。具体而言，在每一轮迭代中我们根据当前样本的重要性程度更新其权重值并以此作为新的训练数据分布依据在此基础上我们学习出一个弱分类器g即一棵基于当前权重分布的数据集上的最优决策树模型最终通过加权投票或集成方法生成多个基分类器的组合结果G。
1. 加权的决策树算法(Weighted Decision Tree Algorithm)
在引言部分中提到了，在基于AdaBoost的方法下对数据进行加权处理，在即将介绍的内容是Adaptive Boosted Decision Tree模型，并将在此基础上构建加权决策树结构，请继续关注后续内容介绍
全部评论 (0)
还没有任何评论哟~