集成学习

模型融合

模型融合的方法

简单加权融合:

• 回归分析中涉及分类概率时可采用算术平均的方法及几何平均的方法进行数据处理；

• 在分类任务中使用投票机制进行决策；

• 综合评价时采用排序融合方法(Rank averaging)以及对数融合(log fusion)。

stacking/blending:

 * 构建多层模型，并利用预测结果再拟合预测。

boosting/bagging（在xgboost，Adaboost,GBDT中已经用到）:

 * 多树的提升方法

stacking相关理论介绍

1. 什么是 stacking

简而言之 stacking 是指基于原始数据集训练出多个基础模型后 将这些模型的预测结果整合为新的训练数据集来构建一个集成模型

当多个个体学习器协同工作时所采用的方法被称为集成策略。在分类问题中，则采用多数投票法来选择输出频率最高的类别；而在回归问题中，则需将各分类器的预测结果进行取平均值处理。

在之前提到的方法中，投票机制与取均值方法均为非常有效的集成策略。除此之外，还有一种集成策略是通过引入另一种机器学习算法将各独立模型输出结果进行综合考量。这种方法通常被称作Stacking（堆叠）算法。

在之前提到的方法中, 投票机制与取均值方法均为非常有效的集成策