机器学习（6）

设想为解决一个复杂的问题而组织众多学生参与作答，并收集其反馈意见。通常而言，在多数情形下这些学生的综合回答往往会优于一位教师所给出的答案质量。类似地，在数据科学领域中将一组分类器或回归模型的输出进行整合所得的结果往往优于个体模型表现的最佳水平。这种方法被统称为集成学习（Ensemble Learning）。

一，投票分类器

Voting Classifiers

创建集成分类器的一个简洁有效的策略是将多个分类器（包括Linear, Logistic, SVM, k-nearest neighbors以及Random Forest等）的预测输出进行融合，并以获得最高票数的类别作为最终预测结果。这个多数投票决策过程被称为硬投票（hard voting）分类器。

该投票机制一般能超越集合中的最佳方案在准确率上的表现。然而事实证明即便每个单独采用弱学习策略（weak learner）的方法仅 marginally outperform random guessing, 但在数据量足够大时仍可构建出一个强大有效的集成模型, 达到相当高的预测性能. 例如在实际应用中发现每一