研究随机森林与GBDT

参考文献：http://www.zilhua.com/629.html
http://www.tuicool.com/articles/JvMJve
http://blog.sina.com.cn/s/blog_573085f70101ivj5.html
本人所设计的数据挖掘算法：https://github.com/linyiqun/DataMiningAlgorithm
本人的算法集合：https://github.com/linyiqun/lyq-algorithms-lib

前言

谈到森林，自然会想到树木，因为正是无数树木汇聚成广袤的森林。在本文中所提及的“树”，特指Decision Tree——决策树。随机森林则是由多棵决策树构成的集合，换句话说，随机森林=boosting+决策树，这样的表述或许更容易理解。接下来谈谈GBDT，其全称为Gradient Boosting Decision Tree，即梯度提升决策树。它的核心思想与随机森林有相似之处，但实现方式更为复杂一些，同时在实际应用中的表现也优于随机森林。由于本人知识有限，本