树模型：决策树、随机森林（RF）、AdaBoost、GBDT、XGBoost、LightGBM和CatBoost算法区别与联系

一、算法提出时间

决策树算法最早可追溯至1966年，由E.B.Hunt等人首次提出。

1979年，Quinlan（罗斯·昆兰）开发了ID3算法，这一成果推动了决策树研究的深入发展，使其成为机器学习领域的重要方法之一。

1993年，Quinlan（罗斯·昆兰）进一步提出了C4.5算法。

1995年，Freund等人引入了AdaBoost算法。

1999年，Friedman在其发表的论文中首次提出了GBDT的概念。

2001年，Breiman提出了随机森林算法。

2014年3月，XGBOOST最初作为一项研究项目被陈天奇提出。

2017年1月，微软发布了首个稳定版本的LightGBM。

2017年4月，俄罗斯领先技术公司Yandex开源了CatBoost算法。

二、树模型算法对比

在集成学习（EL, Ensemble Learning）领域中存在多种方法：Bagging（装袋），该方法通过独立构建多个树模型，并最终通过投票机制得出结论（回归问题则取平均值），如随机森林。Boosting（提升）则是基于前一个模型进行迭代优化的方法，例如AdaB