LightGBM：优化机器学习算法（图解、理论、安装及Python代码）

前言

LightGBM是一款具备快速性、分布式特性和高效性能的梯度提升框架，其核心算法基于决策树。该框架能够广泛应用于排序、分类、回归以及众多其他机器学习任务中。

在各类竞赛题目中，XGBoost算法一直备受关注，它作为一款出色的梯度提升框架，在实际使用过程中存在训练耗时较长、内存消耗较大的问题。2017年1月，微软在GitHub平台上开源了一款全新的梯度提升工具——LightGBM。与传统方法相比，在不牺牲准确率的前提下，其运行速度提升了约10倍，内存占用减少了约3倍。由于该算法采用基于决策树的结构，并引入了最优叶明智策略进行叶子节点的分裂方式，而其他主流提升算法通常采用深度方向或水平明智策略进行分裂。因此，在达到相同叶子节点数量的情况下，叶明智策略相较于水平-wise策略能更有效地减少损失函数值，从而实现更高的预测精度。此外，这种算法的速度表现令人印象深刻，这也正是其名称“Light”（意为轻量）的由来。

2014年3月，XGBoost最初作为一项研究项目由陈天奇提出。

（关于XGBoost的相关内容，请参见我的另一篇博客：<>>）

2017年1月，微软正式发布了LightGBM的第一个稳定版本。

在微软亚洲研究院AI头条分享的「LightGBM简介」中，机器学习组主管研究员王太峰指出：微软DMTK团队在GitHub上开源了这款性能优于现有决策树推动工具