DF21不是东风快递 而是最新深度森林网络
发布时间
阅读量:
阅读量
深度森林算法,仅凭其名称DF21,就足以让人对其充满期待,因为这个名字立刻引发了我对它的强烈关注与兴趣!

在过去的十余年间,深度神经网络通过构建分层或“深层”结构取得了明显进展。当前广泛使用的深度神经网络大多依赖反向传播算法结合随机梯度下降方法,在训练过程中实现参数的更新。虽然传统的反向传播方法长期以来一直是训练神经网络等可微分学习系统的首选技术,但围绕非可微模块构建多层或深度模型的研究一直备受关注,并且在实际应用中展现出巨大潜力。例如,基于树的集成方法(如随机森林或梯度提升决策树(GBDT))仍然是多个领域中处理离散或表格数据的主要手段,因此利用树集成技术在这些数据上获取分层分布式表征成为了一个颇具吸引力的研究方向。
在此类场景下,由于无法采用链式法则进行误差传播,反向传播方法不再适用。这带来了两个核心问题:其一,是否能够利用非可微组件构建多层模型,并使中间层的输出具备分布式表征的特性?其二,若可行,则如何在不依赖反向传播的前提下联合训练此类模型?本研究旨在对此类尝试进行探讨。
早在2017年,周志华与冯霁等人便提出了深度森林框架,这是首次尝试运用树集成技术构建多层模型的相关工作。具
全部评论 (0)
还没有任何评论哟~
