进行auto-sklearn 2.0的研究
发布时间
阅读量:
阅读量
为降低此类风险,针对可进行迭代训练的算法(例如梯度提升和采用随机梯度下降法训练的线性模型),我们采取了两项措施。首先,我们允许在任意时刻根据某种启发式规则终止训练流程,即早停机制,该机制能够有效防止过拟合现象的发生。其次,我们利用间歇性结果检索技术,例如在几何级数递增的迭代次数节点上保存结果,从而确保每次评估都能获得性能指标,并为优化器提供相关信息。
间歇性检索指的是在训练过程中定期获取结果的过程。几何级数递增的迭代次数表示随着训练过程推进,保存结果的时间间隔逐渐拉大。当前的超参数优化算法在拥有充足时间的前提下可以应对这种空间结构,但在本研究中,我们考虑的是一个时间高度受限的情形。因此,我们将超参数空间缩减至仅包含42个参数,并且只保留支持早停和间歇性结果检索的迭代类模型。
AS2系统中包含153个超参数,比AS1中的110个超参数多出43个。使用SMAC等算法在一定时间内肯定能够对这些超参数进行优化。然而由于存在严重的时间限制(高度时间受限设置),因此将超参数数量减少至42个。
我们在最高可用预算下构建了用于贝叶斯优化的模型,在此预算下已经观察到了\frac{|\Lambda|}{2}条管道的性能表现。
该句话信息量较大。“最高可用预算”指的是所能使用的最大资源量。重点需要重新审视\frac{|\Lambda|}{2}这一数值来源,并再次查阅BOHB论文及代码以确
全部评论 (0)
还没有任何评论哟~
