自研贝叶斯优化算法遇到的问题

阅读量：

自主研发的贝叶斯优化算法，如何评估其拟合能力？当前我采用一个小型数据集进行测试，观察算法是否能够收敛至准确的局部最优解。在此过程中需关注两个核心要素：

收敛性。算法必须具备收敛特性。黑盒优化的核心机制在于提升优势样本邻域的采样频率。若算法表现如同随机搜索般无法收敛，则说明存在明显缺陷。
准确性。所收敛的点需具备正确性，若最终收敛至错误位置，则其效果将不优于随机搜索。

文章结构概览

自主开发的SMAC框架
- - 代理模型构建
  - 效益函数设计
  - 实际应用中遇到的问题
- TPE算法
- - 实际应用中出现的问题
  - 随机采样次数对结果的影响
  - bw_method 参数设置带来的影响
  - TS与TPE结合时可能陷入局部最优解的情况

自研SMAC

代理模型

SMAC的核心在于采用随机森林作为替代模型。这一替代模型的使用过程相对简便，只需进行相应的调用即可（前提是已经深入研读过开源代码，对需要调用的部分有充分的理解和掌握）。

复制代码

    from skopt.learning.forest import RandomForestRegressor, ExtraTreesRegressor

众所周知，`

全部评论 (0)

还没有任何评论哟~