贝叶斯优化核ELM用于回归分析

0、前言

核极限学习机KELM凭借强大的学习能力和良好的泛化性能，在分类与回归预测方面深受欢迎。本文将仿真试验贝叶斯优化与极限学习机相结合应用于回归预测分析，并将其与未优化的核极限学习机KELM以及混合核极限学习机HKELM进行比较。

1、基本原理

1.1 KELM原理

KELM算法的核心原理已在之前的博客文章中进行了详细阐述，请访问此处 KELM算法的核心原理已在之前的博客文章中进行了详细阐述，请访问此处

KELM属于一种基于核的方法，在经过高维映射之后，在利用内积计算时可以直接依赖于相应的内积操作实现。这也意味着样本间的关系与所采用的内积计算方案之间存在密切关联。在实际应用中通常会使用线性内积、多项式内积、径向基函数内积以及小波内积等多种类型的具体实现形式，在具体应用中则需根据需求选择合适的内积计算方案及相应的参数设置以达到最佳效果

选定核函数之后, 核函数的计算结果直接取决于核参数的设置情况; 通过优化算法选择最佳参数设置.

1.2、混合核极限学习机HKELM原理

即通过采用至少两个不同的核函数替代单一的核函数来提升模型的表现。其核心在于，在构建该模型时需要分别计算每个子空间对应的特征向量，并通过加权的方式将这些特征向量融合在一起。

3、实现效果

3.1 KELM回归预测实现

选定核函数，设定