机器学习第十二项相关知识：神经网络参数初始化

文章目录

• 参数的初始化过程
  • • 首先进行预训练预设的参数初始化
    • 进行随机化的参数赋值
    • 设置固定数值的初始状态
    • 分别处理不同情况下的效果对比
    • 常见用于参数随机赋值的方法总结与分析

参数初始化

各神经网络架构均需预先设定初始参数，在此过程中可能会涉及多个关键组件的选择问题。其中以径向基神经网络（RBFNN）为例，在隐层中包含中心位置坐标以及扩展程度参数，在显层则包含权值系数与激活阈值等重要指标设置。这些初始设置的质量直接影响模型收敛速度与性能，在实际应用中通常会根据具体任务需求选择合适的初始化策略。根据应用需求的不同大致可分为三类预训练策略：一种是基于已有经验的传统启发式方法；另一种是基于统计学理论的概率分布采样技术；第三种则是采用固定模式或人工指定的方式进行系统性设计

1、预训练初始化

预训练初始化过程是指，在同一数据集上经过先前训练的神经网络模型能够获得较为理想的参数初值，并以此作为新的网络训练的基础参数初始值。

2、随机初始化

随机初始化过程指的是根据特定公式或规则确定神经网络参数的起始范围，并随后在此范围内生成初始参数值。

3、固定值初始化

相对于前两种方法而言，在固定值初始化方面应用较为少见。这种方法将固定值设定为神经网络参数的初始值。例如，在选择ReLU作为