MATLAB 神经网络编程——BP 神经网络的局限及优化

《MATLAB神经网络编程》 化学工业出版社 读书笔记
第四章 前向型神经网络 4.3 BP传播网络

本内容为《MATLAB神经网络编程》书籍的阅读整理，其中所引用的代码、公式及理论均源自该书，如存在疑问或困惑，建议查阅原著以获取更详尽的说明

BP网络的局限性分析

在人工神经网络的实际应用中，绝大多数的模型均基于BP网络及其衍生形式构建，但这并不能表明BP网络具备理想状态，其相关算法仍存在一定的限制。BP网络所存在的局限性主要体现在以下几个方面。
1，学习速率与稳定性之间的冲突。
采用梯度算法实现稳定学习时，通常需要较小的学习速率，因此整体的学习过程收敛速度较为缓慢。附加动量法相较于单纯的梯度算法效率更高，因其在维持稳定学习的同时允许使用较高的学习速率；然而对于许多实际应用场景而言，其速度依然难以满足需求。上述两种方法一般适用于需要增加训练次数的情形。若具备充足的存储资源，则对于中、小规模的神经网络可选择Levenberg-Marquardt算法；若存储资源有限，则可以采用其他多种快速训练方法，例如针对大规模神经网络更适合使用trainscg或trainrp算法。
2，缺乏科学有效的方法用于确定学习速率。
在非线性网络中，合理设定学习速率是一项极具挑战性的任务。对于线性网络而言，若设置的学习速率过高，