基于Tensorflow实现的BP神经网络（代码注释详细）

1986年,Rumelhart及其领导团队首次提出了BP(back propagation)神经网络的概念。
该方法作为一种多层前馈架构,主要通过逆向传播算法进行训练,并已在各种应用场景中,被证明具有高效的计算能力。

在一般的BP神经网络架构中，默认情况下每个样本都包含m个输入特征以及n个输出目标值，在网络模型设计阶段通常会设置多个隐藏层h（即在输入层与输出层之间设置了多个隐藏层），事实上，在1989年之前就已经有关于万用逼近定理的重要研究成果：

对于每一个有限闭区间上的连续函数来说，在其上都存在一个带有一个隐含层的 BP 神经网络能够实现其任意精度逼近。

由三层神经网络即可实现任意从m维到n维的映射。具体来说，这三个层次分别为输入层模块、隐藏层模块和输出层模块。

通常情况下，在BP神经网络体系中，输入层与输出层的节点数固定不变。核心因素是隐藏层数目选择问题。而隐藏层数目选择直接关系到神经网络的工作效果。

这里有一个选择隐藏层数目的经验公式：

• 隐藏层参数h
• 输入层参数m
• 输出层参数n
• 调节常数值a通常在1至10之间取值（当数