前馈神经网络原理及实现

本文适合具备感知机和神经网络基础的读者阅读。对于学习门槛较高的读者而言，在深入理解时可能会遇到一定困难。然而，乐于深入推导数学公式的读者将能够进一步探索其背后的数学原理。

引言

前馈神经网络是所有神经网络中最基本、也是最有效的类型之一。从单个神经元角度来看的话、实际上就是通过设计权值与偏置进行的简单感知机运算。然而、究竟网络是如何运作的？尤其是反向传播的工作原理？我相信许多初学者跟我一样充满了诸多疑惑、但却不想一直依赖现成库的操作、因此让我们一起深入探讨这些公式的奥秘吧。

需要准备

1. 扎实的线性代数基础，尤其是矩阵运算的部分。
2. 熟练掌握微积分的核心内容及其应用方法。
3. 初学者的Python编程基础，并能熟练运用基本语法编写简单程序。

符号说明

该符号定义为从(l-1)层的第k个神经元到l层的第j个神经元之间的连接上的权重。然而，在直观上这种方法似乎有些难以理解（因为通常我们会使用符号形式如\omega _{kj}^{(l)},而不是\omega _{jk}^{(l)},来进行描述）。并提出了一种统一的方式将所有相邻两层间的权重以矩阵形式表达。

activation function symbol σ represents the activation function in this study. 本