Coursera 机器学习 week 4 神经网络前向传播

Neural NetWork的由来

首先探讨一种非线性分类方案，在特征数量较为有限的情况下（即变量数目较少），逻辑回归能够轻易实现；然而当特征数量显著增加时（例如达到数百个级别），模型中所需的高阶项数量将呈现指数级增长，这使得问题的复杂度急剧上升。如图所示，在仅有三个特征变量（x₁,x₂,x₃）的情况下（即仅有三个输入维度），我们能够对其进行有效的分类处理；然而当特征数量扩展至x₁,x₂,…,x₁₀₀时（即输入维度大幅增加到一百个级别），这样的模型结构可能会导致分类器的工作效率显著下降。此外，在这一过程中所使用的激活函数定义为：g(z)=1/(1+e^{-z})

符号说明：

a_i^{(j)}*代表第j*层网络中的第i*个神经元；例如，在图中a_1^{(2)}*即为第二层的第一个神经元。
*
*\theta^{(j)}*则