神经网络只能表示分段线性函数

原文：https://mp.weixin.qq.com/s/XA1zS9bvgAfRkmTh_e-78g

阅读本文后能够理解：任何函数都可以被近似为分段线性形式，并深入掌握神经网络的实际应用边界。

人教社初中二年级

人教社初中二年级

人教社初中二年级

数字电路课本或任何编程语言的课本

人教版初中数学教材

---

主要原因使得人们对于神经网络的强大能力充满了神秘感与顶礼膜拜。文章经常列举大量数学公式，并详细介绍生物神经元的特性，在这种背景下读者容易产生一种高深莫测的印象。当讨论到神经网络能够近似任意函数时，并未对这一结论提供深入解释而是简单提及已知结果[1]，这使得原理部分显得晦涩难懂以至于令人望而生畏。

实际上, 神经网络逼近任意函数的本质十分简单, 这是因为分段线性激活函数赋予了神经网络处理非线性问题的能力, 其实质是使神经网络具备了进行分段处理的能力, 因此可以说神经网络能够逼近任意给定的函数。本文通过一个具体的实例向读者展示了这一过程, 希望能让大家快速理解其中的奥秘。

没有激活函数，神经网络是线性函数

线性函数在两个维度的空间（即每个输入和输出