机器学习与神经网络基础

深度学习

每层包含10个神经元，且各神经元之间相互连接，由此形成100个参数，其中包括90个连接权重以及10个阈值参数。

2. 激活函数

理论上最优的激活函数为图5.2(a)所展示的阶跃函数，该函数能够将输入数值映射为输出值0或1。其中，“1”表示神经元处于激活状态，“0”则表示神经元处于抑制状态。不过，阶跃函数存在不连续与不光滑等缺陷，因此在实际应用中更倾向于采用Sigmoid 函数作为激活函数。如图5.2(b)所示，典型的 Sigmoid 函数具备将输入值从较宽范围压缩至 (0, 1) 区间的能力，因此也被称为 "挤压函数" (squashing function)。

3. 感知机与多层神经网络

感知机(Perceptron)是一种包含两个层级神经元结构的模型，如图5.3所示。该模型中，输入层负责接收来自外部环境的信号，并将其传输至输出层。输出