分类器：感知机、逻辑回归、支持向量机

深度神经网络（Deep Neural Networks，DNN）作为深度学习的基石，其构建基础源于对感知机模型的延伸发展，因此多层感知机（Multi-Layer Perceptron，MLP）可被视为深度神经网络的一种具体表现形式。在深度学习领域，用于图像分类任务的卷积神经网络（Convolutional Neural Networks，CNN），通常会在全连接层（Fully Connected Layer，FC）之后引入softmax分类器，该函数可被理解为logistic函数（Sigmoid）在多类别分类问题中的扩展形式。此外，在目标检测任务中，经典的RCNN网络则通过提取感兴趣区域的CNN特征，并将其输入支持向量机（Support Vector Machine，SVM）进行分类处理。为了更深入地理解深度学习的相关内容，并揭示其对传统机器学习方法的继承关系，笔者对感知机（Perceptron）、逻辑回归（Logistic Regression，LR）以及支持向量机（Support Vector Machine，SVM）这三种基本分类模型进行了系统性归纳与整理。本文内容涉及大量数学推导与公式表达，请读者提前做好相关准备。

目录

• 感知机
  • • 感知机模型
    • 感知机的训练流程
    • 感知机的不足之处及其后续演进
    • 神经网络中的反向传播机