机器学习基础：感知机

感知机

原理

错误驱动机制是该思想的核心。初始时为w设定一个起始数值，随后通过持续调整分类边界，以纠正那些被误判的样本。

输入

训练样本集合表示为D = {(x_1,y_1) ... (x_M,y_M)}，其中每个输入特征x_i属于特征空间\mathcal{X}，且该空间是p维实数空间的子集，对应的标签y_i取值范围为\{-1, +1\}

将所有输入特征按列排列构成矩阵X = (x_1\ x_2\ ...\ x_M)^T \in R^{M*p}

定义判别函数f(x) = sign(w^Tx+b)

小标题

{+1, -1}

损失函数

可选用0-1损失函数作为优化目标。

L(w) = \sum^M_{i=1} I\{y_iw^Tx_i < 0\}

然而，该损失函数存在不可导的问题。因此，我们选择其等效表达形式进行计算。

L(w) = \sum^M_{i=1} -y_iw^Tx_i

通过这种方式，能够运用随机梯度下降算法完成参数更新过程。
w^{t+1} = w^t - \eta*(\nabla_w L(w)) \\ \\ = w^t + \eta y_ix_i
若模型无法达到收敛状态，可引入pocket algorithm作为补充策略。

适用场景分析