人工智能教程-学科基础课程2.6-机器学习导论中的第7节涵盖优化算法、多类别识别、过拟合问题及正则化技术

优化算法介绍

其实还有一些某些方面比梯度下降更好的算法去拟合参数。

• 共轭梯度法 Conjugate gradien
  • BFGS 变尺度算法
  • L- BFGS 限制变尺度算法

梯度下降对比分析

1. 无需对学习率进行调整
2. 通常能够实现更迅速的收敛过程
3. 其不足之处在于模型结构更为复杂

逻辑回归解决多类别分类问题

multi-class classification problem

one-versus-all 一对多算法

将邮件分类存入不同的文件夹或添加相应标签
电子邮件归类/标记：工作相关、朋友往来、家庭事务、个人兴趣

转化为一对余的办法 one versus rest

最后，我们选择一个让h最大的i，即选择子分类器中最大的概率：可信度最高，效果最好

\LARGE max_{i}h_{\theta}^{(i)}(x)

![在这里插入图片描述](https://ad.itadn.com/c/weblog/bl