Advertisement

机器学习基础:入门多维特征与梯度下降法!

阅读量:

最近与登龙交流时分享了我对多维特征获取、归一化处理以及多元线性回归模型的理解。文章篇幅较短且内容丰富,在介绍理论的同时也提供了具体的代码实现。接下来开始吧!

一、如何表示多维特征?

1.1 特征缩放

实际项目中在读取多维特征之前需要先对数据进行缩放,为什么呢?

因为有了多维特征向量和多变量梯度下降法后,在帮助算法更快收敛之前还需要对选用的特征进行尺度缩放其实就是为了将多个特征值缩小到同样大小的区间通常选择将它们归一化到[-1 1]附近

以下图为例:

未对特征进行缩放的情况下,在使用两参数梯度下降方法绘制等高线图时会呈现出竖直方向上的椭圆图形。这一现象的发生源于两个参数的取值范围存在差异,在这种情况下使得该优化过程需要经过大量迭代才能找到最小值点

在缩放调整之后使横纵坐标范围趋于相近时

缩放的最终结果不必局限于[−1,1]之间;例如[−3,3][−2,1]等稍大的范围也是合理的

x_n=\frac{x_n - \mu_n}{s_n}

其中 {\mu_{n}} 表示平均值,在此上下文中它代表数据集中的样本均值;而 {s_{n}}

全部评论 (0)

还没有任何评论哟~