机器学习中的回 narration分析: 标准回 narration, 局部加权回 narration, 岭回 narration, Lasso, 逐步正则化回 narration

---

标准回归函数

使误差平方和最小

回归系数公式可写为

---

局部加权线性回归

传统标准线性回归模型在面对样本数据呈现非线性关系时可能会导致欠拟合现象的发生。为了弥补这一缺陷，在实际应用中我们通常会采用局部加权线性回归方法来进行处理。具体而言，在对附近区域内的每个测试点分配相应的权重值后，并随后使用最小二乘法的思想进行计算。其中，在预测过程中需要逐一遍历整个训练样本集合来进行运算操作。为了进一步提高模型的预测精度，在选择合适的核函数方法时应优先考虑高斯核函数的应用

回归系数为

W为对角阵。

---

岭回归

当数据中的特征数量超过样本数量时，则设计矩阵x将不满秩从而不可逆导致无法求解权值参数这一现象可以从两个角度进行理解：其一反映的数据量不足以充分揭示各特征之间的关联性；其二则与岭回归的技术特性密切相关具体而言岭回归通过引入正则化项能够限定权值参数的变化幅度从而在一定程度上缓解因多重共线性导致的估计问题假设我们有两个高度相关的特征a与b此时对应的权重系数w₁与w₂可能会出现相互抵消的现象即y=w₁a+w₂b在这种情况下若将w₁增大到一定程度将被迫使w₂绝对值显著增大以维持预测结果y的有效性这种特性使得基于不同训练集构建出的模型预测结果可能出现较大的差异进而降低模型的整体可解释性为了避免这种状况带来的负