掌握深度学习+TensorFlow案例演示：普通最小二乘法与最大似然估计法

2-6 普通最小二乘法与最大似然估计法

普通最小二乘法（Ordinary Least Squares, OLS）与最大似然估计法（Maximum Likelihood Estimation, MLE）是广泛应用于参数优化与估计的经典方法，常用于确定回归系数、正态分布的均值及方差等统计量。作者形象地将这两种方法比作优化过程中不可或缺的倚天剑与屠龙刀，许多复杂的算法问题借助它们往往能够得到高效解决。

2-6-1 普通最小二乘法

在“2-3-4 简单线性回归求解”章节中，借助一阶导数为零的数学特性，对简单线性回归模型（y = wx + b）进行最优解的推导，所采用的方法正是普通最小二乘法。在此基础上进一步强化运算方式，引入矩阵运算形式，使该方法能够扩展至多元回归以及深度学习等更复杂的场景。

y = w₁x₁ + w₂x₂ + w₃x₃ + L + wₙxₙ + b

首先明确线性回归中的目标函数（Objective Function），也称为损失函数（Loss Function），其定义为均方误差（MSE）。该函数的具体表达形式为误差平方和（SSE）除以样