几种线性回归方法的简介

假设有一组数据集(x_1, y_1), ..., (x_n, y_n)存在，则若假设该数据集服从线性模型：

y = a + bx + \epsilon

则可通过多种方法估计模型参数并进行拟合。

1. 最小二乘法（OLS）回归

广为采用的一线性模型拟合方法旨在通过最小化残差平方和实现最佳拟合效果

2. Theil回归

该方法旨在通过计算每对观测点(x_i, y_i)与(x_j, y_j)拟合回归线后的残差差值的正负符号来确定斜率b。
\hat{b}被估计为：
\hat{b}=\textit{median}\ b_{ij}=\textit{median}\frac{Y_j-Y_i}{X_j-X_i}
\hat{a}被估计为：
\hat{a}=\textit{median}(Y_j-\hat{b}X_j,\ j=1,\dots,n)

Theil回归的优点体现在以下几个方面：其一，并非假设所有误差仅存在于因变量方向；其二，并不受误差服从正态分布的限制；其三，并表现出较强的耐受能力至异常值或极端值的影响。值得注意的是，在稳健性方面表现尤为突出。

3. Siegel回归

Siegfried Repeated Medians（Siegfried重复中位数）展现出更强的鲁棒性。该方法