相关关系与一元线性回归

回归用一条趋势线描述两个数值变量之间的关系。使用公式前，先画散点图检查线性趋势与异常值。

最小二乘公式

设 $n$ 对数据 $(x_i,y_i)$ ，令 $S_{xx}=\sum(x_i-\bar x)^2>0$ ， $S_{xy}=\sum(x_i-\bar x)(y_i-\bar y)$ 。使残差平方和 $\sum[y_i-(a+bx_i)]^2$ 最小的直线为

\hat y=\hat a+\hat b x,\quad \hat b=S_{xy}/S_{xx},\quad \hat a=\bar y-\hat b\bar x.

因此拟合直线经过样本中心 $(\bar x,\bar y)$ 。

记 $S_{yy}=\sum_{i=1}^n(y_i-\bar y)^2$ ，且沿用 $S_{xx}>0$ 。因为两组中心化数据的和都是零，残差平方和展开为

\begin{aligned} Q(a,b)&=\sum_i[y_i-(a+bx_i)]^2\\ &=\sum_i[(y_i-\bar y)-b(x_i-\bar x)]^2+n(\bar y-a-b\bar x)^2\\ &=S_{yy}-2bS_{xy}+b^2S_{xx}+n(\bar y-a-b\bar x)^2\\ &=S_{xx}\left(b-\frac{S_{xy}}{S_{xx}}\right)^2 +n(\bar y-a-b\bar x)^2+S_{yy}-\frac{S_{xy}^2}{S_{xx}}. \end{aligned}

前两项非负，并能同时为零。因此唯一最优斜率为 $\hat b=S_{xy}/S_{xx}$ ，截距为 $\hat a=\bar y-\hat b\bar x$ ，最小残差平方和为 $S_{yy}-S_{xy}^2/S_{xx}$ 。

若 $S_{xx}=0$ ，所有 $x_i$ 相同，只能确定拟合值 $a+b\bar x=\bar y$ ，斜率和截距不能分别唯一确定。此时不能代入含 $S_{xx}$ 的分母。

对 $(0,1),(1,2),(2,2)$ ，有 $\bar x=1,\bar y=5/3,S_{xx}=2,S_{xy}=1$ ，故 $\hat y=7/6+x/2$ 。在 $x=1$ 的预测为 $5/3$ ，实际值为 $2$ ，残差为 $1/3$ 。

观测点为 $(1,2),(2,3),(3,5)$ 。先求中心 $\bar x=2,\bar y=10/3$ ，再求

S_{xx}=\sum(x_i-\bar x)^2=2,\qquad S_{xy}=\sum(x_i-\bar x)(y_i-\bar y)=3.

因此斜率 $\hat b=S_{xy}/S_{xx}=3/2$ ，截距 $\hat a=\bar y-\hat b\bar x=1/3$ ，回归直线为 $\hat y=1/3+(3/2)x$ ，必过样本中心。

三个预测值为 $11/6,10/3,29/6$ ，残差为 $1/6,-1/3,1/6$ ，残差和为 $0$ ，残差平方和为 $1/6$ 。残差正表示实际值高于预测，负表示实际值低于预测。

这是对现有数据的拟合。把 $x=100$ 代入虽能算出一个数，但远离观测区间的外推缺乏这组数据的支持。

若散点近似符合指数增长 $y=ce^{kx}$ ，且所有 $y_i>0$ ，可令 $z_i=\ln y_i$ ，对 $(x_i,z_i)$ 作线性回归 $\hat z=\alpha+\beta x$ ，再得到 $\hat y=e^\alpha e^{\beta x}$ 。

例如 $(x,y)=(0,2),(1,6),(2,18)$ 经取对数变为一直线， $\alpha=\ln2,\beta=\ln3$ ，还原得 $\hat y=2\cdot3^x$ 。

有噪声时，最小化对数尺度上的残差平方和，与最小化原始 $y$ 尺度上的残差平方和不是同一目标。选模型后还要检查原尺度的残差和适用区间，不能只因变换后能套公式就认定模型正确。