第六章

回归分析

回归分析是一种建立两个变量之间线性模型的方法

最小二乘法

最小二乘法是一个估计线性模型参数的方法。这个方法的目标是找到一组线性模型参数，使得这个模型预测的数据和实际数据间的平方误差达到最小。这是四个让让统计学家一度十分头疼的数据集：安斯库姆四重奏，你可以通过这四个数据集进一步探索最小二乘法。

选择一个数据集

拖动图中的数据点，观察它们对回归直线的影响。

点击下方表格来了解每个参数在最小二乘法中的具体含义。

	$\displaystyle{n}$	$\displaystyle{\bar{\cssId{xMEAN}{x}}}$	$\displaystyle{\bar{\cssId{yMEAN}{y}}}$	$\displaystyle{\hat{\cssId{BETA0}{B_{0}}}}$	$\displaystyle{\hat{\cssId{BETA1}{B_{1}}}}$	$\displaystyle{SSE}$
Model

$n$ 是样本大小，也就是数据集中数据点的个数。

$\bar{x}$ 是 $X$ 数据的均值，其数学定义如下：

$\bar{x} = \sum_{i=1}^{n}\dfrac{x_{i}}{n}$

$\bar{y}$ 是 $y$ 数据的均值，其数学定义如下：

$\bar{y} = \sum_{i=1}^{n}\dfrac{y_{i}}{n}$

$\hat{B_{0}}$ 是回归直线的截距，目前的估计值的方差是__。其数学定义如下：

$\hat{B_{0}} = \bar{y} - \hat{B_{1}}\bar{x}$

$\hat{B_{1}}$ 是回归直线的斜率，目前估计的方差是__。其数学定义如下：

$\hat{B_{1}} = \dfrac{S_{xy}}{S_{xx}}$

$SSE$ 指的是残差平方和（sum of squared error，其数学定义如下：

$SSE = \sum_{i=1}^{n}\Big{(}y_{i} - \big{(}\hat{B_{0}} + \hat{B_{1}}x_{i}\big{)}\Big{)}^{2}$

相关性

相关性是一种刻画两个变量之间线性关系的度量。相关性的数学定义是

$r = \dfrac{s_{xy}}{\sqrt{s_{xx}}\sqrt{s_{yy}}}$

其中由上述定义我们可以看出 $r\in[-1.1]$ 。

我们还可以把相关性 $r$ 理解为最小二乘法确定的 $x,y$ 变量方向之间的余弦值。你可以通过Edgar Anderson的著名的鸢尾花（Iris flower）数据集例子来进一步探索这个概念。选择下方鸢尾花种类：

点击下面相关性矩阵来探索各个品种鸢尾花之间的相关性。

	萼片长度（Sepal Length）	萼片宽度（Sepal Width）	花瓣长度（Petal Length）	花瓣宽度（Petal Width）
S萼片长度（Sepal Length）
萼片宽度（Sepal Width）
花瓣长度（Petal Length）
花瓣宽度（Petal Width）

方差分析

方差分析（ANONA，Analysis of Variace）是一种检验各组数据是否有相同均值的统计学方法。方差分析将t检验从检验两组数据均值推广到检验多组数据均值，其主要方法是比较组内和组间平方误差。

选择一个数据集来进行探索：

你可以移动数据点然后观察这些改变如何影响方差分析的结果。

点击下方方差分析表格的各列来进一步了解各参数的意义。

	$\displaystyle{SSE}$	$\displaystyle{df}$	$\displaystyle{MS}$	$\displaystyle{F}$	$\displaystyle{p}$
组间误差 Treatment
随机误差 Error
总和 Total

$SSE$ （sum of squared residuals）指的是残差平方和。其数学定义如下：

$SSE = \sum_{i=1}^{n} \big{(}y_{i} - \bar{y}\big{)}^{2}$

$df$ （degree of freedom）指的是自由度. 其数学定义如下:

$df = n - 1$

$MSE$ （mean squared error）指的是均方差，其数学定义如下：

$MSE = \dfrac{SSE}{df}$

$F$ 是一个检验统计量，其数学定义如下：

$F = \dfrac{SST/(k-1)}{SSE/(n-k)} \sim f_{k-1,n-k}$

$p$ 是由F统计量得出的p值。

下载英文PDF

微信扫一扫：分享
微信里点“发现”，扫一下
二维码便可将本文分享至朋友圈。

第六章

回归分析

最小二乘法

相关性

方差分析

微信扫一扫：分享

下一章