小样本OLS回归梳理

1630 0 0

作者:分析101

上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架，本文沿着该框架，对小样本OLS回归做一个全面的梳理。

1 假设

这里先将所有的小样本OLS回归中可能用到的假设放到一起，方便浏览。当然，后面的每一个结论并不是要用到所有的假设，而是只用到某几个假设，这在后面讲每个结论时会具体说明。

假设1 线性性：(y_i=x_i'beta+varepsilon_i)，其中(beta)是未知参数向量，将所有(N)个样本放到一起，可以写成(y=Xbeta+varepsilon)，其中(X)是(Ntimes K)矩阵；
假设2 严格外生性：(mathbb{E}(varepsilon|X)=0)；
假设3 非奇异性：(X'X)是非奇异的；
假设4 球形扰动项：(mathbb{E}(varepsilon|X)=sigma^2I_n)；
假设5 条件正态扰动项 (varepsilon|Xsim mathcal{N}(0,sigma^2I_n))；
假设6 无近似多重共线性：当(nto infty)时，(X'X)的最小特征值(lambda_text{min}(X'X)toinfty)的概率为1。

其中，假设3等价于(text{rank}(X)=K)。假设6只在个别资料中会出现，它排除了近似多重共线性的可能。另外，假设4说明了扰动项没有自相关性并且是同方差的，假设5包含了假设4，假设5只在需要推导(hatbeta)的抽样分布及其相关问题时需要用到。

2 (beta)的点估计及其性质

2.1 (beta)的点估计

通过求解(hat{beta}=argmin text{SSR}(beta))，在假设3成立时很容易得到(hatbeta=(X'X)^{-1}Xy)，这就是点估计。

我们将线性回归的残差记为(e=y-Xhatbeta)。

在后续的推导中，主要用到的是点估计(hatbeta)与真实(beta)的差，利用假设1，有(hatbeta-beta=(X'X)^{-1}X'varepsilon)。

2.2 (hatbeta)的性质

首先，(hatbeta)的条件期望就等于(beta)，即它是条件无偏的，利用假设4，可以得到(mathbb{E}(hatbeta-beta|X)=0)。当然，在无条件下它也是无偏的。

它的条件方差很好计算，由定义和假设4，(text{Var}(hatbeta|X)=sigma^2(X'X)^{-1})。若假设6也成立，则对于任何(Ktimes 1)且满足(tau'tau=1)的向量(tau)，有当(nto infty)时，(tau'text{Var}(hatbeta|X)tauto 0)。这意味着，只要不存在近似多重共线性，那么只要数据足够多，(hatbeta)的方差就会趋近于0，反之，若出现了近似多重共线性，方差就很难靠收集数据来补救。

可以证明，在所有的线性无偏估计量中，(hatbeta)具有最小的方差，这就是Gauss-Markov定理。它表明，对于任意一个其他的线性无偏估计量(hat b)，(text{Var}(hat b|X)-text{Var}(hatbeta|X))必为半正定矩阵。

对于未知的参数(sigma^2)，可以用残差的方差估计量(s^2=e'e/(N-K))来估计它。这也是一个无偏估计量，即(mathbb{E}(s^2|X)=sigma^2)。

3 (hatbeta)的抽样分布及假设检验

3.1 (hatbeta)的抽样分布

由于是小样本，因此对于扰动项分布的假设至关重要。光靠假设4是不够的，必须要用更强的假设5。

有了假设5，可以得出(hatbeta)也服从条件正态分布：

[hatbeta-beta|Xsim mathcal{N}left(0,sigma^2(X'X)^{-1}right) ]

对于任意(Jtimes K)的非随机矩阵(R)，有

[R(hatbeta-beta)|Xsim mathcal{N}left(0,sigma^2R(X'X)^{-1}R'right) ]

3.2 拟合优度

线性回归模型对数据的拟合情况怎样？可以用拟合优度来表达。下式为非中心化(R^2)的表达式：

[R^2_{uc}equiv dfrac{hat y'hat y}{y'y} = 1-dfrac{e'e}{y'y} ]

下式是中心化(R^2)，又叫决定系数（Coefficient of Determination）：

[R^2equiv 1-dfrac{e'e}{(y-bar y ell)'(y-bar yell)} ]

其实，(R^2)就是(y)和(hat y)之间的相关系数平方：(R^2=hatrho^2_{yhat y})。

3.3 一些辅助结论和定理

定理1 正态随机变量的二次型 (m)维随机向量(vsimmathcal{N}(0,I_m))，(Q)是(mtimes m)的非随机对称幂等矩阵，(text{rank}(Q)=qle m)，则(v'Qvsimchi^2_q)。

定理2 (q)维随机向量(Zsimmathcal{N}(0,V))，其中(V=text{Var}(v))是(qtimes q)的对称、非奇异的协方差矩阵，则(Z'V^{-1}Zsimchi^2_q)。

由定理1，可以得到(dfrac{(N-K)s^2}{sigma^2}simchi^2_{N-K})。

另外，(text{Cov}(hatbeta, e|X)=0)，并且(e)和(hatbeta)服从联合正态分布，这是因为

[left[begin{matrix} e\ hatbeta-beta end{matrix}right] =left[begin{matrix} I_n-X(X'X)^{-1}X'\ (X'X)^{-1}X' end{matrix}right]varepsilon ]

而由假设5，(varepsilon)服从条件正态分布，因此上式是(varepsilon)的线性组合，也服从以(X)为条件的联合正态分布。而对于联合正态分布来说，不相关性等价于独立性，因此，(e)和(hatbeta)是独立的。

3.4 假设检验

3.4.1 (F)检验

我们可以对如(Rbeta=r)这样的零假设进行假设检验，其中(R)为(Jtimes K)的矩阵。

若零假设成立，那么

[Rhatbeta-r=R(hatbeta-beta) ]

由3.1节，我们可知

[Rhatbeta-r|Xsim mathcal{N}left(0,sigma^2R(X'X)^{-1}R'right) ]

再利用定理2，可以得出

[(Rhatbeta-r)'[sigma^2R(X'X)^{-1}R']^{-1}(Rhatbeta-r)|X sim chi^2_J ]

由于分布(chi^2_J)不依赖于(X)，因此，上式的无条件分布也服从(chi^2_J)分布。

但问题在于(sigma^2)是未知的，因此上式是无法计算的。解决办法是利用(s^2)替代它，这样替代后，再稍作处理（除以(J)），我们可以推导出一个不一样的分布，也就是(F)统计量：

[begin{aligned} F=&dfrac{(Rhatbeta-r)'[R(X'X)^{-1}R']^{-1}(Rhatbeta-r)/J}{s^2}\ =& dfrac{(Rhatbeta-r)'[sigma^2R(X'X)^{-1}R']^{-1}(Rhatbeta-r)/J}{(N-K)s^2/sigma^2/(N-K)}\ sim& F_{J, N-K} end{aligned} ]

为何服从(F)分布？可以从分子为(chi^2_J)分布除以(J)、分母为(chi^2_{N-K})分布除以(N-K)、分子与分母中的变量(hatbeta)与(e)相互独立三个条件证明。

从另一个角度，记(e)为无约束回归的残差，记(tilde e)为在约束(Rbeta=r)下的回归的残差，那么(F)统计量又可以写为

[F=dfrac{(tilde e'tilde e-e'e)/J}{e'e/(N-K)} ]

3.4.2 (t)检验

当(J=1)时，(Rhatbeta-r)和(sigma^2R(X'X)^{-1}R')变成了标量，不必再用二次型的形式构造出(chi^2_1)分布，而是可以直接构造正态分布形式：

[[sigma^2R(X'X)^{-1}R']^{-1/2}(Rhatbeta-r)sim mathcal{N}(0,1) ]

只要再对上一节(F)统计量的分母也相应求平方根，就可以得到(T)统计量：

[begin{aligned} Tequiv& dfrac{Rhatbeta-r}{sqrt{s^2R(X'X)^{-1}R'}}\ =& dfrac{[sigma^2R(X'X)^{-1}R']^{-1/2}(Rhatbeta-r)}{sqrt{(N-K)s^2/sigma^2/(N-K)}}\ sim& t_{N-K} end{aligned} ]

从而可进行(t)检验。

内容来源于网络如有侵权请私信删除

文章来源: 博客园

原文链接: https://www.cnblogs.com/analysis101/p/14552075.html

标签： AI 人工智能

你还没有登录，请先登录或注册！

还没有人评论，欢迎说说您的想法！

小样本OLS回归梳理

小样本OLS回归梳理

1 假设