SECTION 01
なぜ推定量の分布が必要か
前章で導いた OLS の点推定量は、平均的には真のパラメータに等しい ― これが
不偏性（unbiasedness） である。だが現実には標本は一つしかない。
推定値は真の値と必ずズレる 。だからこそ「真値の範囲」を推測する必要がある。
前章では OLS の点推定量を導いた。これらの推定されたパラメータは、平均的には真のパラメータに等しい。これが「不偏性（unbiasedness）」の概念である。
では「平均（average）」とは何を意味するのか。それは、もし母集団から標本を無限回 構築でき（もちろん非現実的な仮定だが）、OLS を無限回走らせることができたなら、その推定値の平均が真のパラメータに等しくなる、ということである。
しかし現実には、われわれはただ一つの標本 しか持たない。つまり、推定されたパラメータは真のパラメータと正確には一致しない。むしろ、真のパラメータとは異なるはずである。
そこで、真のパラメータの範囲について推測すること が重要になる。この手続きを推論（inference） と呼ぶ。統計的推論を行うには、OLS推定量の分布 を知る必要がある。
議論の流れ（3ステップ）
1
OLS推定量の分散の公式を導出する
まず、推定量の分散共分散行列を求める。同分散の仮定（後述の OLS.5）の下で \(\mathrm{Var}(\hat{\boldsymbol\beta}\mid X)=\sigma^2(X'X)^{-1}\) となる。
2
OLS推定量の分布が正規であることを示す
正規性は、分布の正確な形を知るには最初の2つのモーメント（平均と分散）だけで十分（sufficient statistics）であることを意味する。歪度（skewness）や尖度（kurtosis）といった高次モーメントは、正規分布ではゼロなので不要である。
3
平均と分散を組み合わせる
平均は真のパラメータである（OLS推定量は不偏だから）。分散はステップ1で与えられる。これで分布が確定する。
In reality however, we have only one sample. It means that the estimated parameters will not exactly equal to the true parameters. Rather, they must be different from the true parameters. So it is important to make a guess about the range of the true parameters (this procedure is called
inference ).
現実にはわれわれは一つの標本しか持たない。それは、推定されたパラメータが真のパラメータと正確には一致しないことを意味する。むしろ真のパラメータとは異なるはずである。だから、真のパラメータの範囲を推測することが重要になる（この手続きを推論と呼ぶ）。
原典 P.29 には、母集団モデル（傾き＝1）と、そこから得た2つの標本の散布図（Sampling 1：傾き .983、Sampling 2：傾き 1.161）が掲げられている。データ生成過程は \(y = 0 + 1\cdot x + e\) 。同じ母集団からの標本ごとに傾きの推定値が揺らぐ様子を示す図である（本ページでは図そのものは再掲しない）。
本章の参照教科書は Wooldridge, Introductory Econometrics: A Modern Approach （IE）, Ch.4, 5 である。
原典 P.29 冒頭。
SECTION 02
OLS推定量の分散 ― 同分散の仮定
推定量の分散を導くには、誤差項に同分散かつ無相関 という仮定（OLS.5）を一つ加える。
この仮定の下で、分散共分散行列は \(\sigma^2(X'X)^{-1}\) という簡潔な形に帰着する。
仮定 OLS.5（同分散かつ無相関な誤差）
推定量の分散を導くには、次の仮定を加える（これは後の章で緩めることができる）。
\[ E(u_i^2 \mid X) = \sigma^2 \qquad \text{(homoskedasticity / 均一分散)} \]
\[ E(u_i u_j \mid X) = 0, \quad \forall\, i \neq j \qquad \text{(no-correlation / 無相関)} \]
これらの条件は、仮定 OLS.3（\(E(u_j \mid X) = 0\)）の下で、次を含意する。
\[ V(u_i \mid X) = E(u_i^2 \mid X) - E(u_i \mid X)^2 = \sigma^2 \]
\[ \mathrm{Cov}(u_i u_j \mid X) = E(u_i u_j \mid X) - E(u_i \mid X)\,E(u_j \mid X) = 0 \]
すなわち、分散は一定 であり、相関（共分散の符号）はゼロ である。
Homoskedasticity
同分散
\(u\) の分散が一定であることを意味する。この仮定が成り立たない場合は不均一分散（heteroskedasticity） と呼ばれる。
No-correlation
無相関
あるデータ単位の \(u\) が、他のデータ単位の \(u\) と相関しないことを意味する。
原典 P.30（図 9-1）には、Panel A：同分散（Homoskedasticity）、Panel B〜D：不均一分散（Heteroskedasticity）の散布図が4枚並べて示されている。誤差のばらつきが \(x\) に依存して変化する様子を視覚化する図である（本ページでは図そのものは再掲しない）。
行列形式での誤差の分散共分散
行列形式で書くと次のようになる（簡単のため「\(X\) で条件付ける」記号は省略する）。対角成分がすべて \(\sigma^2\)、非対角成分がすべて \(0\) であるから、これは \(\sigma^2\) に単位行列 \(\mathbf{I}\) を掛けた形になる。
\[
V(\mathbf{u}) = E[\mathbf{u}\mathbf{u}'] - E(\mathbf{u})E(\mathbf{u})'
= E\!\left[
\begin{pmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{pmatrix}
\begin{pmatrix} u_1 & u_2 & \cdots & u_n \end{pmatrix}
\right]
\]
\[
= E\!\begin{pmatrix}
u_1^2 & u_1 u_2 & \cdots & u_1 u_n \\
u_2 u_1 & u_2^2 & \cdots & u_2 u_n \\
\vdots & \vdots & \ddots & \vdots \\
u_n u_1 & u_n u_2 & \cdots & u_n^2
\end{pmatrix}
=
\begin{pmatrix}
\sigma^2 & 0 & \cdots & 0 \\
0 & \sigma^2 & \cdots & 0 \\
\vdots & \vdots & \ddots & \vdots \\
0 & 0 & \cdots & \sigma^2
\end{pmatrix}
= \sigma^2 \mathbf{I}_{n\times n}
\]
対角成分は分散 \(\sigma^2\)（同分散の仮定）、非対角成分は共分散 \(0\)（無相関の仮定）。よって誤差の分散共分散行列は \(V(\mathbf{u}\mid X)=\sigma^2\mathbf{I}\) となる。
OLS推定量の分散共分散行列の定義
OLS推定量の分散共分散行列を、次のように定義する。対角成分が各係数の分散、非対角成分が係数間の共分散である。
\[
V(\hat{\boldsymbol\beta}\mid X) =
\begin{pmatrix}
\mathrm{var}(\hat\beta_1) & \mathrm{cov}(\hat\beta_1\hat\beta_2) & \mathrm{cov}(\hat\beta_1\hat\beta_3) & \cdots & \mathrm{cov}(\hat\beta_1\hat\beta_k) \\
\mathrm{cov}(\hat\beta_2\hat\beta_1) & \mathrm{var}(\hat\beta_2) & \mathrm{cov}(\hat\beta_2\hat\beta_3) & \cdots & \mathrm{cov}(\hat\beta_2\hat\beta_k) \\
\mathrm{cov}(\hat\beta_3\hat\beta_1) & \mathrm{cov}(\hat\beta_3\hat\beta_2) & \mathrm{var}(\hat\beta_3) & \cdots & \mathrm{cov}(\hat\beta_3\hat\beta_k) \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
\mathrm{cov}(\hat\beta_k\hat\beta_1) & \mathrm{cov}(\hat\beta_k\hat\beta_2) & \mathrm{cov}(\hat\beta_k\hat\beta_3) & \cdots & \mathrm{var}(\hat\beta_k)
\end{pmatrix}
\]
導出（Hayashi, p.29）
すると、これは次のように計算できる。前章の結果 \(\hat{\boldsymbol\beta}=\boldsymbol\beta+(X'X)^{-1}X'\mathbf{u}\) を分散に代入し、\(\boldsymbol\beta\) は定数なので分散に寄与しないこと、\(V(\mathbf{u}\mid X)=\sigma^2\mathbf{I}\) であることを使う。
1
推定量を真値＋誤差項に分解
\[ V(\hat{\boldsymbol\beta}\mid X) = V\!\big(\boldsymbol\beta + (X'X)^{-1}X'\mathbf{u}\,\big|\,X\big) \]
2
定数項 \(\boldsymbol\beta\) は分散に寄与しない
\[ = V\!\big((X'X)^{-1}X'\mathbf{u}\,\big|\,X\big) = (X'X)^{-1}X'\, V(\mathbf{u}\mid X)\, X(X'X)^{-1} \]
3
\(V(\mathbf{u}\mid X)=\sigma^2\mathbf{I}\) を代入
\[ = (X'X)^{-1}X'\,(\sigma^2\mathbf{I})\,X(X'X)^{-1} = \sigma^2 (X'X)^{-1}\,\underbrace{X'X\,(X'X)^{-1}}_{=\,\mathbf{I}} \]
4
整理
\[ = \sigma^2 (X'X)^{-1} \]
まとめると、仮定 OLS.1 〜 OLS.5 の下で、OLS推定量の分散共分散行列は次で与えられる。
\[ V(\hat{\boldsymbol\beta}\mid X) = \sigma^2 (X'X)^{-1} \]
問題 ― 真の \(\sigma^2\) は観測できない
しかし、一つ問題が残る。真の \(\sigma^2\) は観測できないため、推定された残差から推定しなければならない。
\[ \hat\sigma^2 = \frac{\sum_{i}^{n}\hat u_i^2}{\,n-k\,} = \frac{\hat{\mathbf{u}}'\hat{\mathbf{u}}}{\,n-k\,} \]
分母が \(n\) ではなく \(n-k\)（自由度, degree of freedom） である点に注意。直観的な理由は、残差ベクトルを得る前に \(k\) 個のパラメータを推定しなければならないからである。
仮定 OLS.1 〜 OLS.5 の下で、これは母集団分散の不偏推定量である（証明は Hayashi, p.30 を参照）。
\[ E(\hat\sigma^2 \mid X) = \sigma^2 \]
したがって、OLS推定量の（推定可能な）分散は次のようになる。
\[ \widehat{V}(\hat{\boldsymbol\beta}\mid X) = \hat\sigma^2 (X'X)^{-1} \]
SECTION 03
OLS推定量の分布 ― 正規性とCLT
OLS推定量が正規分布に従う ことを示す道は2つある ―
誤差項に正規性を仮定するか、中心極限定理（CLT） を持ち出すかである。
真の分散を推定値で置き換えると、分布は正規ではなくt分布 になる。
誤差項が正規分布に従うと仮定する。
この仮定が真なら、OLS推定量は標本サイズによらず常に 正規になる。
追加の仮定 OLS.6 が必要。
証明：Wooldridge, IE, ch.3 appendix。
誤差項が正規でなくても適用できる。
標本サイズが大きくなるとき、OLS推定量の分布は近似的に正規（漸近正規, asymptotically normal） になる。
従属変数が正の値しか取らない場合など、誤差が正規でないときに有効。
証明：Hayashi, ch.2, p.114。
仮定 OLS.6（正規性）
\[ u_i \sim N(0,\ \sigma^2) \]
現実には、誤差項は正規でないかもしれない（例：従属変数が正の値しか取らないとき）。しかし標本サイズが大きいとき、誤差項が正規でなくても 、中心極限定理により OLS推定量の分布は近似的に正規になりうる。では「大きい」とはどれくらいか ― 明確な答えはなく、モデルに依存する。
分布のまとめ
まとめると、OLSモデルの仮定の下で、かつ誤差項の正規性を仮定するか中心極限定理を持ち出すならば、OLS推定量は正規分布に従う。
\[ \hat\beta_j \sim N\!\Big(E(\hat\beta_j),\ \mathrm{Var}(\hat\beta_j)\Big) = N\!\Big(\beta_j,\ \sigma^2 (X'X)^{-1}_{jj}\Big) \]
ここで \((X'X)^{-1}_{jj}\) は \((X'X)^{-1}\) の \((j,j)\) 成分。平均は真値 \(\beta_j\)（不偏性）、分散はステップ1の結果。
\[ \frac{\hat\beta_j - \beta_j}{\sqrt{\sigma^2 (X'X)^{-1}_{jj}}} \sim N(0,1) \]
真の分散を推定値で置き換える ― t分布
ここでも問題は、真の \(\sigma^2\) を観測できないことである。よってこれを推定値で置き換えねばならない。未知の真の分散 \(\sigma^2\)（定数）を推定分散 \(\hat\sigma^2\)（確率変数）で置き換えると、OLS推定量は正規ではなく t分布 に従う。
\[ \frac{\hat\beta_j - \beta_j}{\sqrt{\hat\sigma^2 (X'X)^{-1}_{jj}}} \sim t_{\,n-k} \qquad \text{where}\quad \hat\sigma^2 = \frac{\sum_i^n \hat u_i^2}{n-k} = \frac{\hat{\mathbf{u}}'\hat{\mathbf{u}}}{n-k} \]
t分布は、標本サイズが小さく母標準偏差が未知の状況で、正規母集団の平均を推定するときに生じる。t分布は正規分布と同様に左右対称・釣鐘型だが、裾が厚い（heavier tails） 。標本サイズ \(n\) が大きくなるにつれ、正規分布に近づく。
原典 P.32 脚注8。
これで OLS推定量の分布を導出できた。いよいよ統計的推論を行う準備が整った 。
SECTION 04
仮説検定 ― t検定の3手続き
真のパラメータが \(A\) かどうかを検定する。基本のアイデアは
帰無仮説 \(H_0\) の確率を計算し、小さすぎれば（\(p\) 未満なら）\(H_0\) を棄却する こと。
手続きは3つあるが、いずれも同じ結論に至る 。
真のパラメータが \(A\) か否かを検定しよう。数式で書けば「\(H_0:\ \beta_j = A\)」となり、これを帰無仮説（null hypothesis） と呼ぶ。経済学者は通常「\(H_0:\ \beta_j = 0\)」（すなわち \(A=0\)）を検定する。これは「\(x_j\) は \(y\) に因果的影響を持たない」という仮説である。
基本のアイデア： \(H_0\) の確率を計算し、それが小さすぎる（\(p\) 未満）なら \(H_0\) を棄却する。有意水準 \(p\) ― これを下回れば帰無仮説が棄却される確率の閾値 ― は通常 \(p = 10\%,\ 5\%,\ 1\%\) に設定される。
手続き1 ― 信頼区間（CI）を使う
\(\beta_j\) の \((100-p)\%\) 信頼区間は次のように計算できる。
\[ \hat\beta_j \pm c \cdot se(\hat\beta_j) \]
\(c\) は t表における \(p/2\,\%\) の臨界値（多くの教科書は巻末にこの表を載せる）。標準誤差は次式。
\[ se(\hat\beta_j) = \sqrt{\hat\sigma^2 (X'X)^{-1}_{jj}} \]
信頼区間は、真のパラメータが \((100-p)\%\) の確率でこの区間内に存在することを意味する。
もし \(A\) が信頼区間の外 にあれば、\(\beta_j = A\) となる確率は \(p\%\) 未満であり、\(\beta_j\) は \(A\) と有意に異なる （帰無仮説を棄却）と結論できる。そうでなければ帰無仮説を採択する（棄却しない）。
手続き2 ― t統計量を使う
\[ t\text{-statistics} = \frac{\hat\beta_j - A}{se(\hat\beta_j)} \]
t表で \(p/2\,\%\) の臨界値 \(c\) を見つける。計算した t統計量が絶対値で \(c\) より大きければ、\(\beta_j\) は \(A\) と有意に異なる（帰無仮説 \(\beta_j = A\) を棄却）と結論できる。そうでなければ帰無仮説を採択する。
手続き3 ― p値を使う
同じく t統計量 \(\dfrac{\hat\beta_j - A}{se(\hat\beta_j)}\) を計算する。t表でこの t統計量に対応する確率を見つけ、それを2倍 する。これが p値（p-value） であり、その t統計量を観測する確率を示す。
p値が有意水準 \(p\) より小さければ、\(\beta_j\) は \(A\) と有意に異なる（帰無仮説 \(\beta_j = A\) を棄却）と結論できる。そうでなければ帰無仮説を採択する。
数値例
次の推定結果が得られたとする（括弧内は標準誤差）。
\[ y_i = \underset{(0.25)}{1.5} + \underset{(1.3)}{5.2}\,x_i \qquad N = 30 \]
帰無仮説 \(H_0:\ \beta_2 = 0\) を \(p = 5\%\) で検定する。自由度は \(30-2=28\)、\(p = 0.05\) なので、t表における臨界値 \(c\) は 2.048 である。なお、\(p = 5\%\) かつ \(n-k > 20\) なら \(c\) はおよそ 2 と覚えておくと便利である。
手続き1：信頼区間
95% CI は \(5.2 \pm 2.048\times 1.3 = [2.53,\ 7.86]\)。ここでゼロは区間の外にある。よって \(H_0\) を棄却でき、\(x\) の係数はゼロと有意に異なると結論する。
手続き2：t統計量
\(\dfrac{\hat\beta_j - A}{se(\hat\beta_j)} = \dfrac{5.2-0}{1.3} = 4.0\)。これは絶対値で臨界値 2.048 より大きく、\(t=4.0\) を得る確率は 5% 未満を意味する。よって \(H_0\) を棄却できる。
手続き3：p値
自由度 28 で \(t=4.0\) に対応する p値を求める（一般に計算機を使うべき）。p値 \(= 0.00042\) となり、有意水準 \(p = 5\%\) を大きく下回る。よって \(H_0\) を棄却できる。
Stata では次のように入力する。
loc p = 2*ttail(28,4)
原典 P.33 脚注9。
SECTION 05
検定力と2種類の誤り
t検定が \(H_0\) を棄却しないからといって「影響はゼロ」と結論するのは誤りになりうる。
それは検定力（power） に依存する。誤った決定には
第一種の誤り（偽陽性） と第二種の誤り（偽陰性） の2つがある。
x の係数＝0 という帰無仮説を t検定が棄却しないとき（表に「星（star）」記号が付かないとき）、x の影響はゼロだと結論する人がいる。だがこれは常に正しいとは限らない。それは検定力（power of a test）に依存する。
仮説検定は、帰無仮説の棄却または非棄却のいずれかに至る。正しい決定 は、\(H_0\) が偽のときに \(H_0\) を棄却する場合か、\(H_0\) が真のときに \(H_0\) を棄却しない場合である。有意性検定には、2つの誤った決定がありうる。
Type I error
第一種の誤り ― 偽陽性（false positive）
\(H_0\) が真 なのに \(H_0\) を棄却 する。本当は影響がないのに「影響あり」と誤って判定する。
Type II error
第二種の誤り ― 偽陰性（false negative）
\(H_0\) が偽 なのに \(H_0\) を棄却しない 。本当は影響があるのに「影響なし」と見逃す。
4つの状況の表現①（決定 × 真実）
4つの状況を表す一般的な表現が2つある。一つ目は、自分の決定と帰無仮説の真偽を組み合わせる表である。
表1 決定と真実（\(H_0\): x has no impact）
自分の決定
\(H_0\) が真（x has no impact）
\(H_0\) が偽（x has impact）
\(H_0\) を採択（Accept \(H_0\)）
正しい決定（Correct） 第二種の誤り（Type II）
\(H_0\) を棄却（Reject \(H_0\)）
第一種の誤り（Type I） 正しい決定（Correct）
4つの状況の表現②（混同行列 / Confusion matrix）
もう一つは、機械学習でも用いられる混同行列（confusion matrix） の形である。検定対象を \(H_0:\ \beta = 0\) とする。
表2 混同行列（\(H_0\): β = 0）
自分の決定
真実：\(H_0\) は誤り（\(\beta \neq 0\)）
真実：\(H_0\) は正しい（\(\beta = 0\)）
陽性 Positive＝\(H_0\) を棄却、\(\beta\) は有意
真陽性（True positive） 偽陽性（False positive）
陰性 Negative＝\(H_0\) を採択、\(\beta\) は非有意
偽陰性（False negative） 真陰性（True negative）
確率の対応関係
\(H_0\) is true
\(H_0\) が真のとき
正しい決定をする確率 \(= 1 -\) 有意水準 \(=\) 90%, 95%, 99% など
\(\Pr[\text{第一種の誤り}] =\) 有意水準（0.01, 0.05, 0.10 など）
\(H_0\) is false
\(H_0\) が偽のとき
正しい決定をする確率 \(=\) 検定力（Power）
\(\Pr[\text{第二種の誤り}] = 1 -\) Power
2つの誤りはトレードオフの関係にある
理想的には両方の誤りの確率が低いことが望ましい。だが実際には、一方の誤りの確率を下げると、もう一方の誤りの確率が上がる 。
なぜトレードオフか。 第一種の誤りを下げようと、有意水準を極端に低く（たとえば 0.00001%）設定したとしよう。この場合、ほとんどの係数がゼロと有意には異ならないと判定される（星記号が付かない）。すなわち \(H_0\)（x の影響＝0）を採択することになる。これは x が実際には影響を持つとき問題になる。なぜなら、誤った決定をしやすくなる（\(\Pr[\text{第二種の誤り}]\) が大きくなる）からである。
古典的な解決策 は、第一種の誤りの確率を特定の水準（通常 0.05）に固定し、第二種の誤りの確率は指定しないままにすることである。検定力の導出は Cameron, ch.7.6 で説明されており、Stata は検定力計算のコマンドを提供している。
検定力が高い（＝第二種の誤りの確率が低い）とわかれば、t検定が \(H_0:\ \beta = 0\) を棄却しないときに「\(\beta\) はゼロである」と結論してよい。そうでなければ結論すべきでない。「\(\beta\) はゼロと有意に異ならない」とは言えるが、「\(\beta\) はゼロである」「x は y に影響しない」とは結論すべきでない 。
SECTION 06
多重検定のq値・F検定・Gauss-Markov
回帰を多数走らせると、偶然だけで「有意」が出てしまう。これを補正するのがq値 。
複数の仮説を同時に検定するにはF検定 。そして OLS が
最良線形不偏推定量（BLUE） であることを保証するのが Gauss-Markov 定理である。
多重回帰の検定 ― q値（multiple testing）
幼少期（0〜2歳）の栄養が15歳時点の学業成績に与える効果に関心があるとしよう。これを調べるため、異なるアウトカム変数（IQ スコア、数学のスコア、英語のスコアなど）を用いて、10個の別々の回帰を推定する。
\[ y_{si} = \beta_{s0} + \beta_{s1}\,\text{Nutrition}_i + \beta_s X_i + u_{si} \qquad (i = 1,2,\dots,n) \]
\(s\ (s=1,2,\dots,10)\) はアウトカム変数の種類、\(i\) は生徒を表す。
いま、栄養が学業成績にまったく効果を持たない （すなわちすべての \(s\) で \(\beta_{s1}=0\)）と仮定する。標準的な \(p < 0.1\) の閾値を使うと、平均していくつの \(\beta_{s1}\) が統計的に有意になるだろうか。
Expected number of false positives
1 = 10 × 10%
答えは 1 ＝ 10個のアウトカム × 10% の第一種の誤り（偽陽性）の確率。つまり、偶然だけで 、栄養が何らかの学業成績に有効だと誤って結論してしまう可能性がある。
このような問題を避けるには q値（q-value） を使える。これは多重検定を直接考慮した調整済みのp値である。
偽発見率（false discovery rate） の期待値が 10% であることを意味する。偽発見率＝すべての陽性結果のうち偽陽性が占める割合。
すなわち「この q値で有意と宣言された全結果のうち、10% が偽陽性と期待される」。
第一種の誤りの確率 が 10% であることを意味する。すなわち、真実が陰性（negative）のときに偽陽性となる割合が 10%。
複数の仮説を同時に検定 ― F検定
t検定は単一の仮説の検定に使える。では複数の仮説を同時に（jointly） 検定するにはどうするか。たとえば \(H_0:\ \beta_1 = \beta_2 = \beta_3 = 0\) をどう検定するか。3つの別々の t検定を使うのは適切でない。代わりに F検定 が必要になる。
（例：\(H_0:\ \beta_1 + \beta_2 = 0\)、\(H_0:\ \beta_1 = \beta_2 + \beta_3\) なども扱える。）
F検定を行うには、制約なしモデル（unrestricted） と制約ありモデル（restricted） を定義しなければならない。
\[ \textbf{制約なし: }\ y_i = \beta_1 + \beta_2 x_{2i} + \beta_3 x_{3i} + \beta_4 x_{4i} + \beta_5 x_{5i} + \cdots + \beta_k x_{ki} + u_i \]
\[ \textbf{制約あり: }\ y_i = 0 + 0\cdot x_{2i} + 0\cdot x_{3i} + \beta_4 x_{4i} + \beta_5 x_{5i} + \cdots + \beta_k x_{ki} + u_i \]
説明変数のリストから定数項・\(x_{2i}\)・\(x_{3i}\) を落とす（drop）。
OLSモデルの仮定の下で、かつ誤差項の正規性を仮定するか中心極限定理を持ち出すならば、次の比が、\(q\)（制約の数。上の例では \(q=3\)）と \(n-k\) を自由度とする F分布に従うことが示せる。
\[ F\text{-statistic} = \frac{(SSE_r - SSE_{ur})\,/\,q}{SSE_{ur}\,/\,(n-k)} \sim F_{\,q,\ n-k} \]
\(SSE_r\) は制約ありモデルの残差平方和、\(SSE_{ur}\) は制約なしモデルの残差平方和。
計算された F統計量が、右側の裾の棄却域（rejection region） に落ちるほど大きければ、帰無仮説は棄却される。
Gauss-Markov 定理
仮定 OLS.1 〜 OLS.5 の下で、OLS推定量は最良線形不偏推定量（Best Linear Unbiased Estimator, BLUE） である。
Best
最良 ― 推定係数の分散（標準誤差）が最小
推定された係数の分散（標準誤差）が最も小さい、という意味である。
Lin
線形 ― 推定量が y の線形関数
推定量は \(y\) の線形関数である。OLS推定量 \(\hat{\boldsymbol\beta} = (X'X)^{-1}X'\mathbf{y}\) において、従属変数 \(\mathbf{y}\) が線形に入っている。これが「線形」の意味である。
Unb
不偏 ― すでに学んだ通り
不偏（Unbiased）の意味は、すでに学んだ通りである。
証明：Hayashi, p.29 を参照。出典：原典 P.35。
SECTION 07
一致性（Consistency）
標本サイズが無限に大きくなるとき、OLS推定量は真値に確率1で限りなく近づく 。
これが一致性（consistency） である。不偏性とは異なり、
同分散の仮定 OLS.5 を必要としない 。
仮定 OLS.1 〜 OLS.4 の下で、\(n\to\infty\) のとき次が成り立つ（\(\varepsilon\) は非常に小さな数）。
\[ \Pr\big[\,|\hat{\boldsymbol\beta} - \boldsymbol\beta| < \varepsilon\,\big] \to 1 \qquad (n\to\infty) \]
すなわち、確率極限（probability limits, plim）を用いて次のように書ける。
\[ \mathrm{plim}\,(\hat{\boldsymbol\beta}) = \boldsymbol\beta \]
これが一致性（consistency）の概念である。証明は Wooldridge, IE, Ch.5 を参照。
言葉で言えば、標本サイズが大きいとき、OLS推定量は真のパラメータと一致する 。なお、一致性を示すのに仮定 OLS.5（同分散かつ無相関な誤差）は不要 である点に注意。
不偏性と一致性の違い
平均 に関する性質 ― \(E(\hat{\boldsymbol\beta})\)。標本サイズに依存しない 性質（有限標本の性質, finite sample property）。
\(\hat{\boldsymbol\beta}\) の分布 に関する性質 ― \(\hat{\boldsymbol\beta}\) が真値の周りに密に集中する 。
大標本（無限標本）の下での性質（large/infinite sample property）。
Unbiasedness refers to mean (\(E(\hat{\boldsymbol\beta})\)), while consistency refers to "distribution" of \(\hat{\boldsymbol\beta}\) (\(\hat{\boldsymbol\beta}\) will be tightly concentrated around true values). Unbiasedness is a property that does not depend on the sample size (finite sample property), while consistency is a property under large (infinite) samples.
不偏性は平均（\(E(\hat{\boldsymbol\beta})\)）に関わるのに対し、一致性は \(\hat{\boldsymbol\beta}\) の「分布」に関わる（\(\hat{\boldsymbol\beta}\) は真値の周りに密に集中する）。不偏性は標本サイズに依存しない性質（有限標本の性質）だが、一致性は大標本（無限標本）の下での性質である。
一致性の直観的な図解（標本サイズが大きくなるほど推定量の分布が真値に集中していく様子）は、原典本文には独立した図として掲げられていない。概念は上記 \(\Pr[\,|\hat{\boldsymbol\beta}-\boldsymbol\beta|<\varepsilon\,]\to 1\) の式が表す通りである。
SECTION 08
出典・参考
本章で参照された文献・教材
Wooldridge, J. M., Introductory Econometrics: A Modern Approach （IE）, Ch.4, 5（本章全体の参照）。Ch.3 appendix（誤差項正規性の下での分布の証明）、Ch.5（一致性の証明）。
Hayashi, F., Econometrics ― p.29（分散共分散行列および Gauss-Markov 定理の証明）、p.30（\(\hat\sigma^2\) が不偏である証明）、ch.2 p.114（中心極限定理による漸近正規性の証明）。
Cameron, A. C. ― ch.7.6（検定力の導出）。
Udacity 講座（t分布臨界値の表およびp値の解説）：udacity.com/course/viewer ― c-st095
出典：原典 P.29–37。t分布臨界値表（Table B）は原典 P.37 に掲載（自由度 df × 裾確率 p、信頼水準 C 付き）。
原典 P.37 の Table B（t distribution critical values） は、点 \(t^*\) より上に確率 \(p\)、\(-t^*\) と \(t^*\) の間に確率 \(C\) が来るときの臨界値を、自由度（df = 1〜1000, ∞）× 裾確率 \(p\)（.25〜.0005）で与える数表である。たとえば §04 の数値例で用いた「自由度 28・\(p/2 = 0.025\) → 臨界値 2.048」はこの表から読み取れる。数表そのものは本ページでは再掲しない（原典 P.37 を参照）。
OLS ― 係数の推定
Chapter 7
OLS ― 実務上の論点