統計の復習 ― Review of statistics

Spring 2026 ／ Kentaro Kawasaki

［参考文献］Wooldridge, IE, Appendix C

独立同一分布（i.i.d.）Independent and identically distributed (i.i.d.)

各確率変数が他のすべての確率変数と同一の確率分布をもち、かつそれらが相互に独立であるとき、これらの確率変数は独立同一分布（independent and identically distributed, i.i.d.）に従うという。

個体 #1 と個体 #2 は無作為に選ばれているので、#1 の値は #2 について何の情報内容ももたない。したがって、両者は独立に分布（independently distributed）している。

また #1 と #2 は同一の分布から得られている。すなわち、両者は同一に分布（identically distributed）している。

不偏性Unbiasedness

\(\theta\)（真のパラメータ）の推定量 \(W\) は、\(E(W) = \theta\) であるとき不偏（unbiased）であるという。

平均が \(\mu\)、分散が \(\sigma^2\) である母集団から、無作為標本 \(\{Y_1, Y_2, \ldots, Y_n\}\) が抽出されたとする。母平均および母分散に対する不偏推定量は何か。

分母が \(n\) ではなく \(n-1\) であることに注意したい。直観的な理由は、分散を求める前に、1つのパラメータ（\(\bar{Y}\)）を推定しておかなければならないからである。

これらは不偏推定量である。

効率性Efficiency

\(W_1\) と \(W_2\) を \(\theta\) の2つの不偏推定量とする。このとき、

が成り立つならば、\(W_1\) は \(W_2\) に対して効率的（efficient）であるという。

例：\(\theta\) の推定量として \(Y_1\)（最初の観測値）と \(\bar{Y}\) を比べる。いずれも不偏であるが、後者のほうがより効率的である。

漸近（大標本）的性質Asymptotic (large) sample property

漸近（大標本）的性質を調べることで、ばかげた推定量を排除することができる。

一致性Consistency

\(\theta\) の推定量 \(W\) は、

であるとき一致（consistent）であるという（略記すると \(\operatorname{plim}(W_n) = \theta\)）。

言葉で言えば、標本サイズが大きくなるにつれて、\(W_n\) は \(\theta\) のまわりにますます集中していく。

言い換えれば、ある推定量が不偏（\(E(W) = \theta\)）であり、かつその分散がゼロに近づく（\(\mathrm{Var}(W) = 0\)）ならば、\(W\) は一致しているという。

大数の法則Law of large numbers

大数の法則（LLN）：標本平均は一致推定量である。すなわち \(\operatorname{plim}(\bar{Y}) = \mu\)。

例：標本分散

と、その平方根 \(\sqrt{S^2}\) を考える。\(S^2\) は真の分散の不偏推定量であるが、\(\sqrt{S^2}\) は真の標準偏差の偏った推定量⁴である（\(E\big(g(x)\big) \neq g\big(E(x)\big)\)）。しかし、\(\operatorname{plim} g(W_n) = g\big(\operatorname{plim} W_n\big)\) であるため、両者はともに一致推定量である。

中心極限定理（CLT）Central limit theorem (CLT)

\(\{Y_1, Y_2, \ldots, Y_n\}\) を、平均が \(\mu\)、分散が \(\sigma^2\) で与えられる母集団からの無作為標本とする。中心極限定理（CLT）は次のことを述べる。すなわち、\(n\) が大きくなるにつれて、母集団分布の形にかかわらず、\(\bar{Y}\) の分布は平均 \(\mu\)・分散 \(\sigma^2/n\) の正規分布に近づく。

言い換えれば、

は標準正規分布に近づく。

\(n\) が大きいときの \(\bar{Y}\) の標本分布The sampling distribution of \(\bar{Y}\) when \(n\) is large

標本サイズが小さいとき、\(\bar{Y}\) の分布は複雑である。しかし \(n\) が大きいときには、標本分布は単純になる。

1. \(n\) が増えるにつれて、\(\bar{Y}\) の分布は真の平均のまわりにより緊密に集中していく（大数の法則）。
2. さらに、\(\bar{Y}\) の分布は正規分布に近づく（中心極限定理）。

例：\(Y\) がベルヌーイ分布⁵（\(\mu = 0.78\)）に従うときの \(\bar{Y}\) の標本分布。

仮説検定Hypothesis testing

基本的な考え方Basic idea

• 母平均 \(\mu\) が \(\mu_0\) に等しいかどうかを検定したいとする。これは帰無仮説（null hypothesis）と呼ばれ、\(H_0: \mu = \mu_0\) と表される。
• CLT は、\(n\) が大きいとき標本平均 \(\bar{Y}\) の分布が正規分布に近づくことを述べていた。したがって、もし帰無仮説が真であれば、
  \[ \bar{Y} \sim N\!\left(\mu,\ \frac{\sigma^2}{n}\right) = N\!\left(\mu_0,\ \frac{\sigma^2}{n}\right) \]
• もし \(\bar{Y}\) の値が、\(N(\mu_0, \sigma^2/n)\) の形に照らしてまれであることが分かれば、それは帰無仮説が真でないことを含意する。
• 実際には、真の \(\sigma\) は決して分からないので、これを推定しなければならない。真の \(\sigma\) を推定値で置き換えると、分布は \(t\) 分布（t-distribution）になる。これは正規分布とはわずかに異なる（\(n\) が大きいときには、両者の差は無視できるほど小さくなる）。
• いくつかの手続きが利用可能である（それらは本質的に同じものである）。
• いずれの場合も、まず有意確率（significance probability） \(p\) を定めるべきである。計量経済学では、\(p\) は通常 10%・5%・1% のいずれかである。

1. 信頼区間を用いるUse confidence interval

母平均の \((100-p)\%\) 信頼区間（confidence interval）は、

として計算される。ここで \(c\) は \(t\) 分布における \(p/2\,\%\) の臨界値（critical value）を表し、

である。

仮説上の値 \(\mu_0\) がこの信頼区間の外側にあるならば、それは母平均が

\(\mu_0\) である確率が \(p\%\) 未満であること（\(\Pr(\bar{Y} = \mu_0) < p\)）を意味する。この場合、\(\bar{Y}\) は \(\mu_0\) と有意に異なる（significantly different）と結論する（帰無仮説を棄却する）。

そうでなければ、帰無仮説を受容する。

受容は帰無仮説が真であることを意味しない、という点に注意したい。むしろそれは、追加的な証拠にもとづいて後に棄却されるかもしれないという認識のもとで、暫定的に受容されるにすぎない。仮説検定は、帰無仮説を棄却するか、あるいは棄却しそこなうか、という形で提示することができる。

2. \(t\) 統計量を用いるUse t-statistics

• \(t\) 統計量
  \[ \frac{\bar{Y} - \mu_0}{sd} \]
  を計算する。
• \(t\) 表において \(p/2\) に対応する臨界値 \(c\) を見つける。
• もし \(p = 5\%\) かつ \(n > 20\) であれば、\(c\) はおよそ 2 である。
• \(t\) 統計量が絶対値で \(c\) より大きければ、\(\mu\) は \(\mu_0\) と有意に異なると結論できる（帰無仮説 \(H_0: \mu = \mu_0\) を棄却する）。
• そうでなければ、帰無仮説を受容する。

3. \(p\) 値を用いるUse p-value

• \(t\) 統計量
  \[ \frac{\bar{Y} - \mu_0}{sd} \]
  を計算する。
• \(t\) 表において、その \(t\) 統計量に対応する確率を見つけ、それを2倍する。これが \(p\) 値（p-value）である。
• もし \(p\) 値が \(p\) より小さければ、\(\mu\) は \(\mu_0\) と有意に異なると結論できる（帰無仮説 \(H_0: \mu = \mu_0\) を棄却する）。
• そうでなければ、帰無仮説を受容する。