推定量には「よい推定量」の条件がある。不偏性・有効性・一致性の3性質を押さえ、大標本でのふるまい（漸近的性質）を理解することで、ばかげた推定量を排除できる。その土台の上に、仮説検定の3つの手順を積み上げる。
独立同一分布（independent and identically distributed; i.i.d.） とは、各確率変数が同一の確率分布に従い、かつすべてが互いに独立であることをいう。
たとえば、無作為に選ばれた個人 #1 と #2 について考えよう。
真のパラメータ \(\theta\) の推定量 \(W\) が 不偏（unbiased） であるとは、 \(E(W) = \theta\) が成り立つことをいう。
母集団の平均を \(\mu\)、分散を \(\sigma^2\) とする。この母集団から無作為標本 \(\{Y_1, Y_2, \ldots, Y_n\}\) を抽出した場合、母平均 \(\mu\) と母分散 \(\sigma^2\) の不偏推定量はそれぞれ次のように与えられる。
これら2つの推定量が不偏であることは、次の式で確認できる。
\(\theta\) の2つの不偏推定量 \(W_1\) と \(W_2\) があるとき、\(\mathrm{Var}(W_1) < \mathrm{Var}(W_2)\) ならば \(W_1\) は \(W_2\) より有効（efficient）であるという。
例： \(\mu\) の推定量として、第1観測値 \(Y_1\) と標本平均 \(\bar{Y}\) を比較しよう。どちらも不偏推定量であるが（\(E(Y_1) = \mu\)、\(E(\bar{Y}) = \mu\)）、標本平均 \(\bar{Y}\) のほうがより有効である。なぜなら \(\mathrm{Var}(\bar{Y}) = \sigma^2/n < \sigma^2 = \mathrm{Var}(Y_1)\) だからである（\(n > 1\) のとき）。
不偏性・有効性は有限標本における性質である。これに対して、漸近（大標本）的性質（asymptotic / large sample property）は、標本サイズ \(n \to \infty\) のときの推定量のふるまいを記述する。
原典では、漸近的性質として 一致性・大数の法則・中心極限定理 の3つが順に扱われる。
\(n \to \infty\) のとき、推定量 \(W_n\) が真のパラメータ \(\theta\) に確率収束する。
標本平均は一致推定量である（\(\mathrm{plim}(\bar{Y}) = \mu\)）。一致性を支える基本定理。
標本サイズが大きいとき、標本平均の分布は母集団の形によらず正規分布に近づく。
\(\theta\) の推定量 \(W_n\) が一致（consistent）であるとは、 \(n \to \infty\) のとき \(P(|W_n - \theta| > \varepsilon) \to 0\) が任意の \(\varepsilon > 0\) に対して成り立つことをいう。 略記すると \(\mathrm{plim}(W_n) = \theta\)。
略記：\(\mathrm{plim}(W_n) = \theta\)（確率極限、probability limit）
言葉で言い換えると、標本サイズが増えるにつれて \(W_n\) は真の値 \(\theta\) の周りにますます集中していく。
別の言い方をすれば、ある推定量が不偏（\(E(W) = \theta\)）であり、かつその分散がゼロに収束（\(\mathrm{Var}(W) \to 0\)）するならば、その推定量は一致推定量となる。
確率極限には次の重要な性質がある。
ただし \(g(\cdot)\) は連続関数。
例：標本分散と標本標準偏差。 標本分散 \(S^2 = \frac{1}{n-1}\sum_i(Y_i - \bar{Y})^2\) は真の分散 \(\sigma^2\) の不偏推定量である。一方、その平方根 \(S = \sqrt{S^2}\) は真の標準偏差 \(\sigma\) の不偏推定量ではない（\(E(\sqrt{S^2}) \neq \sigma\)。平方根は非線形関数であり、Jensenの不等式から \(E(\sqrt{S^2}) \leq \sqrt{E(S^2)} = \sigma\) となるため、過小推定になる）。しかし \(\mathrm{plim}\,g(W_n) = g(\mathrm{plim}\,W_n)\) が成り立つので、\(S^2\) も \(S\) もともに一致推定量である。
\(S^2\) は \(\sigma^2\) の不偏推定量だから \(E(S^2) = \sigma^2\)。しかし平方根は凹関数なので、Jensenの不等式から \(E(\sqrt{S^2}) \leq \sqrt{E(S^2)} = \sigma\) となる。よって \(S\) は \(\sigma\) を系統的に過小推定する（偏りがある）。すべての母集団分布に対して不偏となる標準偏差の推定量は存在しない（偏りは分布の形状に依存する）。ただし正規分布を仮定する場合、補正係数を用いた不偏推定量が知られている。
大数の法則（LLN）：標本平均は一致推定量である。すなわち、 \(\mathrm{plim}(\bar{Y}) = \mu\)。
言葉で言えば、標本サイズを増やすほど標本平均 \(\bar{Y}\) は真の母平均 \(\mu\) の周りに集中していく。大数の法則と連続関数の確率極限の性質を組み合わせると \(\mathrm{plim}\, g(W_n) = g(\mathrm{plim}\, W_n)\) も成り立つ。
母集団の分布の形状によらず、標本サイズ \(n\) が大きくなると、標本平均 \(\bar{Y}\) の標本分布は正規分布に近づく。これが中心極限定理（CLT）である。
標準化すると、次のように標準正規分布に近づく。
\(n\) が大きくなるにつれて、\(\bar{Y}\) の分布は真の平均 \(\mu\) の周りにますます集中していく。
さらに、\(\bar{Y}\) の分布は正規分布に近づく。
ベルヌーイ分布（Bernoulli distribution）は、確率 \(p\) で値 1、確率 \(1 - p\) で値 0 をとる分布である。
母集団の平均 \(\mu\) がある値 \(\mu_0\) に等しいかどうかを検定したいとする。これを帰無仮説（null hypothesis）と呼び、\(H_0 : \mu = \mu_0\) と表記する。
中心極限定理によれば、\(n\) が大きいとき \(\bar{Y}\) の分布は正規分布に近似できる。帰無仮説が正しければ、
観測された \(\bar{Y}\) の値が \(N(\mu_0, \sigma^2/n)\) の形状に照らして稀（rare）であるならば、帰無仮説は正しくないと判断する。
実際には真の \(\sigma\) は既知でないため、推定値で代替する。\(\sigma\) を推定値で置き換えると、分布は正規分布からt分布（t-distribution）に変わる（ただし \(n\) が大きければ両者の違いは無視できる）。
母平均の \((100 - p)\%\) 信頼区間を構築し、帰無仮説の値 \(\mu_0\) がその外に落ちれば帰無仮説を棄却する。
まず標準誤差 \(sd\) を計算する。
ここで \(S^2 = \frac{1}{n-1}\sum_i(Y_i - \bar{Y})^2\) は標本分散。
次に、t分布における \(p/2\,\%\) 点（critical value）を \(c\) とする。母平均の \((100 - p)\%\) 信頼区間は次のように表される。
t統計量を計算し、その絶対値が臨界値 \(c\) を超えるかどうかで帰無仮説を棄却するかを決める。
t統計量は次のように計算する。
t分布表から \(p/2\,\%\) 点に対応する臨界値 \(c\) を求める。
目安：\(p = 5\%\)、\(n > 20\) のとき、\(c \approx 2\)。
原典 P.18 には 自由度 14 のときの t分布のグラフが掲載されている。白い部分の面積が 95% にあたり、臨界値 \(\pm 2.145\) の外側（左右合わせて 5%、片側 2.5%）と \(\pm 2.977\) の外側（左右合わせて 1%、片側 0.5%）が棄却域として示されている。図にはこの例の観測 t統計量 \(-1.29\) も示されており、これは棄却域に入らない（帰無仮説を棄却できない）。標本が大きくなるほど t分布は標準正規分布に近づき、臨界値は約 2（標準正規分布では 1.96）に収束する。
p値とは、帰無仮説が正しいと仮定したもとで、実際に観測された t統計量の絶対値以上の値が得られる確率（両側）のことである。
まず t統計量を計算する。
次に、t分布表においてこの t統計量に対応する確率を求め、それを2倍する。これが p値である。
| 手順 | 計算するもの | 棄却条件 |
|---|---|---|
| 1. 信頼区間 | \((100-p)\%\) CI \(= [\bar{Y} - c\cdot sd,\; \bar{Y} + c\cdot sd]\) | \(\mu_0\) が CI の外にある |
| 2. t統計量 | \(t = (\bar{Y} - \mu_0)/sd\) | \(|t| > c\) |
| 3. p値 | t統計量に対応する確率×2 | p値 \(< p\) |