同一個体を複数時点にわたって追跡することで、個体固有・時間不変の未観測要因 \(a_i\) を制御できる。固定効果（FE）・1階差分（FD）・変量効果（RE）の3推定量の論理と使い分け、そして動学パネルが生じさせる新たな内生性問題を体系的に整理する。
パネルデータ（panel data）は、同一の個体（農場・世帯・都市・国など）を複数の時点にわたって追跡したデータである。その最大の利点は、標準的な OLS のような推定量においてバイアスを引き起こしうる、個体固有・時間不変の未観測変数に起因する内生性を制御できる点にある。
パネルデータは、個体識別子（id）と時点（year）が2つのキーとなるデータ構造を持つ。以下は典型的な外観である（原典 P.68 の表より）。
| id | year | y | x |
|---|---|---|---|
| 1 | 2010 | 3.35 | 1.56 |
| 1 | 2011 | 0.69 | 13.26 |
| 1 | 2012 | 0.43 | 5.35 |
| 2 | 2010 | 0.79 | 3.13 |
| 2 | 2011 | 1.80 | 3.74 |
| 2 | 2012 | 1.32 | 2.11 |
| …（以下続く） | |||
本講義では、\(N\) が大きく \(T\) が小さいケース（large \(N\), small \(T\)）に焦点を当てる。\(N\)＝データ単位の数、\(T\)＝時点の数。
反対のケース、たとえば \(N = 5\) か国・\(T = 40\) 年のような場合は、複数の時系列分析（multiple time series analysis）の領域となる。
すべての \(N\) 個体について、データが存在する時点の長さが同一であるパネル。
個体によって観察期間の長さが異なるパネル。実務ではこちらが一般的。
基本モデルは \(y_{it} = \mathbf{x}_{it}\boldsymbol{\beta} + a_i + u_{it}\) である。\(a_i\) を無視して OLS を適用することを Pooled OLS 推定量という。
| 記号 | 呼称・説明 |
|---|---|
| \(i\) | データ単位（個人・農場・世帯・都市・国など）。\(i = 1, \dots, N\) |
| \(t\) | 時点。\(t = 1, \dots, T\) |
| \(a_i\) | 未観測効果（unobserved effects）、または未観測異質性（unobserved heterogeneity）、農場固有の異質性（farm-specific heterogeneity）とも呼ぶ。すべての未観測・個体固有・時間不変（時間添字 \(t\) を持たない点に注意）の、\(y\) に影響する要因を捉える。 |
| \(u_{it}\) | 特異的誤差（idiosyncratic error）。個体・時点双方に固有の誤差。 |
土壌品質（soil quality）と農家の能力（farmer's ability）は時間不変と考えられるため、\(a_i\) に含まれる。
病害圧（pest pressure）は時間不変でないため、\(a_i\) には含まれない。
賃金式においては、観察できない個人の能力が \(a_i\) として代表的に例示される。
\(a_i\) が観察できないため、誤差項 \(v_{it} = a_i + u_{it}\) に吸収される。すると合成誤差項 \(v\) は系列相関（serial correlation）を持つ。
（ケース1）\(a_i\) が \(\mathbf{x}\) と無相関の場合：OLS は一致推定量となる。ただし誤差 \(v\) は系列相関を持つため、Assumption OLS.5 が成立せず、OLS は効率的でなく、標準誤差の通常計算式が誤りとなる。
この相関係数を級内相関（intra-class correlation）という（Wooldridge, 2010, ch.10.6.3）。
\(a_i\) が \(\mathbf{x}\) と自由に相関していると仮定する。連続する2時点間の差分を取ることで \(a_i\) を消去する。
\(a_i\) は \(\mathbf{x}\) と自由に相関していてよい。
\(\mathbf{x}\) は当期および前期の \(u\) と無相関：\(E(x_{it} u_{is}) = 0\) （\(s = t\) および \(s = t-1\) のとき）。
\(y_{it} = \mathbf{x}_{it}\boldsymbol{\beta} + a_i + u_{it}\)
\(y_{i,t-1} = \mathbf{x}_{i,t-1}\boldsymbol{\beta} + a_i + u_{i,t-1}\) を上式から引く
\(\Delta y_{it} = \Delta \mathbf{x}_{it}\boldsymbol{\beta} + \Delta u_{it}\)
差分データが Assumptions OLS.1〜OLS.4 を満たす限り、一致推定量が得られる。これを 1階差分（FD）推定量という。
\(a_i\) が \(\mathbf{x}\) と自由に相関していると仮定する。全期間の個体内平均（within mean）を引く within 変換（demeaning）によって \(a_i\) を消去する。
\(a_i\) は \(\mathbf{x}\) と自由に相関していてよい。
\(\mathbf{x}\) はすべての時点の \(u\) と無相関：\(E(x_{it} u_{is}) = 0\)（\(s = 1, 2, \dots, T\)）。FD の逐次外生性より強い条件。過去・将来の \(u\) すべてから現在の \(\mathbf{x}\) へのフィードバックを排除する。
\(\bar{y}_i = \frac{1}{T}\sum_t y_{it}\)、 \(\bar{\mathbf{x}}_i = \frac{1}{T}\sum_t \mathbf{x}_{it}\)、 \(\bar{u}_i = \frac{1}{T}\sum_t u_{it}\) を求める。すると \(\bar{y}_i = \bar{\mathbf{x}}_i \boldsymbol{\beta} + a_i + \bar{u}_i\)。
\((y_{it} - \bar{y}_i) = (\mathbf{x}_{it} - \bar{\mathbf{x}}_i)\boldsymbol{\beta} + (u_{it} - \bar{u}_i)\)
変換後の式には \(a_i\) が含まれない（within 変換）。OLS により一致推定量が得られる。これを 固定効果（FE）推定量または within 推定量という。
ここで \(\ddot{y}_{it} \equiv y_{it} - \bar{y}_i\) などとする。
ダミー変数を用いた方法：\(y_{it} = \mathbf{x}_{it}\boldsymbol{\beta} + D_i + u_{it}\)（\(D_i\) は各個体のダミー変数）に対して OLS を実行すると、FE と全く同一の結果が得られる。ただし個体数が大きい場合は計算に時間がかかる。
Mundlak の相関変量効果アプローチ（Correlated Random Effects）：次の方程式に OLS を実行すると FE と全く同一の結果が得られる。
ここで \(\bar{\mathbf{x}}_i\) は各説明変数の農場固有の時点平均（farm-specific time averages）。このアプローチは、プロビットモデルなどの非線形モデルでは demeaning や1階差分が困難なため、非線形モデルで頻繁に用いられる。
FE と FD はどちらも未観測効果を除去する代替的な方法である。選択は 特異的誤差 \(u_{it}\) の仮定に依存する。
\(u_{it} = u_{i,t-1} + e_{it}\)（ランダムウォーク）のとき、\(u_{it}\) は前期の \(u\) と正の相関を持つ。しかし、差分 \(\Delta u_{it} = e_{it}\) は系列無相関（\(\mathrm{Cov}(\Delta u_{it}, \Delta u_{i,t-1}) = \mathrm{Cov}(e_{it}, e_{i,t-1}) = 0\) と仮定）であるから、FD 推定量の方が FE より効率的となる。
逆に、\(u_{it} \sim \mathrm{iid}(0, \sigma_u^2)\)（独立同分布: i.i.d.）のとき、差分 \(\Delta u_{it} = u_{it} - u_{i,t-1}\) は系列相関を持つ（\(\mathrm{Cov}(\Delta u_{it}, \Delta u_{i,t-1}) = -\mathrm{Var}(u_{it})\) となる）ため、FE 推定量の方が FD より効率的となる。
厳格外生性が成立していれば、FE と FD はともに一致推定量である。したがって FE と FD の推定値が有意に乖離している場合、厳格外生性の違反が示唆される。
FD の残差 \(\Delta \hat{u}_{it}\) を取得し、\(\Delta \hat{u}_{it}\) を \(\Delta \hat{u}_{i,t-1}\) に回帰して係数が有意かどうかを調べる。系列相関が検出された場合は、FE を使うか、ロバスト標準誤差付きの FD を使うべきである（Wooldridge, 2010, ch.10.6.3）。
固定効果モデルに交互作用項を含める場合で、かつ交互作用される両変数がユニット内で時間変動する（農場固有でない）変数のとき、二重 demeaned 交互作用推定量（double demeaned interaction estimator）を使用すること（Giesselmann and Schmidt-Catran 2022）。
\(a_i\) が \(\mathbf{x}\) と無相関と仮定する（かなり強い仮定）。系列相関を考慮した GLS 推定量が変量効果（RE）推定量である。
単純な OLS はこの場合に不偏となるが、合成残差 \(v_{it} = a_i + u_{it}\) が系列相関を持つため効率的でない。また OLS の通常の分散共分散行列も正しくない（ただしクラスタリングにより修正可能）。効率性を重視するならば、この系列相関を考慮した GLS 推定量を用いる。
\(\lambda = 1 - \left(\dfrac{\sigma_u^2}{\sigma_u^2 + T\sigma_a^2}\right)^{1/2}\)。ここで \(\sigma_u\) は \(u\) の標準偏差、\(\sigma_a\) は \(a\) の標準偏差。
元の方程式から \(\lambda\bar{y}_i = \lambda\bar{\mathbf{x}}_i\boldsymbol{\beta} + \lambda\bar{v}_i\) を引く： \((y_{it} - \lambda\bar{y}_i) = (\mathbf{x}_{it} - \lambda\bar{\mathbf{x}}_i)\boldsymbol{\beta} + (v_{it} - \lambda\bar{v}_i)\)
変換後の残差 \((v_{it} - \lambda\bar{v}_i)\) は系列無相関となるため（証明は長く煩雑。Wooldridge, 2010, p.326 参照）、この OLS が変量効果（RE）推定量となり効率的である。
基本的に FE の方が望ましい選択肢である。RE で使われる「\(a_i\) が \(\mathbf{x}\) と無相関」という仮定はかなり制約的であるため、基本的には FE または FD を試みるべきである。
demeaning または1階差分によって時間不変変数が消去されてしまうため、性別などの時間不変変数のパラメータを直接推定することができない（時間不変変数の処理については次節で扱う）。
FE 推定量は測定誤差（measurement error）問題に敏感である（Griliches and Hausman, 1986, "Errors in Variables in Panel Data," Journal of Econometrics, 31, pp.93–118 参照）。
「線形混合効果モデル（linear mixed-effects models）」（階層線形モデル・多水準モデルとも呼ばれる）は固定効果成分と変量効果成分の両方を持つが、その「固定効果」「変量効果」の意味はパネルデータの手法とは異なる。混合効果モデルにおける「固定効果」はパラメータが定数であることを、「変量効果」はパラメータがランダムであることを意味する。Greene の教科書または Stata マニュアルの "mixed" を参照。
\(y_{it} = \mathbf{x}_{it}\boldsymbol{\beta} + \mathbf{w}_i\boldsymbol{\gamma} + a_i + u_{it}\) のように時間不変変数 \(\mathbf{w}_i\)（例：性別）を含むモデルでは、FE および FD は \(\mathbf{w}_i\) を消去してしまうため \(\boldsymbol{\gamma}\) を直接識別できない。
\(a_i\) は \(\mathbf{x}_{it}\) と相関するが、\(\mathbf{w}_i\) とは相関しないと信じる場合、OLS や RE に頼るのではなく、より良いアプローチとして以下の2段階手続きが考えられる。
\(y_{it} = \mathbf{x}_{it}\boldsymbol{\beta} + a_i^* + u_{it}\) に FE（または FD）を適用し、推定された未観測効果を取得：\(\hat{a}_i^* = \bar{y}_i - \bar{\mathbf{x}}_i\hat{\boldsymbol{\beta}}\)
\(\hat{a}_i^* = \mathbf{w}_i\boldsymbol{\gamma} + a_i\) に対して OLS を実行。これにより \(\boldsymbol{\gamma}\) の一致推定量が得られる。
\(a_i\) が \(\mathbf{x}_{it}\) と相関している場合、FE は厳格外生性が成立している限り有効である。しかし厳格外生性が成立しない場合、FE・FD・RE のいずれも不一致となる。
FD アプローチが要求する条件は \(E(\mathbf{x}_{it} u_{is}) = 0\)（\(s = t\) および \(t-1\)）であり、これは厳格外生性の下で成立する。しかし厳格外生性が成立しないケースが存在する。
\(\mathbf{x}_{it}\) が過去のショックに依存する場合：\(\mathbf{x}_{it} = u_{i,t-1} + e_{it}\)。この場合、\(\mathbf{x}_{it}\) は \(u_{i,t-1}\) と相関するため、逐次外生性が成立しない。
\(\mathbf{x}_{it}\) が \(u_{it}\) と（欠落変数や測定誤差によって）相関している場合：\(E(\mathbf{x}_{it} u_{it}) \neq 0\)。
被説明変数のラグ \(y_{i,t-1}\) を説明変数に含むモデルを動学パネルモデル（dynamic panel data model）という。1階差分を取っても、差分後の残差がラグ従属変数と相関するという新たな内生性問題が生じる。
例：成長モデル。\(y = \log(\mathrm{GDP})\)。
\(a_i\) は消去されるが、差分後の残差 \((u_{it} - u_{i,t-1})\) は \((y_{i,t-1} - y_{i,t-2})\) と一般に相関してしまう。なぜなら \(u_{i,t-1}\) は \(y_{i,t-1}\) に影響するからである（\(y_{i,t-1} = \beta_y y_{i,t-2} + \mathbf{x}_{i,t-1}\boldsymbol{\beta} + a_i + u_{i,t-1}\)）。