Spring 2026 ／ Kentaro Kawasaki
行列代数の復習Review of matrix algebra
［参考文献］Wooldridge, IE, Appendix D
サイズ \(m \times n\) の行列 \(A\) は次の形をもつ。
\[ A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} \]
\(a_{ij}\)（行列 \(A\) の第 \(i\) 行・第 \(j\) 列の要素を表す）
例：もし \(A = \begin{bmatrix} -5 & 10 & 0 & 1 \\ 3 & 2 & -5 & 1 \end{bmatrix}\) ならば、サイズ \(= 2 \times 4\)。\(a_{12} = 10,\ a_{23} = -5\)。
ベクトルVector
行ベクトル（row vector）とは、1 行からなる行列のことである。列ベクトル（column vector）とは、1 列からなる行列のことである。
例：行列 \(C = \begin{bmatrix} 3 & -4 & 8 & 1 \end{bmatrix}\) は \(1 \times 4\) の行ベクトルであり、行列 \(D = \begin{bmatrix} 0 \\ 1 \\ 4 \end{bmatrix}\) は \(3 \times 1\) の列ベクトルである。
行列の加算・減算・スカラー倍Addition, Subtraction and Scalar Multiplication of Matrices
行列の加算と減算が可能なのは、同じサイズをもつ場合に限られる。行列を加減算するには、対応する各成分を加減算する。
例：\(A = \begin{bmatrix} -3 & 2 \\ 2 & 1 \\ 5 & 0 \end{bmatrix}\) および \(B = \begin{bmatrix} 0 & -5/2 \\ 1 & 2 \\ 3 & -1 \end{bmatrix}\) とすると、次のようになる。
\[ 5A - 2B = 5\begin{bmatrix} -3 & 2 \\ 2 & 1 \\ 5 & 0 \end{bmatrix} - 2\begin{bmatrix} 0 & -5/2 \\ 1 & 2 \\ 3 & -1 \end{bmatrix} = \begin{bmatrix} -15 & 10 \\ 10 & 5 \\ 25 & 0 \end{bmatrix} - \begin{bmatrix} 0 & -5 \\ 2 & 4 \\ 6 & -2 \end{bmatrix} = \begin{bmatrix} -15 & 15 \\ 8 & 1 \\ 19 & 2 \end{bmatrix}. \]
\(A,\ B,\ C\) を同じサイズの行列、\(c\) と \(d\) をスカラーとする。
- \(A + B = B + A\)（行列の加算は可換である）
- \((A + B) + C = A + (B + C)\)（行列の加算は結合的である）
- \(cd(A) = c(dA)\)。
- \(c(A + B) = cA + cB\)
行列の積Matrix Multiplication
行列の積を理解するには、まず行ベクトルと列ベクトルの積の取り方を理解しなければならない。もし \(A = \begin{bmatrix} a_{11} , a_{12} , \ldots , a_{1n} \end{bmatrix}\) が \(1 \times n\) の行ベクトルであり、\(B = \begin{bmatrix} b_{11} \\ b_{21} \\ \vdots \\ b_{n1} \end{bmatrix}\) が \(n \times 1\) の列ベクトルであるとき、\(A\) と \(B\) の積は、\(A\) と \(B\) の対応する各成分を掛けて足し合わせて得られるスカラーである。すなわち
\[ AB = \begin{bmatrix} a_{11}, a_{12}, \ldots, a_{1n} \end{bmatrix} \begin{bmatrix} b_{11} \\ b_{21} \\ \vdots \\ b_{n1} \end{bmatrix} = a_{11}b_{11} + a_{12}b_{21} + \ldots + a_{1n}b_{n1}. \]
例：もし \(A = \begin{bmatrix} 1 & -1 & 0 & 4 \end{bmatrix}\) かつ \(B = \begin{bmatrix} 3 \\ -5 \\ 1 \\ -1 \end{bmatrix}\) ならば、
\[ AB = \begin{bmatrix} 1 & -1 & 0 & 4 \end{bmatrix} \begin{bmatrix} 3 \\ -5 \\ 1 \\ -1 \end{bmatrix} = (1)(3) + (-1)(-5) + (0)(1) + 4(-1) = 3 + 5 + 0 - 4 = 4. \]
一般に行列の積は、複数の行と列の積を必要とする。\(A\) が \(m \times n\) 行列、\(B\) が \(n \times p\) 行列であるとき、積 \(C = AB\) は、各要素 \(c_{ij}\) が左の行列 \(A\) の第 \(i\) 行と右の行列 \(B\) の第 \(j\) 列との積からなる行列である。すなわち、
\[ c_{ij} = (\text{$A$ の第 $i$ 行}) \cdot (\text{$B$ の第 $j$ 列}). \]
注意！ 行列の積 \(AB\) が存在するためには、左の行列 \(A\) の列数が右の行列 \(B\) の行数に等しくなければならない。積のサイズは（\(A\) の行数）\(\times\)（\(B\) の列数）となる。
これは次を見ると分かりやすい。
\[ C = \underset{m \times n}{A} \cdot \underset{n \times p}{B} \qquad (\text{$n$ と $n$ が等しくなければならない}) \]
積のサイズ \(= m \times p\)。
例：もし \(A = \begin{bmatrix} 1 & -3 \\ 0 & 2 \end{bmatrix}\) かつ \(B = \begin{bmatrix} 1 & 0 & -2 \\ -1 & 2 & 3 \end{bmatrix}\) ならば、
\[ \begin{aligned} AB &= \begin{bmatrix} 1 & -3 \\ 0 & 2 \end{bmatrix} \begin{bmatrix} 1 & 0 & -2 \\ -1 & 2 & 3 \end{bmatrix} \\[4pt] &= \begin{bmatrix} (1)(1) + (-3)(-1) & (1)(0) + (-3)(2) & (1)(-2) + (-3)(3) \\ (0)(1) + (2)(-1) & (0)(0) + (2)(2) & (0)(-2) + (2)(3) \end{bmatrix} = \begin{bmatrix} 4 & -6 & -11 \\ -2 & 4 & 6 \end{bmatrix} \end{aligned} \]
積 \(AB\) のサイズ \((2 \times 3)\) は、次を見ることで得られる。
\[ \underset{2 \times 2}{A} \cdot \underset{2 \times 3}{B} \qquad (\text{$2$ と $2$ が等しい}) \]
積のサイズ \(2 \times 3\)。
行列の乗法的性質Multiplicative Properties of Matrices
\(A,\ B,\ C\) を、サイズが乗法的に整合する行列、\(c\) をスカラーとする。
- \((AB)C = A(BC)\)（行列の乗法は結合的である）
- \(A(B + C) = AB + AC\)。
- \((A + B)C = AC + BC\)。
- \(c(AB) = (cA)B = A(cB)\)
- 一般に、\(AB \neq BA\)。
単位行列 \(I\)Identity matrix I
\[ I = \begin{bmatrix} 1 & 0 & 0 & \cdots & 0 \\ 0 & 1 & 0 & \cdots & 0 \\ 0 & 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \vdots & \ddots & 0 \\ 0 & 0 & 0 & \cdots & 1 \end{bmatrix}. \]
\(A\) が \(m \times n\) 行列ならば、
\[ AI_n = I_m A = A. \]
転置Transpose
転置の性質。
もし \(A = \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{bmatrix}\) ならば、\(A' = \begin{bmatrix} 1 & 4 \\ 2 & 5 \\ 3 & 6 \end{bmatrix}\)
- \((aA)' = a A'\)
- \((AB)' = B' A'\)
- \((A + B)' = A' + B'\)
もし \(A = A'\) ならば、\(A\) は対称行列（symmetric matrix）である。
逆行列Matrix Inverses
\(n \times n\) 行列 \(A\) の逆行列（inverse）は、存在する場合 \(A^{-1}\) と表記され、次を満たす \(n \times n\) 行列として定義される。
\[ AA^{-1} = A^{-1}A = I, \]
ここで \(I\) は \(n \times n\) の単位行列である。\(A^{-1}\) が一意であることは示すことができる。逆行列は、行数と列数が等しい正方行列（square matrices）についてのみ存在することに注意。
例：\(A^{-1} = \begin{bmatrix} 3/5 & 1/5 \\ -2/5 & 1/5 \end{bmatrix}\) が行列 \(A = \begin{bmatrix} 1 & -1 \\ 2 & 3 \end{bmatrix}\) の逆行列であることを示すには、次を計算する。
\[ A^{-1}A = \begin{bmatrix} 3/5 & 1/5 \\ -2/5 & 1/5 \end{bmatrix} \begin{bmatrix} 1 & -1 \\ 2 & 3 \end{bmatrix} = \begin{bmatrix} 3/5 + 2/5 & -3/5 + 3/5 \\ -2/5 + 2/5 & 2/5 + 3/5 \end{bmatrix} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}. \]
\(AA^{-1} = I\) についても同様の計算で示すことができる。
与えられた \(2 \times 2\) 行列 \(A = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix}\) について、\(A^{-1}\) が存在するのは \(\det(A) \neq 0\) の場合に限られる。これが成り立つとき、この行列の逆行列は次のように定義される。
\[ A^{-1} = \frac{1}{\det(A)} \begin{bmatrix} a_{22} & -a_{12} \\ -a_{21} & a_{11} \end{bmatrix}. \]
\(A^{-1}\) の公式の行列部分は、主対角の要素を入れ替え、副対角の要素の符号を反転させることで得られることに注意。
逆行列の性質。
- \((aA)^{-1} = (1/a) A^{-1}\)
- \((AB)^{-1} = B^{-1} A^{-1}\)
- \((A')^{-1} = (A^{-1})'\)
線形従属Linear dependence
\[ a_1 x_1 + a_2 x_2 + \ldots + a_r x_r = 0 \]
もし 0 でない何らかの \(a\) がこの式を満たすならば、\(x\) たちは線形従属（linearly dependent）である。
行列のランクRank of matrix
行列のランク \(\mathrm{rank}(A)\) とは、\(A\) の線形独立な列の最大個数である。
- \(A\) が \(n \times m\) で、\(\mathrm{rank}(A) = m\) ならば、\(A\) は列フルランク（full column rank）をもつ。
- \(A\) が \(n \times n\) で、\(\mathrm{rank}(A) = n\) ならば、\(A\) は非特異（non-singular）である。
例：\(A = \begin{bmatrix} 1 & 10 \\ 2 & 20 \\ 3 & 30 \end{bmatrix}\), \(B = \begin{bmatrix} 1 & 2 \\ 2 & 2 \\ 3 & -1 \end{bmatrix}\)
二次形式と正値定符号性Quadratic form and Positive definite
\(A\) を \(n \times n\) の対称行列とする。このとき二次形式（quadratic form）は、すべての \(n \times 1\) ベクトル \(x\) について次のように定義される。
\[ x'Ax = \sum_{i} a_{ii} x_i^2 + 2 \sum_{i} \sum_{j>i} a_{ij} x_i x_j \]
- 正値定符号（Positive definite）：\(x = 0\) を除くすべての \(x\) について \(x'Ax > 0\)。
- 半正値定符号、または非負定符号（Positive semi-definite, or nonnegative definite）：\(x = 0\) を除くすべての \(x\) について \(x'Ax \geq 0\)。
例：\(A = \begin{bmatrix} 1 & 3 \\ 3 & 4 \end{bmatrix}\) かつ \(x = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}\) ならば、\(x'Ax = x_1^2 + 4x_2^2 + 2 \cdot 3 \cdot x_1 x_2\)。
\(x\) は任意に選べるため、行列の定符号性を確かめるのは不可能に思えるかもしれない。しかし、対称行列は \(A = C\Lambda C'\) と分解できることに注意しよう。1
したがって、二次形式は \(x'Ax = x'C\Lambda C'x\) と書ける。
\(y = C'x\) とおく。すると \(x'Ax = y'\Lambda y = \sum_i \lambda_i y_i^2\)。
もし \(\lambda_i\) がすべての \(i\) について正ならば、\(y\) によらず――すなわち \(x\) によらず――\(x'Ax\) は正となる。
正値定符号行列の性質（証明は Greene, Appendix A を参照）
- \(A\) が非負定符号ならば、\(|A| \geq 0\)。
証明：行列式は根の積であり、それらは非負である。
ただし逆は成り立たない。たとえば 2 つの負の根をもつ \(2 \times 2\) 行列は、明らかに正値定符号ではないが、正の行列式をもつ。
- \(A\) が正値定符号ならば、\(A^{-1}\) もそうである。
- 単位行列 \(I\) は正値定符号である。
証明：\(x \neq 0\) ならば \(x'Ix = x'x > 0\)。
回帰分析にとって非常に重要な結果は次である。
\(A\) が \(n \times K\) で列フルランクをもち \(n > K\) ならば、\(A'A\) は正値定符号であり、\(AA'\) は非負定符号である。
- \(A\) が正値定符号で \(B\) が非特異行列ならば、\(B'AB\) は正値定符号である。
原典 P.23 には、二次形式 \(x'Ax\)（上記の例にあたる正値定符号の二次形式）が描く下に凸の曲面を示す 3 次元プロット（画像）が掲載されている。
計量経済学で頻出する表現Common expression in econometrics
計量経済学では、\(X'X\) や \(X'u\) のような表現をしばしば用いる。
簡単のため、標本が 3 つだけ（\(N = 3\)）、回帰変数が 2 つだけ（\(k = 2\)）であるとし、次のようにおく。
\[ X = \begin{bmatrix} x_{11} & x_{21} \\ x_{12} & x_{22} \\ x_{13} & x_{23} \end{bmatrix} \quad \text{および} \quad u = \begin{bmatrix} u_1 \\ u_2 \\ u_3 \end{bmatrix} \]
（\(N \times k = 3 \times 2\)） （\(N \times 1 = 3 \times 1\)）
（同じ色は同じ標本を表す）。
この場合、
\[ X'X = \begin{bmatrix} x_{11} & x_{12} & x_{13} \\ x_{21} & x_{22} & x_{23} \end{bmatrix} \begin{bmatrix} x_{11} & x_{21} \\ x_{12} & x_{22} \\ x_{13} & x_{23} \end{bmatrix} = \begin{bmatrix} \sum_{i=1}^{N} x_{1i}^2 & \sum_{i=1}^{N} x_{1i} x_{2i} \\ \sum_{i=1}^{N} x_{1i} x_{2i} & \sum_{i=1}^{N} x_{2i}^2 \end{bmatrix} \]
次元は \(k \times k\) である。
\[ X'u = \begin{bmatrix} x_{11} & x_{12} & x_{13} \\ x_{21} & x_{22} & x_{23} \end{bmatrix} \begin{bmatrix} u_1 \\ u_2 \\ u_3 \end{bmatrix} = \begin{bmatrix} \sum_{i=1}^{N} x_{1i} u_i \\ \sum_{i=1}^{N} x_{2i} u_i \end{bmatrix} \]
次元は \(k \times 1\) である。