分散共分散行列は対角要素の分散要素と、非対角要素の共分散要素からなる。このうち分散要素が全て1、共分散要素がすべて一定である次の形式の行列の固有値を計算する。
\[ \Sigma= \begin{bmatrix} 1 & \rho & &\cdots & \rho\\ \rho & 1 & &\cdots & \rho\\ \vdots & \vdots & & \ddots & \\ \rho & \rho & & & 1 \end{bmatrix} =(1-\rho)I+\rho\boldsymbol{1}\boldsymbol{1}^\top\]
行列のサイズは\(d\times d\)とする。\(I\)は\(d\times d\)単位行列で\(\boldsymbol{1}\)は要素がすべて1の\(d\times 1\)ベクトルとする。従って\(\boldsymbol{1}\boldsymbol{1}^\top\)は要素がすべて1の行列を表す。
固有値
固有値を求める基本的な操作として次の方程式を考える。
\[ |\lambda I-\Sigma|=0\]
書き下すと、
\[ \phi(\lambda)= \left|\begin{matrix} \lambda-1 & -\rho & &\cdots & -\rho\\ -\rho & \lambda-1 & &\cdots & -\rho\\ \vdots & \vdots & & \ddots & \\ -\rho & -\rho & & & \lambda-1 \end{matrix}\right|=0\]
この行列式を計算すればよい。この行列は各列の和が全て等しいから、第１行目に第２行めから第\(d\)行目までを全て足すことにより、
\[ \phi(\lambda)=(\lambda-1-\rho (d-1)) \left|\begin{matrix} 1 & 1 & &\cdots & 1\\ -\rho & \lambda-1 & &\cdots & -\rho\\ \vdots & \vdots & & \ddots & \\ -\rho & -\rho & & & \lambda-1 \end{matrix}\right|\]
残りの行列式の中身で、第１列目の\(-\rho\)をゼロにすることを考える。これには第１行目を\(\rho\)倍して第２列目から第\(d\)行目まで足せばよい。
\[ \phi(\lambda)=(\lambda-1-\rho (d-1)) \left|\begin{matrix} 1 & 1 & &\cdots & 1\\ 0 & \lambda-1+\rho & &\cdots & 0\\ \vdots & \vdots & & \ddots & \\ 0 & 0 & & & \lambda-1+\rho \end{matrix}\right|\]
この段階で右下\((d-1)\times (d-1)\)要素の非対角成分は全てゼロになった。後は\((1,1)\)要素の余因子展開を考えることにより、
\[ \rho(\lambda)=(\lambda-1-\rho (d-1))(\lambda-1+\rho)^{d-1}\]
ということで\(\Sigma\)の固有値は\(\lambda=1+\rho(d-1)\)と\(1-\rho\)であることがわかった。固有値\(1-\rho\)は\(d-1\)重根である。
なお、\(\rho\gt 0\)においては\(1+\rho(d-1)>1-\rho\)が成立している。大きな最大固有値が１個と小さい固有値がたくさんある構造であるといえる。
固有ベクトル
標準的な手続きとして
\[ (\lambda I-\Sigma)x=0\]
を解くことによって固有ベクトルは求められる。\(\lambda=1+\rho(d-1)\)のとき、
\[ \begin{bmatrix} \rho(d-1) & -\rho & &\cdots & -\rho\\ -\rho & \rho(d-1) & &\cdots & -\rho\\ \vdots & \vdots & & \ddots & \\ -\rho & -\rho & & & \rho(d-1) \end{bmatrix}x=0\]
を満たすものが固有ベクトル。天下り的に\(x=\boldsymbol{1}\)を試すと、これはこの式を満たしている。従って要素がすべて1のベクトルとその定数倍が\(\lambda=1+\rho(d-1)\)に対応する固有ベクトルということになる。
\(\lambda=1-\rho\)のとき、
\[ \begin{bmatrix} -\rho & -\rho & &\cdots & -\rho\\ -\rho & -\rho & &\cdots & -\rho\\ \vdots & \vdots & & \ddots & \\ -\rho & -\rho & & & -\rho \end{bmatrix}x=0\]
これは\(\boldsymbol{1}^\top x=0\)という方程式に等しく、\(\lambda=1+\rho(d-1)\)の固有ベクトル\(\boldsymbol{1}\)と直交しているものすべてが\(\lambda=1-\rho\)の固有値となる。実際、そのようなベクトルにおいて\(\Sigma x=(1-\rho)x+\rho\boldsymbol{1}\boldsymbol{1}^\top x=(1-\rho)x\)が成立する。(固有ベクトルの定義！)
固有ベクトルを全て上げろと言われた場合の書き方はいくつもある。一例として
\[ \begin{align} x_1&=(1, -1, 0,\dots,0)\\ x_2&=(0, 1, -1,\dots,0)\\ &\vdots\\ x_{d-1}&=(0,\dots,0,1,-1)\\ \end{align}\]
というように１つの要素が\(+1\)で1つの要素が\(-1\)のベクトルは全て\(\lambda=1-\rho\)に対応する固有ベクトル。あとはこれらを独立になるように配置してやればよい。
もちろん配置の仕方は１通りではないし線形代数的には無限の表し方がある。