問題
確率変数\(X_1,X_2,\dots,X_n,\ Y_1,Y_2,\dots,Y_m\)は独立に正規分布に従い、それぞれ\(X_i\sim N(a\theta,\sigma^2),\ Y_j\sim N(b\theta,\sigma^2)\)とする。(\(i=1,2,\dots,n,\ j=1,2,\dots,m\)) ただし、\(N(\mu,\sigma^2)\)は平均\(\mu\)、分散\(\sigma^2\)の正規分布を表しており\(n,m\)は正の正数、\(a,b>0\)は定数で既知とする。\(\theta,\sigma^2\)は未知パラメータとする。
(1) \(\theta,\sigma^2\)について、\(X_1,X_2,\dots,X_n,Y_1,Y_2,\dots,Y_m\)を全て用いた最尤推定量を求めよ。
(2) 定数\(\alpha,\beta\)を用いて\(\tilde{\theta}=\alpha\overline{X}+\beta\overline{Y}\)と定義する。ただし、\(\overline{X}=(X_1+\dots,X_n)/n,\ \overline{Y}=(Y_1+\dots,Y_m)/n\)である。\(\tilde{\theta}\)の期待値\(E(\tilde{\theta})\)と分散\(V(\tilde{\theta})\)を求めよ。
(3) \(\tilde{\theta}\)が\(\theta\)の不偏推定量となるために\(\alpha,\beta\)が満たす条件は何か。また、不偏推定量となる\(\tilde{\theta}\)が\(V(\tilde{\theta})\)を最小にするときの\(\alpha,\beta\)の値を求めよ。
解答
(1) 地道に尤度を最大化する。尤度はパラメータ\(\theta,\sigma^2\)の元で各\(X_i,Y_j\)が生起する確率を考えればよい。厳密には違うけどみたいなもの。
\[ L(\theta,\sigma^2)=\prod_{i=1}^n\frac1{\sqrt{2\pi\sigma^2}}\exp(-\frac{(X_i-a\theta)^2}{2\sigma^2})\times\prod_{j=1}^m\frac1{\sqrt{2\pi\sigma^2}}\exp(-\frac{(Y_j-b\theta)^2}{2\sigma^2})\]
これの対数を取った対数尤度を最大化する。
\[ \log L(\theta,\sigma^2)=-\frac{n}{2}\log(2\pi\sigma^2)-\sum_{i=1}^n\frac{(X_i-a\theta)^2}{2\sigma^2}-\frac{m}{2}\log(2\pi\sigma^2)-\sum_{j=1}^m\frac{(Y_j-b\theta)^2}{2\sigma^2}\]
\[ \frac{\partial \log L}{\partial \theta}=-\frac1{2\sigma^2}\left(\sum_{i=1}^n2(X_i-a\theta)(-a)+\sum_{j=1}^m(Y_j-b\theta)(-b)\right)=0\]
\[ a\sum_{i=1}^nX_i-a^2n\theta+b\sum_{j=1}^mY_j-b^2m\theta=0\]
\[ \therefore\ \hat{\theta}=\frac{1}{a^2n+b^2m}\left(a\sum_{i=1}^nX_i+b\sum_{j=1}^mY_j\right)\]
これが\(\theta\)の最尤推定量\(\hat{\theta}\)。つぎに分散の方を計算。
\[ \frac{\partial \log L}{\partial \sigma^2}=-\frac{n+m}{2\sigma^2}+\frac{1}{2(\sigma^2)^2}\left(\sum_{i=1}^n(X_i-a\theta)^2+\sum_{j=1}^m(Y_j-b\theta)^2\right)=0\]
\[ -(n+m)\sigma^2+\sum_{i=1}^n(X_i-a\theta)^2+\sum_{j=1}^m(Y_j-b\theta)^2=0\]
\[ \therefore\ \hat{\sigma^2}=\frac{1}{n+m}\left(\sum_{i=1}^n(X_i-a\hat{\theta})^2+\sum_{j=1}^m(Y_j-b\hat{\theta})^2\right)\]
これが\(\sigma^2\)の最尤推定量\(\hat{\sigma^2}\)で両方求まった。\(\hat{\theta}\)を代入して消去してもよいがこれでも十分だろう。
(2) 期待値と分散の性質を使って計算していく。必要な性質は次の2つである。
\[ E(aX_1+bX_2)=aE(X_1)+bE(X_2)\\ V(aX_1+bX_2)=a^2V(X_1)+b^2V(X_2)\quad(X_1,X_2\text{ independent})\]
まずは期待値。
\[ E(\tilde{\theta})=\frac{\alpha}{n}\sum_{i=1}^nE(X_i)+\frac{\beta}{m}\sum_{j=1}^mE(Y_j)\\ =\frac{\alpha}{n}na\theta+\frac{\beta}{m}mb\theta\\ =(\alpha a+\beta b)\theta\]
次に分散。上に挙げた2番目の性質はそれぞれの確率変数が独立でないと使えないが今は独立なので安心して使える。
\[ V(\tilde{\theta})=\frac{\alpha^2}{n^2}\sum_{i=1}^nV(X_i)+\frac{\beta^2}{m^2}\sum_{j=1}^mV(Y_j)\\ =\frac{\alpha^2}{n^2}n\sigma^2+\frac{\beta^2}{m^2}m\sigma^2\\ =\left(\frac{\alpha^2}{n}+\frac{\beta^2}{m}\right)\sigma^2\]
これで求まった。
(3) まず一般的に\(x\)の不偏推定量\(f(X)\)とは\(E(f(X))=x\)を満たすような\(f(X)\)のことである。これより\(\tilde{\theta}\)が不偏推定量となるための条件は前問の結果より直ちに\(\alpha a+\beta b=1\)。
次に、この条件の下で\(V(\tilde{\theta})\)を最小化する。これは条件付き最適化の問題なのでラグランジュの未定乗数法が使える。ちなみに最適化っぽく書いておくと
\[ \min_{\alpha,\beta} \frac{\alpha^2}{n}+\frac{\beta^2}{m}\ \text{subject to }\alpha a+\beta b=1\]
となる。これを解いていく。
\[ L=\frac{\alpha^2}{n}+\frac{\beta^2}{m}-\lambda(\alpha a +\beta b-1)\\ \frac{\partial L}{\partial \alpha}=\frac{2\alpha}{n}-\lambda a=0\\ \frac{\partial L}{\partial \beta}=\frac{2\beta}{m}-\lambda b=0\]
この2式を\(\alpha,\beta\)について解いて\(\alpha a+\beta b=1\)に代入すると、
\[ \frac{a^2n}{2}\lambda+\frac{b^2m}{2}\lambda=1\\ \lambda=\frac{2}{a^2n+b^2m}\]
以上より、これをもとの2式に代入することで
\[ \alpha=\frac{an}{a^2n+b^2m},\ \beta=\frac{bm}{a^2n+b^2m}\]
が得られる。これが答え。(1)で求めた最尤推定量と全く同じ形になるのでここでの最尤推定量は不偏推定量の内分散を最小にするものとしても導くことが出来たというわけ。