問題
(1) 確率変数\(X\)が以下の確率密度関数をもつ確率分布に従うものとする。
\[ f(x)=\left\{\begin{matrix}\sqrt{\frac1{\pi\alpha}}x^{-\frac12}e^{-\frac{x}{\alpha}}&(x>0)\\ 0&(x\leqq 0)\end{matrix}\right.\]
ここで、\(\alpha>0\)はパラメータである。
(1-1) 確率変数\(X\)の期待値を求めよ。
(1-2) 確率変数\(X\)の分散を求めよ。
(1-3) 上記の確率分布を母集団分布としてもつ母集団から\(n\)個の無作為標本\(\mathcal{X}=\{X_1,X_2,\dots,X_n\}\)が得られたとする。パラメータ\(\alpha\)の、\(\mathcal{X}\)に基づく最尤推定量を求めよ。
(1-4) 設問(1-3)で求めた最尤推定量が、パラメータ\(\alpha\)の不偏推定量であるかどうかを理由と共に答えよ。
(2) 確率変数\(X\)が標準正規分布に従うものとする。確率変数\(Y=e^X\)の確率密度関数を求めよ。
(3) 区間\((0,1)\)上の一様分布に従う確率変数\(X\)を、ある関数\(f\)を用いて変数変換する。変換後の確率変数\(Y=f(X)\)が、確率密度関数
\[ p(y)=\left\{\begin{matrix}\lambda e^{-\lambda y}&(y>0)\\ 0&(y\leqq 0)\end{matrix}\right.\]
を持つように関数\(f\)を定めよ。ただし\(\lambda>0\)はパラメータである。
(4) 確率変数\(X,Y\)が次の確率密度関数をもつ同時分布に従うものとする。
\[ p(x,y)=\left\{\begin{matrix}\frac1\pi&(x^2+y^2\leqq 1)\\ 0&(x^2+y^2>1)\end{matrix}\right.\]
このとき、次の変数変換によって得られる確率変数\(Z,W\)は互いに独立な標準正規分布に従うことを示せ。
解答
(1-1) 定義に従って積分を計算する。
\[ \begin{eqnarray}E(X)&=&\int_0^\infty xf(x)dx=\int_0^\infty x\sqrt{\frac1{\pi\alpha}}x^{-\frac12}e^{-\frac{x}{\alpha}}dx\\ &=&\frac1{\sqrt{\pi\alpha}}\int_0^\infty x^{\frac12}e^{-\frac{x}{\alpha}}dx =\frac1{\sqrt{\pi\alpha}}\int_0^\infty x^{\frac12}\left(-\alpha e^{-\frac{x}{\alpha}}\right)'dx\\ &=&\frac1{\sqrt{\pi\alpha}}\left\{\left[x^{\frac12}\left(-\alpha e^{-\frac{x}{\alpha}}\right)\right]_0^\infty+\frac{\alpha}2\int_0^\infty x^{-\frac12}e^{-\frac{x}{\alpha}}dx\right\}\\ &=&\frac1{\sqrt{\pi\alpha}}\left(0+\frac\alpha{2}\cdot\sqrt{\pi\alpha}\right)\\ &=&\frac\alpha{2} \end{eqnarray}\]
最後は\(f(x)\)が確率密度関数であることから
\[ 1=\int_0^\infty f(x)dx=\frac1{\sqrt{\pi\alpha}}\int_0^\infty x^{-\frac12}e^{-\frac{x}{\alpha}}dx\\ \Leftrightarrow \int_0^\infty x^{-\frac12}e^{-\frac{x}{\alpha}}dx=\sqrt{\pi\alpha}\]
を用いた。
(1-2) \(V(X)=E(X^2)-E(X)^2\)を使って計算する。
\[ \begin{eqnarray}E(X^2)&=&\int_0^\infty x^2f(x)dx=\frac1{\sqrt{\pi\alpha}}\int_0^\infty x^{\frac32}e^{-\frac{x}{\alpha}}dx\\ &=&\frac1{\sqrt{\pi\alpha}}\int_0^\infty x^{\frac32}\left(-\alpha e^{-\frac{x}{\alpha}}\right)'dx\\ &=&\frac1{\sqrt{\pi\alpha}}\left\{\left[x^{\frac32}\left(-\alpha e^{-\frac{x}{\alpha}}\right)\right]_0^\infty+\frac{3\alpha}{2}\int_0^\infty x^{\frac12}e^{-\frac{x}{\alpha}}dx\right\}\\ &=&\frac1{\sqrt{\pi\alpha}}\left(0+\frac{3\alpha}{2}\cdot\frac{\alpha}{2}\sqrt{\pi\alpha}\right)\\ &=&\frac{3\alpha^2}{4} \end{eqnarray}\\ \therefore\ V(X)=\frac{3\alpha^2}{4}-\frac{\alpha^2}{4}=\frac{\alpha^2}{2}\]
最後は前問の計算過程を用いた。
(1-3) 機械的に計算する。まず尤度関数\(L(\alpha;\mathcal{X})\)は次のようになる。
\[ L(\alpha;\mathcal{X})=\prod_{i=1}^n\sqrt{\frac1{\pi\alpha}}X_i^{-\frac12}\exp(-\frac{X_i}{\alpha})\]
これより対数尤度が
\[ l(\alpha;\mathcal{X})=\log L(\alpha;\mathcal{X})=-\frac{n}2\log\pi\alpha-\frac12\sum_{i=1}^nX_i-\frac1\alpha\sum_{i=1}^nX_i\]
となり、これを\(\alpha\)で微分してゼロと置くことにより、
\[ \frac{\partial l(\alpha;\mathcal{X})}{\partial\alpha}=-\frac{n}{2\alpha}+\frac1{\alpha^2}\sum_{i=1}^nX_i=0\\ \therefore\ \hat{\alpha}=\frac2n\sum_{i=1}^nX_i\]
となる。
(1-4) \(E(\hat{\alpha})\)を調べると
\[ E(\hat{\alpha})=\frac2n\sum_{i=1}^nE(X_i)=\frac2n\sum_{i=1}^n\frac\alpha{2}\\ =\frac2n\cdot\frac{n\alpha}2=\alpha\]
よって\(E(\hat{\alpha})=\alpha\)なので不偏推定量。
(2) 公式を使っても解けるがここでは直接的に求める。
\[ p_Y(y)=\frac{d}{dy}P(Y\leqq y)=\frac{d}{dy}P(e^X\leqq y)\\ =\frac{d}{dy}P(X\leqq \log y)\\ =\frac{d}{dy}\int_{-\infty}^{\log y}\frac1{\sqrt{2\pi}}\exp\left(-\frac{x^2}{2}\right)dx\\ =\frac1{\sqrt{2\pi}y}\exp\left(-\frac{(\log y)^2}2\right)\]
同じようにやれば公式も導くことが出来る。
(3) これは逆関数法を知っていれば即座に累積分布関数の逆関数を取ればよいとわかる。念のため導出するなら、1つ前の問の真逆をやればよい。
\[ p_Y(y)=\frac{d}{dy}P(Y\leqq y)=\frac{d}{dy}P(f(X)\leqq y)\\ =\frac{d}{dy}P(X\leqq f^{-1}(y))=\frac{d}{dy}\int_0^{f^{-1}(y)}dx\\ =\frac{d}{dy}f^{-1}(y)=\lambda e^{-\lambda y}\ (y>0)\]
となるように\(f(x)\)を決めればよく、まずは両辺を\(-\infty\to y\)まで積分する。実際には右辺は\((y\leqq 0)\)で値ゼロを取るので\(0\to y\)の積分になり、
\[ f^{-1}(y)=\int_0^y\lambda e^{-\lambda t}dt=\left[-e^{-\lambda t}\right]_0^y=1-e^{-\lambda y}\\ \therefore\ f(x)=-\frac1\lambda\log(1-x)\]
がわかる。実際には\(x\)が(0,1)一様分布に従うので\(1-x\to x\)と書き換えても結果は同じである。
(4) \(X=R\cos\Theta, Y=R\sin\Theta\)として\((X,Y)\to(R,\Theta)\to(Z,W)\)の順に次の公式を用いて変数変換していく。
\[ p_{R,\Theta}(r,\theta)=p_{X,Y}(x(r,\theta),y(r,\theta))\left|\frac{\partial(X,Y)}{\partial(R,\Theta)}\right|\\ p_{Z,W}(z,w)=p_{R,\Theta}(r(z,w),\theta(z,w))\left|\frac{\partial(R,\Theta)}{\partial(Z,W)}\right|\]
ここで、
\[ \left|\frac{\partial(X,Y)}{\partial(R,\Theta)}\right|=\left|\det \begin{pmatrix}X_R&X_\Theta\\Y_R&Y_\Theta\end{pmatrix}\right|>0\]
はヤコビアンのこと。外側の縦棒は絶対値。まずは最初の変換のヤコビアン。これは極座標への変換でよく出てくるように
\[ \left|\begin{matrix}\cos\Theta&-R\sin\Theta\\ \sin\Theta&R\cos\Theta\end{matrix}\right|=R\]
となり、これを問題で与えられた\(p_{X,Y}(x,y)=p(x,y)\)の式に代入することで、
\[ p_{R,\Theta}(r,\theta)=\left\{\begin{matrix}\frac{r}\pi&(r^2\leqq 1)\\ 0&(r^2>1)\end{matrix}\right.\]
がわかる。次にこれを\((Z,W)\)の分布に変換する。まず\((Z,W)\)と\((R,\Theta)\)の関係を求めるために普通に代入すると
\[ Z=R\cos\Theta\sqrt{\frac{-2\log(R^2)}{R^2}}=\cos\Theta\sqrt{-4\log R}\\ W=R\sin\Theta\sqrt{\frac{-2\log(R^2)}{R^2}}=\sin\Theta\sqrt{-4\log R}\\\]
これよりヤコビアンの逆数を求めると
\[ \left|\begin{matrix}\cos\Theta\frac{2}{R\sqrt{-4\log R}}&-\sin\Theta\sqrt{-4\log R}\\ \sin\Theta\frac{2}{R\sqrt{-4\log R}}&\cos\Theta\sqrt{-4\log R}\end{matrix}\right|\\=\frac2R\cos^2\Theta+\frac2R\sin^2\Theta=\frac2R\]
次に、公式に当てはめるために\((R,\Theta)\)を\((Z,W)\)を用いて表す。
\[ \frac{W}Z=\frac{\sin\Theta\sqrt{-4\log R}}{\cos\Theta\sqrt{-4\log R}}=\tan\Theta\\ \Rightarrow\ \Theta=\text{Tan}^{-1}\frac{W}Z\\ Z^2+W^2=-4\log R(\cos^2\Theta+\sin^2\Theta)=-4\log R\\ \Rightarrow\ R=\exp\left(-\frac{Z^2+W^2}{4}\right)\]
これで変換に必要なものは全てそろったので書き下すと
\[ p_{Z,W}(z,w)=p_{R,\Theta}\left(\exp\left(-\frac{z^2+w^2}{4}\right), \text{Tan}^{-1}\frac{W}Z\right)\frac{r}2\\ =\left\{\begin{matrix}\frac1{2\pi}\exp\left(-\frac{z^2+w^2}{2}\right)&\left(\exp\left(-\frac{z^2+w^2}{2}\right)\leqq 1\right)\\ 0&\left(\exp\left(-\frac{z^2+w^2}{2}\right)> 1\right)\end{matrix}\right.\\ =\frac1{2\pi}\exp\left(-\frac{z^2+w^2}{2}\right)\\ =\frac1{\sqrt{2\pi}}e^{-z^2/2}\times\frac1{\sqrt{2\pi}}e^{-w^2/2}\]
最後の場合分けは指数関数が\(z=w=0\)の時に最大値1なので外せる。その時の確率は
\[ \frac{r}\pi\cdot \frac{r}2=\frac1{2\pi}r^2=\frac1{2\pi}\exp\left(-\frac{z^2+w^2}4\cdot 2\right)\]
のように計算できる。一番最後はそれぞれの確率密度関数に変数分離出来ていてこれで\(Z,W\)が独立に標準正規分布に従うことが示せた。