問題

(1) つぎのランダムな振幅\(A\)とランダムな位相\(\phi\)を持った正弦波信号\(X(t)=A\sin(\omega t+\phi)\)を考える。ここで、\(t\)は時間、\(\omega\)は角周波数であり、\(A,\phi\)は互いに独立とする。このとき

\[ X(t)=Y\sin\omega t+Z\cos\omega t\]

と表現し、新しい確率変数\(Y,Z\)を定義する。

(1-1) \(Y,Z\) を\(A,\phi\)で表せ。

(1-2) \(A\)の確率密度関数が

\[ p_A(x)=x\exp\left(-\frac{x^2}2\right),\quad(x\gt 0)\]

で\(\phi\)が\((0,2\pi)\)上の一様分布に従うとする。このとき、\(Y,Z\)の同時確率密度関数を計算し\(X(t)\)の確率密度関数を求めよ。

(1-3) \(A\)が\((0,1)\)上の一様分布、\(\phi\)が\((0,2\pi)\)上の一様分布に従うとするとき、期待値\(E[X(t)],E[X^2(t)]\)を求めよ。

(2) 区間\((0,\theta)\)上の一様分布から大きさ\(n\)の互いに独立なサンプル\(\{X_1,X_2,\dots,X_n\}\)をとる。それぞれの\(X_i\)の確率密度関数は次で表される。

\[ p_X(x)=\left\{\begin{matrix}\frac1\theta&(0\lt x\lt\theta))\\ 0&(\text{other})\end{matrix}\right.\]

未知のパラメータ\(\theta\)の推定量として

\[ Y_n=\max\{X_1,X_2,\dots,X_n\}\]

を考える。

(2-1) \(Y_n\)の確率分布関数に関して

\[ \text{Pr}(Y_n\le x)=\text{Pr}(X_1\le x,X_2\le x,\dots,X_n\le x)\]

であることを示せ。

(2-2) \(E[Y_n]\)を求め、\(Y_n\)は\(\theta\)の不偏推定量であるかどうかを調べよ。

(2-3) \(E[Y_n^2]\)を計算して平均二乗推定誤差\(E[(Y_n-\theta)^2]\)を求めよ。

(2-4) \(c_nY_n\)を新しい\(\theta\)の推定量としたとき、その平均二乗推定誤差を最小にする\(c_n\)を求め、\(Y_n\)と比べ推定誤差がどの程度改善したかを調べよ。

解答

(1-1) 加法定理を使うだけである。

\[ X(t)=A\sin\omega t\cos\phi+A\cos\omega t\sin\phi\\ \Rightarrow\ Y=A\cos\phi,\ Z=A\sin\phi\]

(1-2) 次の公式を使って確率密度関数\((A,\phi)\)から\((Y,Z)\)に変換する。

\[ f_{Y,Z}(y,z)=f_{A,\phi}(x(y,z),\theta(y,z))\left|\frac{\partial(A,\phi)}{\partial(Y,Z)}\right|\]

まず、\((A,\phi)\)の同時分布は\(A,\phi\)が独立なのでそれぞれの分布の積で書けるので

\[ p_{A,\phi}(x,\theta)=\frac1{2\pi}x\exp\left(-\frac{x^2}2\right),\ (0\lt x, 0\le\theta\lt 2\pi)\]

である。次にヤコビアンを計算すると、今は逆数の方が計算しやすくて

\[ \left|\begin{matrix}Y_A&Y_\phi\\Z_A&Z_\phi\end{matrix}\right|= \left|\begin{matrix}\cos\phi&-A\sin\phi\\\sin\phi&A\cos\phi\end{matrix}\right|=A\]

が上記公式に出てくるヤコビアンの逆数である。次に\(x,\theta\)を\(y,z\)で表す。記号として\(A\leftrightarrow x\),\(\phi\leftrightarrow\theta\)という対応関係になっていることに気を付けると

\[ x^2=y^2+z^2,\ \theta=\text{Tan}^{-1}\frac{z}y\]

がわかる。もっとも、\(\theta\)については一様分布のため式中にはでてこないので実際には求める必要が無い。これで公式に必要なものは全てそろって

\[ f_{Y,Z}(y,z)=\frac1{2\pi}\sqrt{y^2+z^2}\exp\left(-\frac{y^2+z^2}2\right)\frac1{\sqrt{y^2+z^2}}\\ =\frac1{2\pi}\exp\left(-\frac{y^2+z^2}2\right)\\ =\frac1{\sqrt{2\pi}}e^{-y^2/2}\cdot\frac1{\sqrt{2\pi}}e^{-z^2/2}\\ :=f_Y(y)\cdot f_Z(z)\]

これが同時確率密度関数。これより\(Y,Z\)はそれぞれ独立に標準正規分布に従うことがわかる。次に\(X(t)\)の確率密度関数を求める。今\(\sin\omega t\)や\(\cos\omega t\)は単なる定数なので確率変数の重み付和の確率密度関数を求めればよい。一般的な表記を使うと、正規分布に従う2つの確率変数\(Y,Z\)に対して

\[ X=aY+bZ\]

の確率密度関数を計算すればよい。これは畳み込みになる。正規分布同士の畳み込みは比較的楽に計算できる。

\[ p_{X(t)}(x)=\int_{-\infty}^\infty f_Y(au)f_Z(b(x-u))du\\ =\frac1{2\pi}\int_{-\infty}^\infty\exp\left(-\frac{u^2\cos^2\omega t}2\right) \exp\left(-\frac{(x-u)^2\sin^2\omega t}2\right)du\\ =\frac1{2\pi}\int_{-\infty}^\infty\exp\left(-\frac{u^2\cos^2\omega t+(x^2+u^2-2xu)\sin^2\omega t}2\right)du\\ =\frac1{2\pi}\int_{-\infty}^\infty\exp\left(-\frac{u^2+(x^2-2xu)\sin^2\omega t}2\right)du\\ =\frac1{2\pi}\int_{-\infty}^\infty\exp\left(-\frac{(u-x\sin^2\omega t)^2-x^2\sin^4\omega t+x^2\sin^2\omega t}2\right)du\\ =\frac1{2\pi}\cdot\sqrt{2\pi}\cdot\exp\left(-\frac{x^2\sin^2\omega t(1-\sin^2\omega t)}2\right)\\ =\frac1{\sqrt{2\pi}}\exp\left(-\frac{x^2\sin^2\omega t\cos^2\omega t}2\right)\]

これが\(X(t)\)の確率密度関数。肩はもう少しきれいになりそうな気がするが。

(1-3) 変換の公式は既に前問で導いてある。\(p_{A,\phi}(x,\theta)\)を次のように置き換えることで\(f_{Y,Z}(y,z)\)は求められる。

\[ p_{A,\phi}(x,\theta)=\frac1{2\pi},\quad(0\le x\lt 1,\ 0\le\theta\lt 2\pi )\]

非常に簡素である。これより、残るのはヤコビアンの部分だけで、

\[ f_{Y,Z}(y,z)=\frac1{2\pi}\cdot\frac1{\sqrt{y^2+z^2}},\ (0\le y^2+z^2\lt 1)\]

がこの場合の同時確率密度関数である。今度は\(Y,Z\)は独立ではない。さっきの問題と同じように\(\sin\omega t\)と\(\cos\omega t\)は単なる定数と見なせるので、ある確率変数\(Y,Z\)と\(X=aY+bZ\)に対して

\[ E[X]=E[aY+bZ]=aE[Y]+bE[Z]\\ E[X^2]=E[(aY+bZ)^2]=aE[Y^2]+bE[Z^2]+2abE[YZ]\]

を求める一般的な問題と見れる。定義に従ってそれぞれを計算すれば答えは得られる。まずは\(E[Y]\)、

\[ E[Y]=\int yf_{Y,Z}(y,z)dydz=\frac1{2\pi}\int_{y^2+z^2\lt 1}\frac{ydydz}{\sqrt{y^2+z^2}}\\ =\frac1{2\pi}\int_0^{2\pi}\int_0^1\frac{r\cos\theta}{\sqrt{r^2(\cos^2\theta+\sin^2\theta)}}rdrd\theta\\ =\frac1{2\pi}\cdot0\cdot \frac12=0\]

対称性より\(E[Y]=E[Z]=0\)がわかった。実は計算しなくても奇関数っぽい関数を対照的な円盤上で積分しているので結果はゼロと想像がつく。次に\(E[Y^2]\)、

\[ E[Y^2]=\int y^2f_{Y,Z}(y,z)dydz=\frac1{2\pi}\int_{y^2+z^2\lt 1}\frac{y^2dydz}{\sqrt{y^2+z^2}}\\ =\frac1{2\pi}\int_0^{2\pi}\int_0^1\frac{r^2\cos^2\theta}{\sqrt{r^2}}rdrd\theta\\ =\frac1{2\pi}\int_0^{2\pi}\frac{1+\cos 2\theta}2d\theta\int_0^1r^2dr\\ =\frac1{2\pi}\left[\frac{\theta+(1/2)\sin 2\theta}{2}\right]_0^{2\pi}\cdot\frac13\\ =\frac1{2\pi}\cdot\frac{2\pi}{2}\cdot\frac13=\frac16\]

同じく対称性より\(E[Y^2]=E[Z^2]=1/6\)。最後も実は奇関数っぽいと想像をつけながら計算すると

\[ E[YZ]=\int yzf_{Y,Z}(y,z)dydz=\frac1{2\pi}\int_{y^2+z^2\lt 1}\frac{yzdydz}{\sqrt{y^2+z^2}}\\ =\frac1{2\pi}\int_0^{2\pi}\int_0^1\frac{r^2\cos\theta\sin\theta}{\sqrt{r^2}}rdrd\theta\\ =\frac1{2\pi}\int_0^{2\pi}\frac12\sin 2\theta d\theta\int_0^1r^2dr\\ =\frac1{2\pi}\cdot0\cdot\frac13=0\]

よりやはりゼロである。これで必要な計算は終わり。結果は

\[ E[X]=0,\quad E[X^2]=\frac{\cos^2\omega t+\sin^2\omega t}6=\frac16\]

となる。

(2-1) これは次の問題のための誘導。

\[ \text{Pr}(Y_n\le x)=\text{Pr}(\max\{X_1,X_2,\dots,X_n\}\le x)\]

なのでこの事象が\(X_1\le x,X_2\le x,\dots,X_n\le x\)が同時に生起することと同じとわかる。説明になっていない感がすごい。

(2-2) 前問が累積分布関数になっているので微分すればよい。元の分布は一様分布なので累積分布関数は\(x/\theta\)。

\[ p_{Y_n}(x)=\frac{d}{dx}P(Y_n\le x)=\frac{d}{dx}P(X_1\le x)^n\\ =\frac{d}{dx}\left(\frac{x}\theta\right)^n=\frac{nx^{n-1}}{\theta^n},\ (0\lt x\lt\theta)\]

(2-3) 定義に従って計算。

\[ E[Y_n]=\int_0^\theta x\cdot\frac{nx^{n-1}}{\theta^n}dx=\int_0^\theta \frac{nx^n}{\theta^n}dx\\ =\frac{n}{\theta^n}\left[\frac{x^{n+1}}{n+1}\right]_0^\theta=\frac{n}{\theta^n}\frac{\theta^{n+1}}{n+1}=\frac{n}{n+1}\theta\]

\(E[Y_n]\neq\theta\)なので不偏推定量ではない。

(2-4) これも定義に従って計算。

\[ E[Y_n^2]=\int_0^\theta x^2\cdot\frac{nx^{n-1}}{\theta^n}dx=\int_0^\theta \frac{nx^{n+1}}{\theta^n}dx\\ =\frac{n}{\theta^n}\frac{\theta^{n+2}}{n+2}=\frac{n}{n+2}\theta^2\\ E[(Y_n-\theta)^2]=E[Y_n^2]-2\theta E[Y_n]+\theta^2\\ =\frac{n}{n+2}\theta^2-\frac{2n}{n+1}\theta^2+\theta^2\\ =\frac{n(n+1)-2n(n+2)+n^2+2n+1}{(n+2)(n+1)}\theta^2\\ =\frac{n^2+n-2n^2-4n+n^2+2n+1}{(n+2)(n+1)}\theta^2\\ =\frac{-n+1}{(n+2)(n+1)}\theta^2\]

(2-5) 平均推定誤差が最小になるのは\(E[Y_n]\)が\(\theta\)にもっとも近くなるときであると予想できる。そこで\(c_n=(n+1)/n\)ととる。このとき、

\[ E[(cY_n-\theta)^2]=c_n^2E[Y_n^2]-2\theta c_nE[Y_n]+\theta^2\\ =\frac{(n+1)^2}{n^2}\frac{n}{n+2}\theta^2-2\theta^2+\theta^2\\ =\frac{n^2+2n+1-n(n+2)}{n(n+2)}=\frac1{n(n+2)}\theta^2\]

修正後も修正前も\(n\to\infty\)では平均が\(\theta\)に近づいていくが誤差の減少するオーダーが違う。修正前は1次のオーダーで減少していくのに対し修正後は2次のオーダーで減少する。