を確率変数とし、その平均をとする。このとき、ある正数が存在して
を任意のについて満たすとき、はパラメータのsub-Gaussianであるという。
これが確率変数のsub-Gaussian性です。性の付き方おかしい気がしますが、、。日本語で言うと準ガウス性といったところでしょうか。訳しているところ見たことありませんが。
正規分布に従う確率変数はsub-Gaussian
を平均、分散の正規分布に従う(連続)確率変数とする。のモーメント母関数を計算すると、
となります。したがって
がわかります。確率変数がsub-Gaussianであるための条件を等号で満たしているので、正規分布に従う確率変数はパラメータのsub-Gaussian変数です。正規分布に従う確率変数のことをGaussian変数だとか言ったりするのでsub-ついたものが付いてないものを含んでいるのは当然ですね。
Rademacher確率変数はSub-Gaussian
という確率変数を値と等確率で取る確率変数とします。つまりということです。このような確率変数をRademacher変数といいます。Rademacher確率変数はのSub-Gaussian変数です。実際、
です。今度は等号ではなく不等式で条件を満たしています。
途中使っているのはという不等式で、分母がこうなのでトータルの大小関係はこの逆になります。両辺をで割ってみればとなるので大小関係は明らかですね。かける回数は両方回、左辺は2しか掛けてないのに対して右辺は明らかに2より大きいものを掛けています。
以上よりRademacher変数はのSub-Gaussianです。
有界な値を取る確率変数はsub-Gaussian
他のsub-Gaussian変数にはどんなものがあるんでしょうか。簡単なのは有界区間にのみ値をとる確率変数です。です。これを確かめます。
をに値をとる確率変数で、今一般性を損なわずに平均はゼロ()とします。を、と同じ分布を持つ独立な別の確率変数とすると、
です。途中で挿入したはゼロのはずですからこれを引いても式の値を変えません。2番目の不等式は凸関数にするJensenの不等式
です。指数関数が凸関数であることはグラフをイメージすれば明らかにわかりますね。次に前に出てきたRademacher変数を導入します。既に出てきたとはまた独立とします。これを用いると次のような変形が可能です。
最初にという等式ですが、書き下してみると明らかです。
となりました。は同じ分布に従う独立な変数ですから、も、もまた別な新たな確率変数とおいてしまえば同じ分布に従うはずです。なので両者は足し合わせることが出来て、元の式のようになります。最後の不等式はRademacher変数がsub-Gaussianということを確認した式変形においてと置き換えたものです。
仮定よりはという値より大きな値を取りません。これを踏まえると右辺の期待値は抑えることが出来て、結局
を得ます。これよりは少なくともパラメータのsub-Gaussianであるとわかりました。少なくとも、といいましたが見ての通りこの確認の仕方は3つぐらいの不等式を経由しています。もうちょっと別なやり方でやると実はよりtightな不等式を導くことができ、それによるとです。それはそれとしてこういう対称な変数を持ってくるやり方、symmetrization argumentといってよくやるようです。
つづき
sub-Gaussianだと何が嬉しいのか?
参考文献
Martin J. Wainwright, High-Dimensional Statistics, A Non-Asymptotic Viewpoint, 2019, Cambridge University Press, pp. 21-51, https://doi.org/10.1017/9781108627771.