Real Analysis and Probabilityをやるぞ！

[karino2]

Dudleyの、Real Analysis and Probability (Cambridge Studies in Advanced Mathematics)を読んでみる。

実解析ベースの確率論の入門書らしい。 最初からこれやれば良かったんじゃね？という気はするが、果たして？

[karino2]

このニューはabsolutely continuous w.r.t. ミュー、な測度となる。

そりゃそうだ。 で、Randon-Nikodymの定理はこの逆、つまり、absolutely continuous w.r.t. ミューな測度ニューがあったら、それはこのような積分の形で書ける、という物らしい。

で、この被積分関数をRandon-Nikodym微分と呼ぶらしい。

へー、面白いね。なるほど。

[karino2]

9.4の冒頭に戻る

さて、以上を踏まえて。

ラムダはR上の確率測度だろう。 どうもa, bの区間ならb-aとなるような測度っぽいな。

で、さらにlawもR上の確率測度だろう。 この場合、ランダム変数の定義域と値域がどちらもRなのでややこしいが。

考えてみると、lawであるかどうか、というのは、逆像を確率測度で射影した物になっているかどうかだが、それはつまり値域が0-1の測度かどうか、という事だけのように思う。 この条件が満たせていれば、たぶん確率変数を定義出来るだろう。

すると、lawと確率測度は、オメガがRの時にはそんな違わない物になってしまう（区別は重要だか）

で、ラムダがゼロとなるようなサブゼットというのは、有理数とか、とにかく長さがゼロの飛び飛びな値の集合だよな。 これの連続関数による逆像はやっぱ測度ゼロだろう。

だからPはabsolutely continuous w.r.t. ラムダ、と言えそう。

という事は、Pはある関数fを用いて、ラムダ上の積分と表せる。

これをfから始めると9.4の冒頭の話になるな。よし、完璧に理解した！

[karino2]

9.4.1 probability densityとは何か

9.4.1で正規分布の確率密度が出ていて、これがprobability densityである、という証明がある。

という事でこの前にある定義を少し考えてみる。

まずオメガがRの場合で、R上のルベーグ測度ラムダに対し、measurable で全積分の結果がfなものをprobabilistic density と呼ぶ。

で、このボレル集合Aに対する積分でP(A)を定義する事で、Pが定義出来る。 この時Pはabsolutely continuousなんたらかんたら、になるのはほぼ自明だろう。

このPは確率測度であると同時に、何かのランダム変数のlawになってる、という話っぽいが、そう言えるのかなぁ。 Xを恒等射とすればいつでも言えるか。

この時確率測度は決まらないが、確率変数は決まるので、なんだか気持ち悪いな。
ただ、分布関数からの定式化は以前見ているので、似たような物ではある。

[karino2]

特性関数とmoment generating function

両方出てきてややこしいのでここに軽くまとめておく。moment generating functionはホエールとかの積率母関数って奴だよな。

[karino2]

[karino2]

[karino2]

独立なランダム変数の和について考える

定理9.4.3を見てて、またいまいち良く分からなかったので少し考えた所、思ったより長くなったので節として独立して考えてみる。

独立な確率変数X+Yについて、いろいろ考える。

ランダム変数の独立

定理9.4.3で出てきた時に、ぱっと思い出せなかったのでメモしておこう。
定義はp252の下の方。

XとYが独立とは、以下の事。

[karino2]

[karino2]

つまりランダム変数の直積のlawが個々のlawの直積測度となる事。

[karino2]

定理9.4.3を（また）考える

さて、以前のconvolutionでも同じような事を考えたが、X+Yのlawは、XとYが独立という事とどう関連づけられるのだろうか。

X+Yの逆像は、Aから直積の何かの集合への射影ではあるだろう。 これをGと名付けよう。

[karino2]

[karino2]

で、このGを直積測度で測ると実数値が得られる。 これが、L(X+Y)という測度でAを測る事に相当するはず。

また、Gは第一要素と第二要素それぞれの集合を考える事が出来る。これをGx, Gyと名付けよう。

GxとGy の何かの測度による値の積になってると思うのだが、なんの測度だろうか？

うーん、ちょっと分からなくなってきたので、具体的な例から考えてみよう。

[karino2]

古典的な確率変数の和について考える

以下のような分布のX, Yについて、X+Yを考える。

[karino2]

[karino2]

L(X)は、Indicator functionの積分で定義出来そう。

[karino2]

[karino2]

L(Y)も定義出来るな。

X+Yもこの場合はindicator functionで表せそう。ただ、その前に分布を書いてみよう。

3から7の間を取る訳だよな。

X+Y=Lとなる時のXとYって、切片がLで傾きが-1の直線だよな。 この直線上の第一象限で切り取られる所の長さが確率密度か？自明では無いが。 たぶんこの自明でない所を直積測度から考えないと駄目なんだろうな。

[karino2]

[karino2]

5までは$$\sqrt{2} L$$で増していき、5からは同じ傾きで減っていく感じか。

[karino2]

[karino2]

X+Yのlawは、3から7の範囲でオーバーラップしている所の面積、という事になる。

あんま簡単な式にはならなさそうだが、これがconvolutionにはなってそう。

[karino2]

古典的な場合のX+Yの逆像

さて、X+Yの逆像を考えよう。

Markdownの都合で閉区間をかぎ括弧で表す。で、4以上5以下、つまり「4, 5」の逆像を考えよう。

足した結果が4になる為には、Yは2が最小だからXは2以下。つまりXは「1, 2」となる。Yは「2, 3」か。

また、X+Yが5になる為には、Xの最大が3なので、Yは2以上。これは全範囲か。 Xは「1, 3」で、Y は「2, 4」 となるね。

X+Yがある値の時（例えばLとしよう）、XとYは特定の範囲を取る訳だが、Xの値が決まればYは一意に決まる。

例えばLが4の時、逆像のXは「1, 2」で、この各Xについて点Yが対応するので、直積としては直線になるのか。 そうか、これは先程の切片が4で傾きが-1の直線だな。

ではLを4から5まで動かすと、以下の水色の斜線のような範囲となるか。

[karino2]

[karino2]

これでX+Yによる、ボレル集合の元の逆像が分かった。 この範囲の直積、という事だ。

で、この範囲を直積測度で測った値が、X+Yのlawで「4, 5」を測った結果か？

なるほど、ここの直積測度の所で独立の仮定が要るのか。

よし、分かってきたぞ。ここまでをまとめよう。

1. B(R)の元のX+Yの逆像は、直積空間上のボレル集合族の元になる（たぶん）
2. その直積空間上のボレル集合族の元を測るのは、L（＜X, Y＞）
3. 独立だとそれが、L(X)とL(Y)の直積測度となる

[karino2]

lawとdensityについて考える

さて、law(X)とはなんぞや？ さきほどIndicator functionの積分で定義したものだな。

最初の定義ではXの逆像に確率測度を適用するもの、というのが定義だったが、これの場合不要な確率測度を考える必要が出てくる。

この場合はそれよりも、densityをルベーグ積分した物、という定義の方が良いだろう。で、最初のIndicator functionの積分に戻る訳だ。

直積測度を計算してみる

で、直積測度は切り口集合を考えて順番に積分してやれば良い（フビニの定理もあるので、あんま細かい事気にせずやって良い）

その積分を書くと、

[karino2]

[karino2]

[karino2]

[karino2]

[karino2]

よし、独立なら計算出来た。

まとめ

1. X+Yは可測関数で、逆像はXとYの直積空間上のボレル集合族の元を与える
2. そのボレル集合族の元は、L（＜X, Y＞）で測る事が出来る
3. それは独立ならL(X)とL(Y)の直積測度となり、それはL(X)とL(Y)を順番にルベーグ積分した物となる
4. L(X)などは、densityのルベーグ積分で定義される

よし、ちゃんと理解出来た気がする！

[karino2]

9.4に戻る

X+Yについては大分理解を深めたので、定理9.4.3あたりに戻る。

[karino2]

定理 9.4.3

i.i.d.な確率変数の和の特性関数は簡単に表せます、という定理だが、証明が簡潔過ぎるのでメモを書いていく。

まず期待値Eの定義から。

[karino2]

[karino2]

ここでPはXのlawな事に注意。

で、Snの特性関数は？というのが定理の話。 書いてみよう。

[karino2]

[karino2]

よし、大した事は言ってないな。 そしてこれは中心極限定理まであと一歩くらいの話でもある。

9.4.4よりあとの話

定理9.4.4は、特性関数を微分して0を入れるとモーメントが出てくる、という話。微分の存在とかは楽では無いが、キニシナイ。

定理9.4.5はpointwiseには中心極限定理が成り立つ、という意味らしい。 各確率変数の特性関数をfと置いて0の周りでテイラー展開してn乗する。

極限の存在とか三次以降の項の和が本当に収束するかとか細かい事を気にしなければ、割と簡単な話。

よし、これで9.4を最後まで読んだぞ！

[karino2]

9.4感想

特性関数と中心極限定理の証明の概略くらいはもっと古典的なところで勉強した事があるのだけれど、その時よりはずっと何をやってるのか理解出来るようになった。

測度論の枠組みで確率を扱うのも大分慣れてきて、大分自由に使えるようになってきたと思う。

9.4はこれまで飛ばしたりいい加減にやってた所をちゃんと見直す良い題材となっているので、扱っている内容以上にやりごたえがあった。
この本のレベルでのこの周辺の議論も凄く理解が深まった。

一つ不思議に思うのは、この話をあんまり他の教科書で見ない、という事。 測度論的な確率論の本は何冊かあるが、本当にガチに記号論理で語って意味が分からないか、もっと古典的な確率空間の話で終わっている。

理論体系として結構美しいし、幾つかの角度から定式化出来て、しかも対応する良く知られた古典的な要素があるので、もっと初心者向けに語っても面白いと思うのだが。

でも測度論をここまで自由に扱える初心者なんてものを想定してもパイが狭すぎるのかね。

この辺、くわしい人と雑談的な動画とか作りたいなぁ、というくらいには面白いと思った。

何より我々はGANで使うしね！

[karino2]

9.5 特性関数の一意性と中心極限定理

ここはあまり興味の無い所な気がするが、一意性の証明のあらすじと中心極限定理の周辺の話を軽く見ておこう。

収束の速さ的な議論には興味があるのだが。

[karino2]

9.5.2 正規分布によるconvolution

なんかいろいろ変数が出てきて分かりにくいのでメモを書く。

[karino2]

[karino2]

[karino2]

[karino2]

[karino2]

ここで、正規分布の特性関数が9.4.2で与えられてて、これをもう一度フーリエ変換（元が逆変換か？まぁ言葉はどっちでもいい）すると元に戻る事を使う。

特性関数は以下

[karino2]

[karino2]

ここで、mがこの場合はyである、と考えて、uをtと置きかえると、このフーリエ変換は以下のように書ける。

[karino2]

[karino2]

あとは教科書の証明の式で十分だろう。

訂正: 少し先の9.5.4で初めてフーリエ逆変換で戻る、という話をしているので、これを使っては駄目そう。 9.4.2 aの変数置き換えで右辺を標準正規分布に出来るので、これを逆変換と見れば良さそうだけど、フーリエ逆変換で戻るのは自分的には使っていいかなぁ。

[karino2]

9.5のそれ以降は眺めるだけ

幾つかの定理は使う事もありそうだが、間違いなくその時まで覚えてる事は無いので今は眺めるのみ。

で、9.5の話をざっと眺めた。興味ある収束の速度的な話題は無さそう。

9.6では分布が同じとは限らない独立の確率変数の和の極限定理（リンドバーグの定理と言うらしい）だが、使った事無いので飛ばす。

[karino2]

9.7も見るだけ。独立な変数の和の収束は、a.s.もin probabilityもin lawも、どれか一つが収束すればそれ以外の収束も保証されるとか（Levy's Equivalence Theorem）。

この辺は使う時に真面目にやろう。

9.8はLevyの連続性定理。特性関数が収束するとlawも収束するとか。 そのほかいろいろ難しい話題があるがお手上げ。