Open batakechan opened 3 years ago
応用数学 第2章 確率・統計 ○学習したこと
1)条件付き確率 ・ある事象X=xが与えられた時、Y=yとなる確率
P(Y≒y|X = x) = P (Y =y ,X=x) / P(X=x) (確率自体は以前から学習していたが、この表記法(特に「|」を使用したもの)に習熟するのは初めてであった)
2)ベイズ則 ・飴玉を1/4でもらう子供達、その1/2が笑顔になる。 ・今、子供達を見ると、1/3で笑顔になっている。 ・笑顔になっている子供が飴玉をもらっている確率は?
P(笑顔|飴玉)=1/2 x 1/4 =1/8 P(飴玉、笑顔)= P(飴玉|笑顔) X P(笑顔) ⇄1/8 = p(飴玉|笑顔) X 1/3 ⇄p(飴玉|笑顔) = 3/8
3)期待値・分散 ・期待値 E(f) = ΣP(X=xk)f(X=xk) 連続値であれば、∮p(X=x)f(X=x)dx
・分散 (これ自体は既知でしたが、表記法は初見でした) V(f)= E((f(X=x)ーE(f)2) = E((f(X =x))2). ー (E(f))**2
・共分散 (共分散自体が初見でした) Conv(f,g) = E((f(X=x))(g(Y=y)-E(g)) =E(fg) - E(f)E(g)
・標準偏差 (既知でした。表記法は初見でした) σ=(Var(f))1/2 =(E((f(X=x)-E(f))2))**1/2
4)確率分布
・ベルヌーイ分布(コイントス)
P(x|μ)= μx(1-μ)(1-x)
・マルチヌーイ分布(サイコロ)
・二項分布(ベルヌーイ分布の多試行版) P(x|λ、n) = n!/ (x!(n-x)!) * λx (1-λ)(n-x) ・ガウス分布(釣鐘型分布)
N(x;μ,σ")= (1/2πσ2) *(exp((-1/2σ2)(x-μ)2)
第3章 情報理論
1)自己情報・シャノンエントロピーの定義
・自己情報量(初見) →どれほど起こりにくいかを表す値。 (例) ある夏の日の例 自己情報量は、 「東京は今晴れている」 < 「東京で今大雨が降っている」<「東京で今雪が降っている」
おそらく・・・ 「東京で地震が起きた」<「ロンドンで地震が起きた」
式で表現すると I(x) = -log(P(x)) = log(W(x)) 対数の底が2の時、bitになる。 対数の底がネイピア(e)の時、natになる。
・シャノンエントロピー →自己情報量の期待値
H(x) = E(I(x)) =-E(log(P(x))) =-Σ(P(x)log(P(x)))
2)KLダイバージェンス・交差エントロピーの概要
・カルバック・ライブラー ダイバージェンス(初見) →同じ事象・確率変数における異なる確率分布P、Qの違いを表す
Dkl(P||Q) = Ex〜p[log (P(x)/ Q(x))] = Ex〜p [logP(x) - logQ(x)]
・交差エントロピー →カルバック・ライブラリーダイバージェンスの一部分 Qについての自己情報量をPの分布で平均
H(P,Q) = H(P) + Dkl(P||Q) H(P,Q) = ーEx〜p logQ(x)
stage1「レポート」の始まり
応用数学 第1章:線形代数
6月7日(月)にレポート開始
(6月6日(日)にstage2テスト合格した後、「レポート」」というものがあることに気付き、 慌ててstage1に立ち戻ってレポート開始。この後2日間でstage1完成提出6/8(火曜)。2日にレポート合格通知)
○学習したこと(要点) 1)固有値・固有ベクトル (1)行列式と余因子展開 ○行列式 固有値・固有ベクトルの前に、行列式を学んだ。 行列式の意味するところが(例えば2つなり、3つなりの)ベクトルに挟まれた面積、 体積に相当することを確認した。(自分のノートに繰り返し書いた)添付1行列式
その際、例えば、スライド22の「3x3」行列の行列式のとき、 第2項の -a21| a12 a13 | | a32 a33| で、 先頭(「-a21」)の符号がマイナスであることが理解できなかった。 (なぜ第3項には符号がつかないのか) 深谷先生のVTRでも説明されていたが、自分で手を動かして納得行くまで確認した。 そして、第2項は、行の入れ替えが1回だが、 第3項の形は、ab→bc→caの「循環」表記であり、曽於のためには行の入れ替えを2回しなければいけないことに気づき、 そのためだと理解した。(添付2)
○余因子展開 上記ではサラッと記述したが、そもそも3行3列の行列式の「計算方法」がよくわからなかったので、 ここもノートに書いて理解した(添付3)
(2)固有値・固有ベクトル 固有値は行列を1つのスカラーで代表する考え。 行列Aに対して、x(ベクトル)と係数λを使用して、 Ax(ベクトル) = λx(ベクトル)が成り立つ時、λをAに対する固有値、x(ベクトル)を固有ベクトルという。 固有値固有ベクトルは、正方行列に対して存在する。
ノートに繰り返し手書きで実行した。 途中までAV=VΛではなく、AV=VAと勘違いしていたが、気づいて実行した。(添付4)
2)特異値 固有値が正方行列に対して存在するのに対して、 正方行列ではない行列に対して、 固有値と同じようなことをするのが特異値である。
即ち、 特異値は、 Mv(ベクトル)=σu(単位ベクトル) M(T)u(単位ベクトル)=σv(ベクトル)を満たすベクトルuがある場合に存在し、 M = USV(ー1)となる。
添付1 行列式
添付2 行列式2
添付3 余因子展開
添付4