batakechan / Torachiyo

0 stars 0 forks source link

応用数学 #1

Open batakechan opened 3 years ago

batakechan commented 3 years ago

stage1「レポート」の始まり

応用数学 第1章:線形代数

6月7日(月)にレポート開始

(6月6日(日)にstage2テスト合格した後、「レポート」」というものがあることに気付き、  慌ててstage1に立ち戻ってレポート開始。この後2日間でstage1完成提出6/8(火曜)。2日にレポート合格通知)

○学習したこと(要点) 1)固有値・固有ベクトル (1)行列式と余因子展開  ○行列式  固有値・固有ベクトルの前に、行列式を学んだ。  行列式の意味するところが(例えば2つなり、3つなりの)ベクトルに挟まれた面積、  体積に相当することを確認した。(自分のノートに繰り返し書いた)添付1行列式

 その際、例えば、スライド22の「3x3」行列の行列式のとき、  第2項の -a21| a12 a13 |         | a32 a33| で、  先頭(「-a21」)の符号がマイナスであることが理解できなかった。  (なぜ第3項には符号がつかないのか)  深谷先生のVTRでも説明されていたが、自分で手を動かして納得行くまで確認した。  そして、第2項は、行の入れ替えが1回だが、  第3項の形は、ab→bc→caの「循環」表記であり、曽於のためには行の入れ替えを2回しなければいけないことに気づき、  そのためだと理解した。(添付2)

 ○余因子展開  上記ではサラッと記述したが、そもそも3行3列の行列式の「計算方法」がよくわからなかったので、  ここもノートに書いて理解した(添付3)

(2)固有値・固有ベクトル  固有値は行列を1つのスカラーで代表する考え。  行列Aに対して、x(ベクトル)と係数λを使用して、  Ax(ベクトル) = λx(ベクトル)が成り立つ時、λをAに対する固有値、x(ベクトル)を固有ベクトルという。  固有値固有ベクトルは、正方行列に対して存在する。

 ノートに繰り返し手書きで実行した。  途中までAV=VΛではなく、AV=VAと勘違いしていたが、気づいて実行した。(添付4)

2)特異値  固有値が正方行列に対して存在するのに対して、  正方行列ではない行列に対して、  固有値と同じようなことをするのが特異値である。

 即ち、  特異値は、  Mv(ベクトル)=σu(単位ベクトル)  M(T)u(単位ベクトル)=σv(ベクトル)を満たすベクトルuがある場合に存在し、  M = USV(ー1)となる。

添付1 行列式 添付1行列式

添付2 行列式2 添付2行列式2

添付3 余因子展開 添付3余因子展開

添付4 添付4

batakechan commented 3 years ago

応用数学 第2章 確率・統計   ○学習したこと

1)条件付き確率 ・ある事象X=xが与えられた時、Y=yとなる確率

 P(Y≒y|X = x) = P (Y =y ,X=x) / P(X=x) (確率自体は以前から学習していたが、この表記法(特に「|」を使用したもの)に習熟するのは初めてであった)

2)ベイズ則 ・飴玉を1/4でもらう子供達、その1/2が笑顔になる。 ・今、子供達を見ると、1/3で笑顔になっている。 ・笑顔になっている子供が飴玉をもらっている確率は?

 P(笑顔|飴玉)=1/2 x 1/4 =1/8  P(飴玉、笑顔)= P(飴玉|笑顔) X P(笑顔) ⇄1/8 = p(飴玉|笑顔) X 1/3 ⇄p(飴玉|笑顔) = 3/8

3)期待値・分散 ・期待値 E(f) = ΣP(X=xk)f(X=xk)  連続値であれば、∮p(X=x)f(X=x)dx

・分散 (これ自体は既知でしたが、表記法は初見でした)  V(f)= E((f(X=x)ーE(f)2)     = E((f(X =x))2).  ー (E(f))**2 

・共分散 (共分散自体が初見でした) Conv(f,g) = E((f(X=x))(g(Y=y)-E(g)) =E(fg) - E(f)E(g)

・標準偏差 (既知でした。表記法は初見でした)  σ=(Var(f))1/2 =(E((f(X=x)-E(f))2))**1/2

4)確率分布

・ベルヌーイ分布(コイントス)

 P(x|μ)= μx(1-μ)(1-x)

・マルチヌーイ分布(サイコロ)

・二項分布(ベルヌーイ分布の多試行版)    P(x|λ、n) = n!/ (x!(n-x)!) * λx (1-λ)(n-x)   ・ガウス分布(釣鐘型分布)

 N(x;μ,σ")= (1/2πσ2) *(exp((-1/2σ2)(x-μ)2)

batakechan commented 3 years ago

第3章 情報理論

1)自己情報・シャノンエントロピーの定義

 ・自己情報量(初見)   →どれほど起こりにくいかを表す値。      (例) ある夏の日の例 自己情報量は、    「東京は今晴れている」 < 「東京で今大雨が降っている」<「東京で今雪が降っている」

    おそらく・・・    「東京で地震が起きた」<「ロンドンで地震が起きた」

   式で表現すると    I(x) = -log(P(x)) = log(W(x))    対数の底が2の時、bitになる。    対数の底がネイピア(e)の時、natになる。

 ・シャノンエントロピー   →自己情報量の期待値

   H(x) = E(I(x))      =-E(log(P(x)))      =-Σ(P(x)log(P(x)))

2)KLダイバージェンス・交差エントロピーの概要

 ・カルバック・ライブラー ダイバージェンス(初見)       →同じ事象・確率変数における異なる確率分布P、Qの違いを表す

   Dkl(P||Q) = Ex〜p[log (P(x)/ Q(x))] = Ex〜p [logP(x) - logQ(x)]

 ・交差エントロピー       →カルバック・ライブラリーダイバージェンスの一部分     Qについての自己情報量をPの分布で平均

    H(P,Q) = H(P) + Dkl(P||Q)     H(P,Q) = ーEx〜p logQ(x)