深層学習 前編

[mizukihiraishi]

深層学習 day1

• 00_プロローグ1_識別モデルと生成モデル

  機械学習モデルを入力・出力の目的で分類 識別モデル・・・データを目的のクラスに分類する、データ量の多いものからデータ量の少ないものに変換する 生成モデル・・・特定のクラスのデータを生成する、データ量の少ないものからデータ量の多いものに変換する p(Ck|x)・・・あるデータxが与えられた条件の下でクラスがCkである確率 p(x|Ck)・・・あるクラスxに属するという条件の下でのデータCkの分布　例：犬という情報をもとに色の確率を生成する

• 00_プロローグ2_識別器の開発アプローチ

  参考書籍：パターン認識と機械学習 パターン認識と機械学習の影響で3つのアプローチに分けられている 生成モデル・・・データを生成できる 識別モデル（確率的識別モデル）・・・確率を出力 識別関数(決定的識別モデル)・・・出力結果は01（どのくらい属するクラスに近いかどうかはわからない）

• 00_プロローグ3_識別器における生成モデル/識別モデル/識別関数

  データを二つに分ける際に、生成モデルはデータの複雑さを推定する P.5のグラフ・・・右が生成モデル、左が識別モデル 茶色い線がクラスC1黄色い線がクラスC2 オレンジの縦棒の左がクラスC1右がクラスC2であると判断する 識別モデルは縦棒から左ならC1、縦棒からC2と判断する（確率） 生成モデルはC1のデータ条件付き密度を学習する（グラフの山も学習する）そのため、山の途中のデータも作ることができる

• 00_プロローグ4_万能近似定理と深さ

  万能近似定理・・・非線形な活性化関数を持つニューラルネットワークはどのような関数でもうまく近似できるのではないかという定理

• 01_ニューラルネットワークの全体像

  入力層（データを受け取る層） → 中間層（調整を行う層） → 活性化関数 → 出力層（確率を出力） 学習するのはW（重み）、b（バイアス） ニューラルネットワークの目標・・・重みとバイアスを学習し、入力値をうまく出力値に変換する 確認テスト１ ・ディープラーニングは何をしようとしているか？・・・明示的なプログラムの代わりに多数の中間層を持つニューラルネットワークを用いて、入力値から目的とする出力値に変換する数学モデルを構築すること ・最適化の最終目的・・・重み[W]、バイアス[b] 全体像（数式を用いた図）・・・ニューラルネットワークは入力を出力に変換する変換器である 図は4ノード→3ノード→2ノードのニューラルネットワークとなる xを入力し、yに変換する 図のdが正解値 誤差関数を用いてyがdとなるようにW、bを学習する 確認テスト2 入力層2ノード1層、中間層3ノード2層、出力層1ノード1層のニューラルネットワークを描く ニューラルネットワークの対象の問題 回帰（e.g. 結果予想：売り上げ予想、株価予想　ランキング：順位予想） 分類（e.g. 猫写真の判別、手書き文字認識、花の種類分類） 回帰・・・連続するじっすちをとる関数の近似 分類・・・離散的な結果を予想するための分析（猫犬、花の種類など数値化が難しいもの） 万能近似定理が根底にあるため、幅広い回帰分類などの問題を解くことができる 深層ニューラルネットワーク（深層学習モデル）・・・複雑な問題に対応できる 数字の集まりを入力して数字を出力できればなんでも対応できる(株価であれば、今の株価から1分後の株価を予測する、チャットボット・翻訳では文章や文字を数字に変換する、音声は周波数などを入力する、囲碁将棋AIは盤面を数字として入力する)

以下のセクションは1_1_forward_propagation内のコードで説明されている

https://github.com/mizukihiraishi/Study-AI/blob/af52b00d16b274721b263020bb33bb41442d5f8f/1_1_forward_propagation.ipynb https://github.com/mizukihiraishi/Study-AI/blob/51e61cc55e31813ce4e0134cc139fe1364b90a6b/1_1_forward_propagation_after.ipynb

• 02_入力層〜中間層

  入力を受け取る場所（ノード）・・・入力にはそれぞれ重みが存在し、重みは入力の重要度となる（重みが大きいほど重要） u = w1x1 + w2x2 + w3x3 + w4x4 + b = Wx + b（W, xはそれぞれ行列） バイアスbの役割はu(出力)を平行移動させるイメージ（切片）、Wは傾き uに活性化関数fを適用したzが中間層の出力 確認テスト（動物の分類をネットワークに表す） 確認テスト（u = w1x1 + w2x2 + w3x3 + w4x4 + b = Wx + bをソースから抜き出す） u = np.dot(x, W) + b 確認テスト（中間層の出力を定義しているソースを抜き出す） u2 = np.dot(z1, W2) + b2 z2 = functions.relu(u2)

• 03_活性化関数

  導入することでニューラルネットワークでできる処理の幅が広がる 活性化関数・・・非線形関数 確認テスト5 線形な関数・・・加法性：f(x+y) = f(x) + f(y)、斉次性：f(kx) = kf(x)を満たす 非線形な関数・・・加法性・斉次性を満たさない Wx + bという線形な処理に活性化関数を適用するという非線形な処理を適用することで表現の幅を広げる 中間層用の活性化関数 ステップ関数・・・閾値を超えたら発火する関数で、出力は常に1か0、線形分離可能なものにのみ適用可能 シグモイド関数・・・0～1の間を緩やかに変化する、そのため微分が可能になる ReLU関数・・・現在最もポピュラーな活性化関数、勾配消失問題・スパース化する効果がある 活性化関数を通すことでどの層が重要かを判断できる 確認テスト（活性化関数が使われているコードを抜き出す） z1 = functions.relu(u1) z2 = functions.relu(u2) common/functions.pyの中に活性化関数が記述されており、その中のreruを呼び出している https://github.com/mizukihiraishi/Study-AI/blob/090e99a4913c69cf4bd201f12eea9d0435f03a4b/layers.py ReLUは0か入力の大きい方を出力する

• 04_出力層_誤差関数

  出力層の役割 中間層が出力する内容は次の層に伝えることに適した形式になっている 出力層は確率を出力する（誤差関数に入力することに適しており、人間が読むこともできる） 出力層は中間層の出力から誤差関数まで含む 訓練データは入力データとペアとなる出力（正解値） 入力データをニューラルネットワークに通して出力値に変換し、訓練データと比較する 訓練データと比較することで入力に対してどの程度正解だったかを知ることができる どの程度正解か・・・出力値を誤差関数に入力して出てきた値（誤差） 出力の確率が高い・・・正解かどうかの自信みたいなイメージ E(w) ・・・y：出力、d：訓練データ、1/2は二乗和誤差を微分した際に前に出てきた2を打ち消すために便宜上かけている 確認テスト ・二乗する理由・・・引き算のみの場合各ラベルでの計算結果が正負混合となってしまい、最終的に全体の誤差として足し合わせると正しく表せなくなる。そのため、各ラベルの計算結果を正の値に統一するために二乗している。 ・1/2する理由・・・誤差逆伝播を計算する際に誤差関数を微分するが、その際に2乗の2が掛けられるためそれを打ち消す役割。（計算式を簡単にする）そのため、本質的に意味はない。 コード内の二乗誤差・・・回帰問題：loss = functions.mean_squared_error(d, y)、分類問題loss = functions.cross_entropy_error(d, y)

• 05_出力層_活性化関数

  出力層の活性化関数 中間層：信号の強弱を調整、出力層：信号の大きさ（比率）はそのままに変換、分類問題では出力層の出力は0～1の範囲で総和が1となるようにする 解きたい問題によって活性化関数は決まる 回帰・・・活性化関数：恒等写像（そのまま出力）、誤差関数：二乗誤差（実際は平均二乗誤差がよく使われる） 二値分類（二つの値に分類するe.g. 工場の不良品か否か）・・・活性化関数：シグモイド関数、誤差関数：交差エントロピー 多クラス分類（数字の０～９など）・・・活性化関数：ソフトマックス関数、誤差関数：交差エントロピー ソフトマックス関数・・・3クラス以上の分類において、すべてを足すと1になる 確認テスト（ソフトマックス関数の数式に該当するコードを示す） if x.ndim == 2の部分はミニバッチで用いる x = x-np.max(x)の部分はプログラムの動きを安定させるために記述されている 数式はreturn np.exp(x) / np.sum(np.exp(x))で記述されている np.mean・・・平均、np.square・・・二乗 確認テスト（交差エントロピーの数式に該当するコードを示す） -np.sum(np.log(y[np.arange(batch_size), d] + 1e-7)) ＋1e-7の部分は小さい値を足すことでlogの中身が0になって-∞にならないようにしている y・・・0と1が並んでいて正解の部分が1 d・・・ニューラルネットワークが正解だと判断した場所

以下のセクションは1_3_stochastic_gradient_descent.ipynb内のコードで説明されている

https://github.com/mizukihiraishi/Study-AI/blob/50597991f8f209bce75e36f4a04500af4d683575/1_3_stochastic_gradient_descent.ipynb

• 06_勾配降下法

  深層学習・・・学習を通して誤差を最小化するパラメータw, bを発見すること 学習は何度も繰り返し、前回間違えた部分を学習して次へ進む 確認テスト（w^(t+1) = w^(t) - ε∇Eに該当するコードを抜き出す） network[key] -= learning_rate * grad[key] 学習率・・・ニューラルネットワークを学習するうえで重要 学習率が大きすぎた場合、最小値にたどり着かず離れて行って発散してしまう 学習率が小さすぎた場合、発散することはないが、小さすぎると収束するまでに時間がかかってしまう 学習率が小さすぎる場合の問題点・・・直近の極小値で収束してしまう Momentum, AdaGrad, Adam（よく使われる）などは勾配降下法の学習率の決定、収束性向上のためのアルゴリズム 入力　→　学習　→　出力　→　誤差を出力　→　パラメータを更新　→　入力　このサイクルをエポックと呼ぶ 画像を学習する場合は500～1000枚、エポック数は100～200であることが多い

• 07_確率的勾配降下法

  確率的勾配降下法（SGD）・・・オンライン学習 画像の学習であれば、毎回のエポックで違う画像データを入力する 確認テスト（オンライン学習、バッチ学習について説明） オンライン学習・・・学習データが入ってくるたびに都度パラメータ(W, b)を更新し、学習を進めていく方法　→　リアルタイムに学習できるため、よく使われる手法 バッチ学習・・・一度にすべての学習データを使ってパラメータ更新を行う → データの量が多い場合、メモリに乗せきれない 勾配降下法はバッチ学習 画像データを機械学習で利用できる形式に変換するとデータサイズが10倍以上になる

• 08_ミニバッチ勾配降下法

  バッチ学習の手法をオンライン学習で用いれるようにしたもの データを小分けにしたものをミニバッチと呼ぶ ミニバッチ勾配降下法の2行目の式のNtは分割した数 ミニバッチの個数分誤差を出力できるので、それをミニバッチの個数で割って誤差を算出している これで、一度の計算に使用するメモリはミニバッチのサイズ分だけで済む ディープラーニングでは最もポピュラーな手法 ミニバッチで分割することによって、並列してたくさんのデータを計算できる 同じ計算方法で同時に並列して計算することをSIMDと呼ぶ(Single Instraction Multi Data：一つの命令を複数のデータへ) 確認テスト（勾配降下法の数式を図に表して説明する） 前回のエポックでの学習結果（重みの状態）でどれだけ間違えたかを学習率をかけて次のエポックの重みに反映させる

• 09_誤差勾配の計算

  隔週している際の∇Eをどう計算しているか 一般的な微分の方法・・・数値微分　→　プログラムで極小な数値を生成し、疑似的に微分を計算する 数値微分の式のhが微小な数値 わずかに重みを増やした時の誤差関数とわずかに重みを減らした時の誤差関数を差引して、2hで割ることでおおよその誤差関数の出力であるEの値がm番目の重みでどれだけ寄与したかを算出できる yとdを比較してEを算出する

• 10_誤差逆伝播法_誤差勾配の計算

  誤差E(y)をyで微分することで、どれだけyが間違っていたか計算できる Eのwについての微分を考える Eはyの関数なのでyで微分する、yはuの関数なのでuで微分する、uはwの関数なのでwで微分する。出てきた微分を全て掛け合わせるとEのwについての微分となる。 このような性質を微分の連鎖律と呼ぶ。（イメージは約分） 誤差逆伝播法は不要な再帰的処理を避けることができ、計算コストを減らすことができる コードのfunctions.d_mean_squared_errorはmseを微分したもの 確認テスト（既に行った計算結果を保持しているコードを抜き出す） delta1 = np.dot(delta2, W2.T) functions.d_sigmoid(z1)　・・・delta2が使われている 今回の（資料、動画）活性化関数は恒等写像としている。そのためyのuについての微分は1になる ∂E / ∂w^(2)を求める u = wz + b　・・・zは前の層からの出力 w(ji)z(i)以外のwは全て定数扱いになり、微分すると打ち消される 最終的に、∂E / ∂w^(2) = (y - d) ・1・[0 ... zi ... 0].T = (yj - dj) zi コード解説 delta2はEをyで微分した結果 delta1は今回は活性化関数がシグモイド関数なので、d_sigmoid 確認テスト ∂E / ∂yのコード・・・delta2 = functions.d_mean_squared_error(d, y) ∂E / ∂y・∂y / ∂uのコード・・・delta1 = np.dot(delta2, W2.T) functions.d_sigmoid(z1) ∂E / ∂y・∂y / ∂u・∂u / ∂w^(2)ji のコード・・・grad['W1'] = np.dot(x.T, delta1)

  逆伝播単体のコード　https://github.com/mizukihiraishi/Study-AI/blob/79673608ac95930e041a1fa6b1afef1600514881/1_2_back_propagation.ipynb

• 11_ディープラーニングの開発環境

  機械学習を行うために使える部品・・・CPU、GPU、FPGA、ASIC（TPU） CPU・・・どのPCにも備わっている GPU・・・グラフィックを描画するために使われるが、機械学習にも使うことができる FPGA・・・プログラムできる計算機 ASIC・・・プログラムできないが、上3つよりも計算速度が速い（メーカーに発注して作る専用品、数億円） 計算速度　CPU < GPU < FPGA < ASIC TPU・・・Google社が作った機械学習のためのASIC、クラウドで提供している

• 12_入力層の設計

  入力としてとり得るデータ・・・数値の集まり フラグ・・・クラスのこと　One-hotラベル 出力を加工した情報・・・ 生データから出力への変換には人間の手が加わっていることは望ましくない 理想的なニューラルネットワークの学習・・・end to end Yes Noの時Yesは1、Noは-1となっているが、YesとNoに距離的な関係性があれば適切だが、数値上の関係がない場合はOne-hot表現の方がよい（e.g.　Yes：0、No：0、どちらでもない：0、無回答：1） ある列だけ欠損値が多い場合、列ごと削除することもある（入力として採用しない） 欠損値を含む集合を除外・・・データの行ごと削除

• 13_過学習

  巨大なニューラルネットワーク・・・過学習が起きやすい（全ての点を通るグラフ） 過学習しているモデルの見分け方・・・学習が進むにつれて学習データに対する誤差（訓練誤差）は小さくなるが、テストデータに対する誤差（汎化誤差）は大きくなるもしくは小さくならない

• 14_データ集合の拡張

  https://www.deeplearningbook.org/contents/regularization.html https://github.com/yoyoyo-yo/Gasyori100knock k-meansの実装 https://dev.classmethod.jp/articles/k-means-impl/ データ拡張　Dataset Augmentation 学習データが不足するときに人工的にデータを増やす方法 特に分類タスク（画像認識）に効果が高い オフセット・・・画像の明るさを変える 回転・・・画像を回す、剪断・・・平行四辺形に歪めて傾ける 行ってはいけない変換（文字認識などでは180度回転させたりすると混同したりする） ニューラルネットワークのモデルでの画像拡張 入力層に近い層では、画像の基本的な情報が、出力層に近い層では複雑な特徴を学習する ノイズの注入・・・バリエーションを増やす 入力層に近い層でノイズを注入する・・・基本的なデータのバリエーションが増える 出力層に近い層でノイズを注入する・・・複雑なデータのバリエーションが増える ランダムにデータ拡張を行う場合、実験間での再現性がない・・・学習ごとに違うデータに対して同じデータ拡張の手法を行う ノイズはいつでも発生し得るので、ノイズの負荷はモデルの一部として捉えられる（ドロップアウトなど） 不良品検知の場合はカメラのアングルや製品の場所が変わらないので、クロップ（画像の一部を切り出す）などは意味がない クロップなどはデータ拡張（データの加工）

• 15_CNNで扱えるデータの種類

  https://www.deeplearningbook.org/contents/convnets.html https://www.cs.toronto.edu/~kriz/cifar.html https://products.sint.co.jp/aisia/blog/vol1-6 CNNでは次元間でつながりのあるデータを扱える 次元間でつながりがある・・・1次元：音声など横方向に対して連続性がある　2次元：画像など縦、横に対して連続性がある　3次元・・・時間、縦、横に対して連続性がある アニメのスケルトン・・・腕やひざの位置

• 16_特徴量の転移

  転移学習 復習：ニューラルネットワークは入力から数値を受け取り数値を出力する変換器、入力層に近い側はデータの基本的な特徴が抽出される ゼロベースの学習：基本的な特徴を大量のデータで学習させる　→　固有の処理を行う　・・・広い範囲の特徴を学習するため、学習コストが高い 画像の学習はどのような画像でも基本的な特徴を学習できる 転移学習：大量のデータで基本的な特徴を学習した性能の高い重み（学習済み重み、ベースモデル）を利用してやりたい学習をする ファインチューニング：ベースモデルを固有のデータについて再学習してから学習する プリトレーニング：教師無し学習でデータの特徴をつかむ　画像：オートエンコーダ、自然言語処理：BERT

• 17_問題解説

  問題1 図を入力をx、掛けられる値をw、最終的な値をEとした順伝播・逆伝播として書き直す 微分の連鎖律を用いて解いていく 問題2 p(C1|xi)をベイズの定理より求める p(C1|xi) = p(x|C1)p(C1)/p(x) 問題4 k = 10・・・10個に分割 ミニバッチのサイズ×エポック数 問題5 学習用と評価用を繰り返す データが大きいモデルには適さない 問題6 ｜の意味を考える ｜の右側がもとの事象、左側が起こった事象

[mizukihiraishi]

深層学習 day2

• 01_深層学習全体像の復習

  ニューラルネットワークは中間層を増やしていくと上手く行かなくなることがある AlexNetは7層程度だが、150〜200程度の規模のニューラルネットワークも出てきている 中間層を増やすと複雑な情報を表すことができる 中間層を増やしたときに出てくる問題・・・勾配消失問題 誤差逆伝播法のときに上手く学習ができてないとき 逆伝播のとき、微分の連鎖律を用いて各所を微分しながら、重みの更新量を求めていた 講義資料11ページの図は中間層が1層で、左に行けば行くほど入力層に近づく 誤差逆伝播法は入力層に近づくに連れて、微分の回数が増えていく → 中間層が増えるにつれて、膨大な数微分しなければならなくなる 確認テスト 連鎖律の原理を使い、dz/dxを求める z = t^2 t = x + y 2層のネットワークのコード https://github.com/mizukihiraishi/Study-AI/blob/ccb4b6a2cbef4db27d7db064e0d38b98b44cd93a/2_1_network_modified.ipynb

• 02_誤差逆伝播法

  wのji成分だけ変数扱いになるため、それに掛けられているziだけ最終的に残る SGD（確率的勾配降下法）のソースコードを参照して、誤差逆伝播法のコードを見ていく https://github.com/mizukihiraishi/Study-AI/blob/ccb4b6a2cbef4db27d7db064e0d38b98b44cd93a/1_3_stochastic_gradient_descent.ipynb 誤差逆伝播法を行っているのは49行目のbackward関数 functions.d_mean_squared_error(d, y)の部分がEをyについて微分している部分 今回のコードはy=uの恒等関数を使っている部分がシグモイド関数を用いている functions.d_sigmoid(z1)

• 03_勾配消失問題-全体像

  勾配消失問題・・・学習が上手くいかなくなる原因 学習が進むにつれて逆伝播で伝播する情報が少なくなり、重みの更新がされなくなる 講義資料P17 右図は学習回数が増えるにつれて、正解率が上がっている状態 左図は学習回数を重ねても正解率が上がっていない状態（学習がうまくいっていない） 逆伝播の際、出力層（誤差関数）から入力層へ情報が深くなっていくと、微分の式が増えていく 微分値は0〜1の範囲の値が多い、すなわち何度も掛けていくと値が小さくなっていくため、中間層が増えるにつれて勾配が消失していく 勾配消失問題が発生する代表的な活性化関数・・・シグモイド関数 シグモイド関数の微分結果は最大値が0.25（入力値が0のとき）のため、入力層に近づくに連れて活性化関数の数だけ最大値0.25の微分結果を掛けるため、勾配が小さくなっていく 確認テスト シグモイド関数を微分した時、入力値が0のときに最大値をとる。その値はいくつか？ 解答：0.25 勾配消失問題の解決法・・・活性化関数を別のものにする、重み（w）の初期値を工夫する、バッチ正規化

• 04_勾配消失問題-活性化関数

  活性化関数 ReLU関数・・・入力値が0より大きい場合はそのまま出力、0より小さい場合は0を出力 → 微分結果は1か0になる 微分結果が1のときその重みは使われ、0のときその重みは使われなくなる ReLU関数のメリット・・・微分結果が1か0になり勾配消失問題を回避できる、不要な重みは微分結果が0になり必要な重みのみが選択的に残る。（モデルのスパース化）すなわちモデルの効果的な動きを自力で見つけられるようになる 重みの初期値の設定 重みは色々な見方ができるようにしておきたい → 初期値に乱数を用いる 通常の乱数は平均が0で分散が1の正規分布（標準正規分布：自然界に一番多い正規分布）に従っている・・・この場合、うまく行かないことがある Xavier（ザビエル、ゼイビアー）の初期値設定 正規分布の値を前のノードの平方根で割る 前のノードの数・・・最初の重み(入力層に繋がっている中間層)であれば入力層の数、出力層であればその前の中間層の数、など

• 05_勾配消失問題-初期値の設定方法

  5層のニューラルネットワークで考える 重みを標準正規分布で初期化した場合 各レイヤの出力は0もしくは1が多い → 微分結果はほとんど0になる 重みを標準正規分布を100で割った値で初期化した場合(初期値の分散が非常に小さくなる) 各レイヤの出力は0.5に極端に寄る → どのレイヤを通っても同じような値を出力する Xavierの初期値設定で重みを初期化した場合 各レイヤの出力は0、1の値ではなくなり、極端に値が偏ることもなくなる Xavierの初期値はシグモイド関数やtanh関数など、グラフに表すとS字カーブになるような活性化関数に対して効果的 ReLU関数などにはHeの初期化・・・標準正規分布に√2/nを掛けたもの(nは前のレイヤのノード数) 標準正規分布で初期化した値をReLU関数に通した場合 各レイヤの出力は極端に0に偏る 重みを標準正規分布を100で割った値で(初期値の分散が非常に小さくなる)をReLU関数に通した場合 2層目以降の出力は極端に0に偏る 重みを標準正規分布をHeの初期値設定で初期化したした値をReLU関数に通した場合 ある程度の表現力を保った状態で出力される 確認テスト 重みの初期値に0を設定するとどのような問題が出るか 解答・・・すべての重みが均一に更新されるため、表現力が小さくなり、多数の重みを持つ意味がなくなる 初期値を比較したコード https://github.com/mizukihiraishi/Study-AI/blob/583456c51c389a1adc61d4d604fe32caadae922f/1_4_1_mnist_sample.ipynb

• 06_勾配消失問題-バッチ正則化

  バッチ正規化・・・ミニバッチ単位で入力値のデータの偏りを抑制する手法 ミニバッチ・・・小さなデータの塊 多くの場合、入力データは学習用と検証用に分割する 画像データの場合、GPUのミニバッチ・・・1～64枚、TPUのミニバッチ・・・1～256枚 コンピュータが学習する範囲・・・一つのミニバッチ バッチ正規化のメリット・・・中間層の重みの更新（学習）が安定し学習が速くなる、過学習を抑制する（学習データの極端なばらつきを抑えられるため） ミニバッチが8枚の画像の例xniは画像1枚、Ntは全体の枚数（8枚） ミニバッチの数式4・・・正規化した値をニューラルネットワークで扱うために調整している

• 07_勾配消失問題-実装演習

  活性化関数、初期化の手法のコード 2_2_2_vanishing_gradient_modified.ipynb https://github.com/mizukihiraishi/Study-AI/blob/8322955849683b58d30b8af4de5dba04b416c6e4/2_2_1_vanishing_gradient.ipynb https://github.com/mizukihiraishi/Study-AI/blob/8322955849683b58d30b8af4de5dba04b416c6e4/2_2_2_vanishing_gradient_modified.ipynb vanishing sample・・・正規分布で初期化した場合（学習が失敗するパターン） 青いライン・・・学習用データに対する正解率 オレンジのライン・・・検証用データに対する正解率 バッチ正規化のコード 2_3_batch_normalization.ipynb https://github.com/mizukihiraishi/Study-AI/blob/f020162494b7964a792f43cccce4615358a40be4/2_3_batch_normalization.ipynb バッチ正規化はクラス化されている センタリング・・・変数の値から平均値を引いて，平均を0にする変数変換 例題チャレンジ batch_x, batch_t = data_x[i:i_end], data_t[i:i_end] N・・・全データの数 range(0, N, batch_size)・・・N飛ばしで数が入る batch_size・・・2の倍数、特に8の倍数が多い（コンピュータは2進数を扱うため）

• 08_学習率最適化手法-全体像

  学習率最適化手法（Optimizer） 更新する重み＝現在の重みから誤差に基づいた修正量に学習率をかけて引く 今日ではAdamが良く用いられる 誤差関数の最小化（グラフの底）が勾配降下法の目的 学習率が大きすぎる場合・・・発散して学習する値から外れてしまう 学習率が小さすぎる場合・・・更新量が少なく学習に時間がかかる、局所的最適解に収束し、大域的最適解に収束しづらくなる 学習率の決め方・・・初期の学習率を大きく設定し、徐々に学習率を小さくしていく

• 09_学習率最適化手法-モメンタム

  Vt = μV-1 - ε∇E w^(t+1) = w^(t) + Vt Vt・・・wと同じようなデータが入っている Vt-1・・・前回の学習の重み μ・・・ハイパーパラメータ ε∇E・・・誤差を重みで微分したもの optimizer-visualization モメンタムの動き・・・最初は進みが遅く、段々と学習が進む速さが速くなる。大域的最適解にたどり着きやすい、収束が遅い 株価の移動平均のような動き プログラムの書き方(P46) μ・・・self.momentum

• 10_学習率最適化手法-Adagrad

  ht・・・重みの勾配量の二乗を保持している（どういった重みの更新をしたかを覚えさせる） h0 = Θ・・・好きな値で初期化 坂道が緩い場合に得意 問題・・・大域的最適解にたどり着きづらい（鞍点問題）

• 11_学習率最適化手法-RMSProp

  Adagradを基に、鞍点問題を解消したもの αどのぐらい前回・今回の勾配情報を保持するかを調整する メリット・・・大域的最適解にたどり着きやすい ハイパーパラメータの調整がそこまで必要とならない コード α・・・decay_rate

• 12_学習率最適化手法-Adam

  Adam・・・モメンタムとRMSPropの特徴・メリットを持つ手法 Adamの場合は学習（Error rate）が滑らかに下がっていく

• 13_学習率最適化手法-実装演習

  2_4_optimizer.ipynb https://github.com/mizukihiraishi/Study-AI/blob/dc0233eb02ef508222aa22e013d69bd53f9f9028/2_4_optimizer.ipynb SGD、Momentum、Adagradは学習がうまくいっていない RMSprop、Adamは学習がうまくいっている lossは下がっていくグラフ、プログラムでは正答率のグラフなので、上に上がっていく Momentumの記述があるセクションの40行目が重みを更新しているコード i・・・学習のステップ（全体でiters_num回） RMSpropのセクション41行目が重みの更新 decay_rate、learning_rate・・・ハイパーパラメータ Adam・・・2変数分経験を保持する行がある

• 14_過学習-全体像

  過学習・・・極端に学習用データに適合してしまい、検証用データに対する誤差が悪くなる よくあるパターン・・・ある程度までは検証誤差が下がっていくがある時点から検証誤差が悪くなる　→　過学習が始まる前のポイントで学習を終了して、その時点でのモデルを利用する 入力データが少なく、ニューラルネットワークが大きい・ノード数が多い場合（自由度が高い）に過学習が起こりやすい

• 15_過学習-正則化手法1

  過学習を抑制する方法として正則化を導入する ニューラルネットワークの自由度が高すぎるため過学習が起きている　→　自由度を制約する 過学習が起きているとき・・・ニューラルネットワークの内部では重みが極端に大きくなっていることがある 重みが大きすぎる　→　入ってきた情報を過大評価している　→　一部の入力データに極端に反応してしまう 極端な重みにならないように制約を設ける 誤差関数に対して正則化項を加算する L1正則化・・・Lasso回帰、p1ノルム L2正則化・・・Ridge回帰、p2ノルム それぞれベクトルの大きさを用いた正則化手法 L1、L2正則化・・・pノルムを加える ノルム・・・距離を表す

• 16_過学習-正則化手法2

  p1ノルム・・・x + y　マンハッタン距離　→　加算のみで計算できる p2ノルム・・・√x^2+y^2　ピタゴラス（三平方）の定理で求める距離（ユークリッド距離）→　正確だが、計算が複雑になる pノルム・・・各々の項をp乗して全体を1/p乗する

• 17_過学習-正則化手法3

  重みが2つの場合のニューラルネットワーク 誤差関数が一番小さい重みの時に過学習状態になる L2正則化ではすり鉢状の正則化項 L1正則化は4つの平面の組み合わせの正則化項 角の状態・・・w0=0 角の場所を目指して重みを更新していく　→　最終的にw0 = 0、w1 = *になる　→　スパース化する

• 18_過学習-正則化手法4

  正則化のグラフの意味 ３Dグラフ・・・ある部分を切り取った誤差関数の等高線 楕円形で中心に黒丸（一番低い場所）がある図・・・誤差関数の等高線 L2正則化では円、L1正則化では正方形で描かれている線・・・正則化項の等高線 誤差関数の等高線と正則化項の等高線が交わった場所・・・誤差関数に正則化項を加算したときに一番低くなる場所（重みを更新する際に目指す場所） L2正則化後に目指す場所・・・ L1正則化後に目指す場所・・・軸上になる（どちらかの軸は0になる）→ 一つの重みは0になるポイントを探索する 確認テスト L1正則化のグラフはP67右図

• 19_過学習-例題

  L2ノルムの微分を示すコードを示す L2ノルムは||param||^2なので、4のparamとなる L1ノルムの微分を示すコードを示す +xの時は1、-xの時は-1、0(底)の時は0となるので、3のnp.signとなる

• 20_過学習-ドロップアウト

  学習のたびにランダムにニューラルネットワークの接続を部分的に切断して学習する データのつながりにバリエーションが生まれる → 過学習の抑制につながる データ量を変化させずに異なるモデルを学習させていると解釈できる 2_5_overfiting.ipynb https://github.com/mizukihiraishi/Study-AI/blob/31925fc146f27fe9e5e3499c25d62d48b6cf5b59/2_5_overfiting.ipynb weight decay ・・・正則化のコード overfitingの例・・・学習用とテスト用で結果に乖離が発生している L2正則化・・・学習用データに対しての結果は100%にはならなくなる L1正則化・・・一部の重みが消されるため、学習用データセットに対しての結果が100%にはならなくなる ドロップアウト・・・ニューラルネットワークの中で学習対象のデータが増えたような状態になっているため、学習速度は遅くなっている ドロップアウトとL1正則化を掛け合わせると学習がスムーズになる

• 21_CNN-構造1

  CNN・・・画像の識別や画像の処理によく用いられるが、適用できるデータには画像にとどまらない → データの次元間で繋がりがあれば扱える 複数チャンネルのデータ・・・カラー画像・動画のRGBなど、一つの個所に複数のデータがある場合 次元間につながりがある・・・画像の場合、あるピクセルの隣（横・縦方向）には同じような色が続くことが多い　動画の場合、次の時刻は同じような映像が続くことが多いなど

• 22_CNN-構造2

  画像のニューラルネットワークについて深堀りする P80CNNの構造図では下から上へ進んでいく LeNet：代表的なCNN 入力画像は32×32(1024個の数値)、出力は10種類(10個の数字)の分類結果 (32, 32):1024 → (28, 28, 6):4704 → (14, 14, 6):1176 → (10, 10, 16):1600 → (5, 5, 16):400 → (120, ):120 → (84, ):84 → (10, ):10 3232の画像に対して6人の人が2828の感想を述べている→1414に感想を要約する→要約した感想を16人の人に読んでもらって1010の感想を述べてもらう→感想を5*5に要約する→感想を120の一冊の本にまとめる→84に要約する→10に要約する

• 23_CNN-全体像

  畳み込み層 入力3チャンネル（カラー画像）の場合を考える 入力値に対してフィルターを1マスずつずらしながら出力値を演算する 1マスずつずらすことによって次元間の繋がりが保持されている 音声データは時間方向に対してフィルターをずらしていって出力を得る 全結合層 今までのニューラルネットワークは全結合をしている CNNの後半部分は全結合をしている 全結合より前の層では次元の繋がりを保って特徴量の抽出を行う 全結合層では抽出された特徴量に基づいて人間が欲しい出力に変換する

• 24_CNN-畳み込み層（バイアス）

  畳み込み層には重みとバイアスが含まれる 44の入力に対して33のフィルターを通すと2*2の出力が得られる フィルターの数だけ出力が得られる パディング 畳み込み画像に対してフィルターを通すと出力はサイズが小さくなる 普通に何度も畳み込み演算をした場合、出力が小さくなりすぎる また、出力の画像サイズが中途半端なサイズになる

• 25_CNN-畳み込み層（パディング・ストライド）

  パディングは全方向に対して1マス広げる パディングの効果・・・畳み込み演算をした出力のサイズが小さくならない パディングの埋め方・・・0を入れる、近くの数字を入れる ストライド ストライド・・・フィルターの動く量、ストライド1の場合は隣にずらす、ストライド２の場合は1マス飛ばしでずらす ストライドを大きくした場合、出力サイズがより小さくなる チャンネル チャンネル・・・フィルターの数 なぜ畳み込み演算をするのか 全結合で画像を学習した場合、縦横チャンネルが1次元のデータとして処理されるため、次元間の繋がりが学習に反映できない

• 26_CNN-畳み込み層-実装演習

  2_6_simple_convolution_network_after.ipynb https://github.com/mizukihiraishi/Study-AI/blob/6789302001f7055f3678aa117a2d08866c243aaa/2_6_simple_convolution_network_after.ipynb 畳み込み演算が使われている場所 simple convolution network class 23～29行目 convolution classの中に畳み込み演算が記述されている im2col・・・image to column im2colの変換 https://medium.com/@_init_/an-illustrated-explanation-of-performing-2d-convolutions-using-matrix-multiplications-1e8de8cd2544 2*2のフィルターで読み込む場合 読み込んだものを横か縦に並べる URLの参考資料では縦（1列）に、プログラムでは横（1行）に読み込んだものを並べている 読み込んだ値を並べることによって重みの行列演算がそのままできる（.dotで計算できる）

• 27_CNN-プーリング層

  プーリング層のバリエーション・・・Max値（MaxPooling）、平均値（AveragePooling） MaxPooling・・・プーリングの対象領域の最大値を出力する AvgPooling・・・プーリングの対象領域の平均値を出力する 確認テスト 66の入力画像に対して22のフィルタで畳み込み演算をした時の出力画像のサイズをもとめる。ただしストライドとパディングは1とする 解答：高さ幅ともに (6 + 2 1 -2 ) / 1 + 1 = 7　よって77 畳み込み演算の出力サイズの公式 OH(出力の高さ) =( 画像の高さ + 2 パディングの高さ - フィルタの高さ) / ストライド +1 OW(出力の幅) = (画像の幅 + 2 パディングの幅 - フィルタの幅 )/ ストライド + 1 プーリング層の実装 2_6_simple_convolution_network_after.ipynb Pooling class プログラムではMaxプーリング 22～24行目 畳み込み層2層のCNNのコード https://github.com/mizukihiraishi/Study-AI/blob/3e0b41f9364c06207a23057411fbea591f53e348/2_7_double_comvolution_network_after.ipynb 畳み込み層を深くしたCNNのコード https://github.com/mizukihiraishi/Study-AI/blob/3e0b41f9364c06207a23057411fbea591f53e348/2_8_deep_convolution_net.ipynb

• 28_CNN-AlexNet

  AlexNet・・・初期のころのCNNの手法 入力は224 224 3 畳み込み層を全て通すと13 13 256の出力になる 畳み込み層から全結合層への変換 Fratten処理・・・畳み込み層から出力されたものを全て1行のベクトルとして出力 13 13 256をFratten処理すると43264 1となる Global MaxPooling、GlobalAvgPooling・・・各レイヤー（チャンネル）ごとに最大もしくは平均を出力する 13 13 256をGlobal MaxPoolingもしくはGlobal AvgPooling処理すると256 1の出力になる FlattenよりもGlobal MaxPooling、GlobalAvgPoolingのほうがうまく特徴を掴むことができる AlexNetでは1313256から40961の出力に変換されているように図では描かれているが、実際はFlattenの処理が間にある(1313*256 → 43264 → 4096に変換されている) 全結合層では通常のニューラルネットワークの処理が行われてサイズが1000の出力になる サイズ4096の全結合層の出力にドロップアウトの処理を加えて過学習を抑制している