search

mabonki0725 / MLandRobotic

0 stars 0 forks source link

Hybrid computing using a neural network with dynamic external memroy #7

Open mabonki0725 opened 8 years ago

mabonki0725 commented 8 years ago

https://github.com/mabonki0725/MLandRobotic/blob/master/deepmind-DNC%40nature.pdf

mabonki0725 commented 8 years ago

DeepMind社の自然言語の推論モデルNatureで発表

教師付モデル(bAbIデータセット使用)と強化学習モデル（block puzzle)の訓練成果を例題として提示している。 　教師付モデルでは、bAbIデータセットで訓練して、ロンドン地下鉄の問題に適応 　強化学習モデルではblock puzzleを強化学習で訓練した結果を教師データとして適応 　bAbI -> https://research.facebook.com/research/babi/

下図の訓練をbAbIデータセットで行う 　簡単な文章と質問および回答の例（bAbIデータセット)を多数読み以下の方法で重みを訓練 　　文章からは行為、実行者、その他に３分類してメモリーへの展開の重みを訓練（緑色） 　　質問からは、メモリに展開した順番でLINK構造として重みを訓練（赤色） 　　回答からは、LINK構造から最短パスを検出する重みを訓練（青色）

deepmind_dnc0

この訓練結果を使ってロンドン地下鉄の行先の推論を行っている（下図） 　(1) 地下鉄の駅名と隣駅名を訓練した重からsoftMaxで確率的にメモリーに展開(緑色) 　(2)質問から、ビクトリア駅を始点とする駅間のLINK構造を訓練の重みで作成(赤色、、緑色) 　(3)回答をLINK構造を辿ってオックスフォード駅の東側の駅名を推定(青色)

deepmind_dnc1