osuossu8 / paper-reading

6 stars 1 forks source link

[2019] A Self-Attentive model for Knowledge Tracing #18

Open osuossu8 opened 3 years ago

osuossu8 commented 3 years ago

論文リンク

https://arxiv.org/pdf/1907.06837.pdf

見つけた方法

どんなもの？

学生にパーソナライズされた学習プラットフォームを提供するための重要な研究領域である知識のトレーシングに対して、KC (一連の学習活動に参加している各生徒の知識概念) 間の関連性を識別するために、Self Attentive Knowledge Tracing (SAKT)という自己注意に基づくアプローチを提案
提案したSAKT法は、全データセットの平均でAUCが4.43%向上し、最新のKT法を大幅に凌駕することがわかった

先行研究と比べてどこがすごい？

先行研究 (RNN に基づく手法) は、実社会のデータを扱う場合のような疎なデータを扱う場合には、一般化がうまくいかないという問題があった
比較的少ない過去の活動から予測を行うため、RNNを用いた手法よりもデータの分散性の問題に対応できる
SAKTの主成分（自己注意）は並列化に適しており，RNNベースのモデルよりも桁違いに高速である

技術や手法のキモはどこ？

自己注意モデル (Transformer) を使っている

議論はある?

osuossu8 commented 3 years ago

KT タスクは，教師付き順序学習タスクとして形式化することができ，学生の過去の演習インタラクション X = (x1, x2, ... , xt) が与えられたときに，次のインタラクション xt+1 のある側面を予測する
インタラクションは xt = (et, rt) のように表され，ここで et はタイムスタンプ t で学生が挑戦した課題，rt は学生の答えの正しさである
KTの目的は，生徒が次の課題に正解できるかどうかを予測すること，すなわち，p(rt+1 = 1|et+1, X)を予測することである

osuossu8 commented 3 years ago

相互作用タプル xt = (et, rt) は，数値 yt = et + rt × E としてモデルに提示されます
位置エンコーディング
この層は、学習者の知識状態が時間とともに徐々に着実に進化していくため、知識トレース問題において特に重要である
次に、位置埋め込み行列Piのi番目の行が、相互作用シーケンスのi番目の要素の相互作用埋め込みベクトルに追加される
埋め込み層からの出力は、埋め込まれた相互作用入力行列Mˆと埋め込まれた運動行列ESelf-attention層である
この層では、過去に解いた問題のそれぞれに対応する相対的な重みを求め、現在の問題の正しさを予測します
(t + 1)st運動の結果を予測する際には、最初のt個の相互作用のみを考慮する必要があります。したがって，クエリQiに対しては，j > iのようなキーKjは考慮されません．我々は，将来の相互作用キーから学習した重みをマスクするために，因果関係層を使用する．

osuossu8 commented 3 years ago

上述の自己注意層では、前回の相互作用の値Viの加重和が得られます
しかし、マルチヘッド層から得られる行列の行S = Multihead(Mˆ , Eˆ )は、前回の相互作用の値Viの線形組み合わせになります
モデルに非線形性を組み込み、異なる潜在次元間の相互作用を考慮するために、フィードフォワードネットワークを使用します
残差接続[2]は、低層の特徴を高層に伝播させるために使用される
したがって，低層の特徴が予測に重要な場合，残差接続は，予測が実行される最終層への伝搬に役立つ
したがって、残差接続は、最近解いた問題の埋め込みを最終層に伝播させるのに役立ち、モデルが低層情報を活用しやすくなります
残差接続は自己注意層とフィードフォワード層の両方の後に適用されます

osuossu8 commented 3 years ago