search

AkihikoWatanabe / paper_notes

たまに追加される論文メモ
https://AkihikoWatanabe.github.io/paper_notes
24 stars 0 forks source link

A Self-Attentive model for Knowledge Tracing, Pandy+ (with George Carypis), EDM'19 #417

Open AkihikoWatanabe opened 3 years ago

AkihikoWatanabe commented 3 years ago

https://arxiv.org/pdf/1907.06837.pdf

AkihikoWatanabe commented 3 years ago

Knowledge Tracingタスクに初めてself-attention layerを導入した研究

AkihikoWatanabe commented 3 years ago

interaction (e{t}, r{t}) および current exercise (e_{t+1}) が与えられた時に、current_exerciseの正誤を予測したい。

interactionからKey, Valueを生成し、current exerciseからQueryを生成し、multi-head attentionを適用する。その後、得られたcontext vectorをFFNにかけて、正誤を予測する。

image

AkihikoWatanabe commented 3 years ago

image

DKTや、DKVMNを全てのデータセットでoutperform

AkihikoWatanabe commented 2 years ago

446 においてはSAKTがDKT, DKVMN等に勝てていないのに対し（ASSSITments Data + Statics Data）

450 #452 においてはSAKTはDKT, DKVMNに勝っている（EdNet Data）

451 においてもSAKTがDKTに勝てないことが報告されている（ASSISTments Data + Statics Data + Bridge to Algebra, Squirrel dataなど）。ただし、Interaction数が大きいデータセット（Squirrel data）ではDKTの性能に肉薄している。

Large ScaleなデータだとSAKTが強いが、Large Scaleなデータでなければあまり強くないということだと思われる。 Large Scaleの基準は、なかなか難しいが、1億Interaction程度あれば（EdNetデータ）SAKTの方が優位に強くなりそう。 数十万、数百万Interaction程度のデータであれば、DKTとSAKTはおそらくcomparableだと思われる。

（追記） しかし #456 においてはSAKTはEdNetデータセット（Large Scale）においてDKT, DKT+, DKVMNとcomparableなので、 正直何を信じたら良いか分からない。