[2017] Repeat before Forgetting: Spaced Repetition for Efficient and Effective Training of Neural Networks

[yos1up]

ざっくり言うと

ヒトの学習者が効率的に学習を行うための「間隔反復」と呼ばれる手法が心理学で確立されている．これは，既に学習された事項が提示される間隔を延長していくというものである．この手法を，ニューラルネットワークの学習に適用するとどうなるか？

提案されたアルゴリズムでは1エポックあたり34-50%のデータのみが用いられる（そのエポックで「復習をする必要がある」と判断されたデータだけを学習する）．通常の学習を行うよりも実時間で 2.9-4.8 倍高速となり，さらに性能も改善．

キーワード

間隔反復 (spaced repetition)

1. 情報

論文リンク

https://www.aclweb.org/anthology/D17-1255

著者

Hadi Amiri, Timothy A. Miller, Guergana Savova Harvard Medical School

投稿日付

2017年

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

7. 実装の詳細

8. データセット

9. 結果の詳細

雑感&メモ

被引用文献もまだ少ないが割と重要な知見だと思うので，もう少し深掘りしたい．理論検証とか・・・