search

shimopino / papers-challenge

Paper Reading List I have already read
30 stars 2 forks source link

Editable Neural Networks #69

Open shimopino opened 4 years ago

shimopino commented 4 years ago

論文へのリンク

[arXiv:2004.00345] Editable Neural Networks

著者・所属機関

Anton Sinitsin, Vsevolod Plokhotnyuk, Vsevolod Plokhotnyuk, Sergei Popov, Artem Babenko

投稿日時（YYYY-MM-DD）

2020-04-01

1. どんなもの？

DLモデルの実応用では、予測ミスなどを素早く検知して修正することが重要となる。本研究では、特定のサンプルに対するモデルの予測ミスをほかのサンプルに対する挙動に影響を与えることなく修正を行うEditable Trainingを提案した。

2. 先行研究と比べてどこがすごいの？

実応用ではDLモデルのミスを素早く修正することが重要となるが、通常ある1つの入力に対してモデルの修正を行うと、ほかのサンプルに対する予測に対しても影響を与えてしまう。

この問題に対する手法は2つが考えられており、計算コストがかかるがデータ増強を行ったうえでモデルを再学習させるか、人力で特定の入力に対する予測を割り当てる方法が存在していた。

本手法ではモデル全体の性能を保ったまま、メタ学習を使用して予測ミスしたサンプルに対するモデルの挙動を変更するEditable Trainingを提案した。

3. 技術や手法の"キモ"はどこにある？

NNは入力xとパラメータθに依存する関数f(x,θ)ととらえることができ、タスクに応じてパラメータθを特定の損失関数に対して最適化させていく。本研究では分類ミスをした入力に対してのみモデルの挙動が変わるようにパラメータを調整していくことを考えており、θをある制約leのもと調整していくθ^=Edit(θ, le)と定式化している。

4. どうやって有効だと検証した？

5. 議論はあるか？

shimopino commented 4 years ago

openrview https://github.com/xtinkt/editable