issues
search
DwangoMediaVillage
/
paper_readings
Dwango Media Village内で行われている論文紹介の資料
58
stars
2
forks
source link
Mastering the Dungeon: Grounded Language Learning by Mechanical Turker Descent
#38
Open
kogaki
opened
6 years ago
kogaki
commented
6 years ago
MTurkでアノテータに与えるタスクを工夫することで,より少ないアノテーションで問題が解ける良質なアノテーションを得る
論文本体・著者
https://arxiv.org/abs/1711.07950
FAIR
ICLR2018
解きたい問題
MTurkで、少ない金額で良い(=汎化性も高い)学習ができるアノテーションを得たい
新規性
他のアノテータが与えたアノテーションと
戦わせる
アイディア
実装
評価値 = 既存のデータセットでの精度 + 未知の、他のアノテータが作ったデータセットでの精度
学習には自分の作ったデータセット + 既存のデータセットを用いる
既存のデータセットでの性能向上 + 未知のデータセットにも対応できる + 自分の作ったデータセットが未知のもの(既存と離れた)になる という複数の評価を最大化する
他のアノテータのデータセットに対応 = 汎化性
他のアノテータのモデルを性能落とすように競う = コーナーケースも対応
既存のデータセットでの性能 = アノテーションの質の担保(嘘をつかない)
論文式1
MiをDiで評価した精度 + MiをDall(既存)で評価した精度
論文図2 競争フェーズは細かく何度も行う
実験・議論
既存の,協調のみのモデルより,協調 + 競争の方が同じアノテーション数で良い精度を示した
読んだ中での不明点などの感想
アノテーションが面白くなるなら人間はアノテータでもいいや。。
関連論文
MTurkでアノテータに与えるタスクを工夫することで,より少ないアノテーションで問題が解ける良質なアノテーションを得る
論文本体・著者
解きたい問題
新規性
実装
実験・議論
読んだ中での不明点などの感想
関連論文