BERT は膨大なテキストから事前学習しているので、Entity 間の関係性を implicit に学習しているのでは？という仮説を実験して確かめた論文。
実験の結果、fine tune しなくても (DANTE, born-in, X) のような triplet を定義して X を当てるというタスクや open domain QA のようなタスクをそこそこの精度で解けてしまうことが確認された。
Relational Knowledge Extraction の場合は、 (DANTE, born-in, X) を解く代わりに、 Dante was born in [MASK]. を解いている。
QA の場合は、 Who developed the theory of relativity? を解く代わりに The theory of relativity was developed by [MASK]. を解いている。
BERT は膨大なテキストから事前学習しているので、Entity 間の関係性を implicit に学習しているのでは？という仮説を実験して確かめた論文。 実験の結果、fine tune しなくても
(DANTE, born-in, X)のような triplet を定義して X を当てるというタスクや open domain QA のようなタスクをそこそこの精度で解けてしまうことが確認された。Relational Knowledge Extraction の場合は、
(DANTE, born-in, X)を解く代わりに、Dante was born in [MASK].を解いている。 QA の場合は、Who developed the theory of relativity?を解く代わりにThe theory of relativity was developed by [MASK].を解いている。