What does BERT know about books, movies and music? Probing BERT for Conversational Recommendation - Githubissues

yskn67 / reading_papers

reading papers memorandum

MIT License

1 stars 0 forks source link

What does BERT know about books, movies and music? Probing BERT for Conversational Recommendation #20

Open yskn67 opened 3 years ago

yskn67 commented 3 years ago

一言でいうと

会話型の推薦システムを構築する上でBERTが固有のアイテム(本や映画など)についての情報をどれだけパラメータに含められているかについて調査を行った。調査はBERTのMLMやNSPの機能を使用したり、最終層のembeddingを使用して行った。そうすると以下のようなことがわかった。

BERTは固有アイテムに関する情報を幾ばくか保存している(固有アイテムのジャンルが答えられる点からの考察)
BERTはcollaborative-basedな情報よりcontent-basedな情報を蓄えている(推薦より検索が得意な点からの考察)
BERTはfine-tuningにより知識を注入することができるが摂動に弱い

論文リンク

https://dl.acm.org/doi/10.1145/3383313.3412249

著者/所属機関

Gustavo Penha 1 Claudia Hauf 1

1 Delft University of Technology

投稿日付(yyyy/MM/dd)

recsys 2020