Embedding-based Retrieval in Facebook Search

[yskn67]

一言でいうと

Facebookでのembedding-based retrievalの適用事例 queryと検索対象であるdocumentをembeddingしてANNで近しいdocumentを獲得するようになっている。 embeddingの学習にはclickされたdocumentをpositive、ランダムにサンプリングしたdocumentをnegativeとして triplet lossを用いて学習を行っている。(clickしなかったdocumentをnegativeとした場合recallが悪化したそう) query、documentをembeddingするときにそれぞれ検索者、投稿者のsocial graphの情報とlocationの情報を embeddingして活用する。これにより、locationが近しいdocumentを検索することができる。

実用としてはこれまでのBoolean matchingのものと組み合わせてembedding basedのものと使っているよう。

advanced topicsでは性能向上のためにいくつかの実験を行っていた

• hard mining
  • negativeデータをrandom samplingにするとsocialな情報はほぼ使われない -> タスクが簡単すぎるため
  • negativeデータをmini-batch内で最もpositiveなデータに近いものを選ぶようにした(Online hard negative mining)
  • recallの向上を確認
  • こちらをOfflineで行った場合以下のようなことが起こった(Offline hard negative mining)
  • 最もpositiveなデータに近いものを選んだ場合 -> randomにデータを選んだ場合と比較してoutperformしなかった
  • 100~500番目に近いデータを選んだときに最もrecallがよかった
  • 以上から以下の示唆を得ている
  • randomなnegativeとhard negative miningのnegativeを混ぜて学習する
  • hard negative miningのnegativeで学習したモデルをrandomなnegativeで学習したモデルに転移学習させる
• embedding ensemble
  • embeddingのモデルによってrecall-precisionのトレードオフが変わるのでいくつかのモデルを重みづけ平均することで 性能向上が見込まれている

論文リンク

https://arxiv.org/abs/2006.11632

著者/所属機関

リンク参照

投稿日付(yyyy/MM/dd)

20 Jun 2020