[2021-05-08] 論文読み会

どんなもの？

埋め込みのBenchmarkを計測するところは結構なるほど感が強かった。以下3つの方法で埋め込みの良し悪しを計測しているみたい。

ユーザーの興味トピックの予測。Twitterユーザーは、オンボーディングの際に、どのトピックに興味があるかを示すことがあります。これらのトピックを予測するためにユーザ埋め込みを学習したロジスティック回帰のROC-AUCは、ユーザの興味を表現する埋め込みの能力の指標となる。
メタデータの予測。特定のユーザが自分のデモグラフィック情報（性別、年齢など）を提供する。このメタデータを予測するためにユーザエンベッディングで訓練されたロジスティック回帰のROC-AUCは、そのエンベッディングが下流の機械学習タスクでどれだけうまく機能するかの尺度となる。
ユーザーフォロージャカードを用いた計算。2人のユーザーの嗜好の類似性は、そのユーザーがフォローしているアカウントのセットのJaccardインデックスによって推定することができます。ユーザーペアのセットにおいて、ユーザーのエンベッディングの類似性（ユーザーのエンベッディング間のコサイン距離によって決定される）とフォローセットのジャカードインデックスの間の相関を計算することで、良い埋め込みが計算できているかの尺度になる。

計算した埋め込みを共有ストレージに保存することで、誰でも使用可能にできる状態は良さそうだな〜。

This enables machine-learning teams throughout Twitter to easily discover, access, and use freshly trained embeddings.

いくつかMLチームがあって、その中の1つの部隊が良い埋め込みを作る担当、みたいな感じなのかな。