KKaichi
commented
2 days ago Pseudo-online Measurement of Retrieval Recall for Job Recommendations - A case study at Indeed
概要
- 情報取得の改善はランキングモデルのバイアスにより効果を発揮しない場合があり、オンラインパフォーマンスの改善につながらないというシナリオに遭遇している。
- 初期段階で、最も関連性の高いマッチを多くのアイテムから選択することが主な目的なため、recallが評価指標として適している。
- Indeedのジョブレコメンドシステムでは、従来のオフライン評価メトリックである
recall@kを基に考えられた擬似オンラインメトリックを、オンライン設定での検索戦略の効率を測定するビジネス指標として使用。 - ケーススタディを紹介
リコールの定義とバリエーション
前向きリコール
- 特定の日に推薦されたジョブマッチがその後の数日間に関連するジョブマッチをどれだけ捕えることができたかを評価する手法。
- 推薦されたジョブがどれだけ早く有効なマッチをキャッチできるかを測定し、情報取得段階での推薦精度を示す。
$$ \text{前向きリコール} = \frac{\text{特定の日に推薦された関連マッチの数}}{\text{次のx日間の関連マッチの総数}} $$
後ろ向きリコール
- 過去に記録された関連マッチが、過去に推薦されたジョブマッチにどれだけ正確に一致しているかを評価する。
- 時間を経ても推薦の効果が持続しているかを分析できる。
$$ \text{後ろ向きリコール} = \frac{\text{過去x日間に推薦された関連マッチの数}}{\text{単一の日の関連マッチの総数}} $$
比較
- 前向きリコールと後ろ向きリコールは、分子と分母で使用するサンプルの取得方法が異なるため、それぞれ異なる値を示す。
- しかし、実際にはどちらの方法でも高いリコールを示すマッチプロバイダは、もう一方の方法でも高くランクされることが多い。
- パラメータ
xは推薦から求職者の反応にかかる遅延を考慮するために設定され、Indeedでは7日間を基準にしている。
実装
-
Indeedのジョブレコメンドシステムにおける情報取得リコールの測定では、後ろ向きリコールを選択した。
-
特定の日に記録された関連マッチ（応募ボタンのクリック）を基準とし、過去7日間に推薦されたジョブマッチとの結合を行い、データセットを構築。
-
このデータは内部プラットフォームにテーブルとして提供され、容易にクエリを行い、情報取得戦略の効果を分析できる。
-
データセットに含まれる主なカラムは以下の通り：
- ジョブIDとジョブシーカーID
- メタデータ（ジョブやジョブシーカーに関する情報）
- 応募ボタンクリックフラグ（求職者が応募したかを示す）
- マッチプロバイダ（過去7日間に関連マッチを生成したプロバイダ）
-
さらに、Indeedは遅延したポジティブシグナル（応募後の採用者からの反応など）も収集しており、これらをデータセットに組み込むことで、ジョブ推薦の追加ユーザーシグナルのリコールを追跡している。
実際の適用例
例1: オンライン環境における情報取得ステージのパフォーマンス測定
- オンライン実験では、推薦システムの変更が求職者に与える影響を測定するのが難しいことが多い。
- 特に、ジョブ推薦メールチャネルのマッチプロバイダの埋め込み技術を改善した場合、応募数が有意に改善されたが、最終的なパフォーマンスには反映されないこともある。
- この課題に対処するため、リコールメトリックを使用することで、情報取得段階での改善効果を明確に確認できた。
例2: マッチプロバイダのリコールの追跡
- 技術的改善を加えたマッチプロバイダ（M）のパフォーマンスをリコールを用いてトラッキングした結果、Mのリコールが増加し、より多くの関連マッチをキャッチできるようになったことが明らかになった。
- この結果、他の指標では見えにくい改善効果をより正確に捉えることができた。
例3: ジョブ推薦メールのファネル分析
- 推薦システムのファネル内で、情報取得段階から最終的な応募までの遷移を分析。
- リコールと精度（precision）を比較することで、推薦プロセスの各段階で改善の機会を特定。
- ファネルを通過するにつれてリコールは減少し、精度が改善するはずだが、最初のステップで精度が低下していることが判明し、さらなる品質改善が必要であることが示された。
例4: 見逃しの機会の特定
- 手動検索で発見された関連ジョブを分析し、戦略改善の機会を確認。
Hayashi-Yudai
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev. #273
What
話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！