[2022/07/07]Machine Learning 輪講

[hakubishin3]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/148

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[zerebom]

A Linear Bandit for Seasonal Environments

• キャンペーンなどにより報酬確率分布が変化しても、それを追従できるようなcontextual banditアルゴリズム
• shadow armという、最新の数データで学習したarmを作る
  • baselineとshadow armから尤度が高いものを選ぶ
  • 直近の傾向が大きく変わればshadow, そうでなければbaselineから選ばれる
    • 傾向が一緒なら多くのデータを使っている baseが強い
  • shadowが勝てばbaselineに追加される
  • baselineはpluningされる

参考

• 報酬確率分布の変化に応じたBandit Algorithm〜論文解説：A Linear Bandit for Seasonal Environments〜 - MonotaRO Tech Blog
• Netflixも使っている！Contextual Banditアルゴリズムを徹底解説！（Part 1）

[Hayashi-Yudai]

Multi-interest Diversification for End-to-end Sequential Recommendation

これまでのsequential recommenderでは各ユーザーの主な興味のみを重視して推薦を行い、精度の上昇が追求されてきた。しかし、多くのユーザーにとって興味は単一のものではない。この論文ではユーザーの複数の興味に着目した推薦を行うことによって多様なアイテムを推薦することを目的としている。

• IIM (Implicit interest mining) module: ユーザーの複数の興味を拾う部分。以下の2種類の実装が試されている
  • Multi-head attention (MA) ベース
  • Dynamic routing (DR) ベース
• IDP (interest-aware, diversity promotion) module: 興味に基づいて多様なアイテムを推薦するための部分

訓練時に用いられている損失関数は

第一項目が精度に関するロス、２項目が推薦アイテムの多様性に関するロス。３、４項目は制約関数。３項目は抽出された興味がかぶらないようにするための制約で、４項目が推薦アイテムの中で、ある特定の興味から推薦されたアイテム数が多くならないようにするための制約。λeはハイパラ。

[nogawanogawa]

Entity Personalized Talent Search Models with Tree Interaction Features

論文URL

https://arxiv.org/abs/1902.09041

著者

Cagri Ozcaglar, Sahin Geyik, Brian Schmitz, Prakhar Sharma, Alex Shelkovnykov, Yiming Ma, Erik Buchanan

会議

WWW 2019

背景

タレントサーチでは、求職者と採用担当者またはリクルーターを結びつける。同じシステムの異なるユーザーに対して推薦をパーソナライズするために、一般化線形混合（GLMix）モデルがしばしば利用されている。 GLMix モデルはエンティティの ID に基づいて線形係数の異なるセットを検索するという点で、決定木に似た働きをするが、特徴は依然として線形的に組み合わされる。 一方、GBDTのような非線形モデルは、必要な処理能力、学習した各モデルのサイズ、およびパーソナライゼーションに利用できるデータが限られている場合にオーバーフィッティングの恐れがある。

目的

エンティティレベルでのパーソナライズと、非線形な特徴量の活用の両立

アプローチ

• GLMixとGBDTの組み合わせ
  • GLMixモデルによるエンティティレベルのパーソナライズ
  • GBDTの木の相互作用特徴により、GLMixモデルで非線形の特徴変換を実現する

memo

https://github.com/nogawanogawa/paper_memo/issues/46

[hakubishin3]

Optimally Balancing Receiver and Recommended Users’ Importance in Reciprocal Recommender Systems

https://dl.acm.org/doi/10.1145/3240323.3240349

• 既存のRRSでは推薦を受ける側と推薦される側の嗜好を等しい重みで集約しているが、「自身の嗜好に基づいて行動を決定すること」と「相手からのリアクションに期待して行動を決定すること」はユーザに応じてそれぞれ重要度が異なるはず。
• 提案されたRRSでは、reciprocal score の算出に際して推薦を受ける側の嗜好と推薦される側の嗜好の重みを推薦を受けるユーザごとに最適化する

男女で重みが異なるという一例。男性はPR（推薦される側の嗜好）を重視、女性はCF（推薦を受ける側の嗜好）を重視してオンラインデーティングサービスを利用している傾向が見える。