hakubishin3 commented 6 months ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は樋口(https://twitter.com/zerebom_3) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912）よりご連絡ください！

What

Wantedly では隔週水曜日に

推薦の評価指標について議論したい
〇〇っていうライブラリ / フレームワークを導入してみたい
他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
もっと推薦を良くするためにどんなものが必要か議論したい

といった話をする「推薦・機械学習勉強会」を開催しています。この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！会の間に話した内容もここにメモしましょう！

prev: https://github.com/wantedly/machine-learning-round-table/issues/222

chimuichimu commented 6 months ago

Recursive Embedding and Clustering

サマリ

ユーザクラスタリングのフレームワークを提案するSportifyの記事
ユーザを理解することは重要で、クラスタリングはユーザ理解のための１つのアプローチである。しかし、高次元なデータを扱う必要性や結果の解釈といった難しさがある
本記事ではクラスタリングに留まらずクラスタの解釈まで行うことで、結果の解釈を基にした改善施策の実行などを実現するフレームワークを提案している

アプローチ

次元圧縮

ユーザを表現する高次元なデータを低次元化する
次元削減といえばPCAが有名だが、本記事ではより効果的な手法としてUMAPという手法が紹介されている

PCA（左）とUMAP（右）のMNISTデータの次元圧縮の比較

クラスタリング

低次元化したデータをクラスタリングする
クラスタリングといえばk-meansが有名だが、本記事ではより効果的な手法としてHDBSCANという手法が紹介されている
さらにあるクラスターに対して、再度UMAP, HDBSCANを実行することで、より細かい粒度でのクラスタリングができる

k-means（左）とHDBSCAN（右）のMNISTデータの次元圧縮の比較

結果の解釈

クラスタ結果をラベルとして、XGBoost等のモデルを学習
学習した結果のSHAPを計算することで、クラスタを決定づけている特徴などを理解することができる

結果のまとめ

前のステップまでで得られたクラスタに関する情報と、他のデータソースの情報（人口統計やプラットフォームの利用状況等）を組み合わせて、ユーザに対する理解を整理する

感想

自分が次元削減といえばPCA, クラスタリングといえばk-meansな人だったので、違うアルゴリズムを知れたのが良かった。中身は理解していないので調べてみたい
クラスタリングして、じゃあその結果使ってどうするの？という状況は結構ありそうな気がするので、そこからもう一歩踏み込んだ提案をしているのが良いなと思った

KKaichi commented 6 months ago

会議

DEIM2023，著者：飯塚洸二郎, 久保光証, 森田一 (Gunosy)

サマリ

人気バイアス評価指標

Average Recommendation Popularity (ARP): 評価したアイテムの平均人気度
Average Percentage of Long Tail Items (APLT): 推薦したロングテールアイテムの割合
ジニ係数，カタログアイテムカバレッジ: 人気アイテムの偏り具合ユーザに対して適切な価値あるアイテムを推薦できている？ ↔︎ 普通の推薦評価指標だと人気バイアスを考慮できない

人気バイアスを考慮しつつ，推薦精度を測る指標を提案 クリックしたかどうかに加えて，アイテムの人気度に応じた重みを考慮した利得（アイテムの人気度：クリックされた回数/全アイテムのクリック総数）

実験結果1 提案指標と既存指標にどれほどの相関があるか

既存のランキング指標に対して強い相関
人気バイアスに対しても強い相関

実験結果2 推薦アルゴリズムの学習に提案手法を組み込んで，どれほど精度と人気バイアスに影響するか 推薦精度の毀損を抑えながら，人気バイアスを軽減

評価指標

Normalised Cummlative Unity (NCU): ユーザの利得の期待値の形として一般化 $NCU = \displaystyle\sum_{r=1}^nP(r)G(r)$ $P(r)$: ユーザがランキングの$r$番目のアイテムに満足して停止する確率 $G(r)$: r番目のアイテムが得られる利得

$G(r) = \displaystyle \frac{C(r)}{B(r)}$ $C(r)$: {0, 1}，$r$番目のアイテムがクリックされるか否か $B(r)$: $r$番目のアイテムの人気バイアス

$B(r) = \displaystyle \frac{N(r)}{T}$ $N(r)$: $r$番目のアイテムの総クリック数 $T$: データセットないの全アイテムの総クリック数

Popularity-aware ranking Metrics (PRM)

結果

実験結果1

実験結果2 PRMを学習に活用: 検証データに対してPRM値を計算し，パラメータの更新を行うか否かを決定

PRMが増加したモデル

人気バイアス指標がバイアスを小さくする方向に改善
精度指標は多少毀損，but その減少割合は人気バイアスの改善具合に比べて小さい

Hayashi-Yudai commented 6 months ago

LLM論文の探し方

LLMにキャッチアップしていく際に、どのように論文を探していったらいいか書いてある。

How to Visualize Deep Learning Models

機械学習モデルを学習するときにモデルの挙動を理解することは非常に重要。しかし、Deep系のネットワークだと中でどのような挙動をしているのか把握するのは困難なことが多く、これまでいろいろな可視化手法が生み出されてきた。このブログでは、

モデルアーキテクチャの設計
学習中
学習の終了後
デプロイ後のモニタリング時点

のそれぞれにおいて、どのようにしてモデルの挙動を調べることができるかがまとめられている。

nogawanogawa commented 6 months ago

wantedly / machine-learning-round-table

[2023/12/13]推薦・機械学習勉強会 #225

Why