nogawanogawa commented 1 year ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/182

What

話したいことがある人はここにコメントしましょう！面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

Hayashi-Yudai commented 1 year ago

Federated Recommendation with Additive Personalization

連合学習で使うアイテムのembeddingを、globalなものとユーザーにパーソナライズされたものの2つに分けて使うことで推薦性能の向上を実現したという論文。

連合学習では個々人の持っているデータの分布がユーザーによって大きく異る(heterogenety)ことが学習の際の大きな問題になっていた。この論文では、ユーザーに依存しないアイテムの特徴をglobal embeddingに、ユーザーの傾向をlocal embeddingに分離、そしてlocal embeddingの利用範囲をユーザーデバイス内で閉じることでユーザープライバシーを保護しつつ、高精度な推薦モデルの学習を実現している。

nogawanogawa commented 1 year ago

Learning To Rank Diversely

論文URL

https://arxiv.org/abs/2210.07774

著者

Malay Haldar, Mustafa Abdool, Liwei He, Dillon Davis, Huiji Gao, Sanjeev Katariya

会議

？

背景

Airbnbのランキングシステムでは、予約確率に基づいてランキングを生成している。この予約確率は、ユーザーの多数派に強く影響され、少数のログの影響は小さくなりがちになり、結果として多数派の意見が強く反映された多様性の少ないランキングになってしまう。

目的

少数派のユーザーの嗜好を考慮し、検索結果全体の有用性の向上

アプローチ

アイテム間の類似性を明示的に考慮し、それを減らすことで検索結果を多様化
- A/Bテストでも良い結果が得られた

データセットの一番上の順位のアイテムがbookingされているデータはすべて破棄し、一番上が予約されなかったデータでランク学習する

一番上のデータとの類似度でペナルティをかけてスコアリング

memo

https://github.com/nogawanogawa/paper_memo/issues/75

zerebom commented 1 year ago

UltraGCN: Ultra Simplification of Graph Convolutional Networks for Recommendation

CIKM2021の論文
GNNからCFに特化するために特徴量変換と非線形activationをdropし効率化したLightGCNを更にsimpleにしたモデルを提案
LightGCNには下記のような課題があると主張
- item2item or user2userのweight付けが対称にならない
- 複数typeのinteractionをうまく考慮できない
- 2~3層以上message passingするとover smoothされて精度が出ない
提案手法はmessage passingを省略 + constractive lossを導入し高速に収斂するようにした
LigthGCNより10倍早い
実装: https://github.com/xue-pai/UltraGCN/blob/main/main.py

wantedly / machine-learning-round-table

[2023/02/15]Machine Learning 輪講 #184

Why