[2022/09/01]Machine Learning 輪講

[hakubishin3]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/156

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[hakubishin3]

Matching Theory-based Recommender Systems in Online Dating

日本語紹介記事: https://www.cyberagent.co.jp/news/detail/id=27897

• 譲渡可能な効用を仮定したマッチングモデル（TUマッチング）に基づいた RRS (相互推薦システム) であるMTRS（Matching Theory-based Recommender System） の提案
• 従来のRRSでは双方向のユーザの嗜好を考慮しているだけなので、多くのユーザから嗜好が高くなりやすい人気ユーザなどに推薦される頻度が偏りやすい。これによってマッチング効率の低下や公平性の観点で問題が生じてしまう。
• MTRSでは各ユーザのキャパシティを反映した形でマッチング問題を解いていると解釈できるので、双方向のユーザの嗜好だけでなくキャパシティを考慮することで推薦される頻度の偏りを抑えることができる。

[nogawanogawa]

ItemSage: Learning Product Embeddings for Shopping Recommendations at Pinterest

論文URL

https://dl.acm.org/doi/10.1145/3534678.3539170

著者

Paul Baltescu, Haoyu Chen, Nikil Pancha, Andrew Zhai, Jure Leskovec, Charles Rosenberg

会議

KDD '22

背景

Pinterestでは、画像のシェア・閲覧に加えて、商品の購入が可能になっている。 Pinterestの主要コンテンツであるピンとは異なり、商品には様々な角度や文脈から撮影された複数の画像で構成され、タイトル、説明、色、柄などのメタデータが提供されており、データそのものの性質がPinと商品では異なる。

また、商品購入はクリックやブックマークなどに加えて、カートに追加・購入など、Pinとは異なるタイプのアクションに最適化した推薦が必要になる。

目的

• Pinterestにおける商品購入までの体験をシームレスに行うため、Home画面での画像の探索・CloseUp画面での類似商品推薦・テキストによる商品検索などマルチモーダルに使用できるEmbedding空間の構築・利用

アプローチ

• ItemSage : 商品の推薦にしようされるEmbedding
  • マルチモーダル学習
    • Transformerベースのアーキテクチャを使用
    • Home画面での画像の探索・CloseUp画面での類似商品推薦・テキストによる商品検索のすべてで同じEmbedding空間を使用できるようにする
    • インフラコストの低減
  • マルチタスク学習
    • ラベル付きデータが疎な目的に特化したモデルよりも性能がたかく、逆に密なデータが得られた場合に性能劣化しないようにする
    • ラベルが疎な目的に対して、パフォーマンスを向上出来る

memo

https://github.com/nogawanogawa/paper_memo/issues/54

[zerebom]

OptFormer: Towards Universal Hyperparameter Optimization with Transformers

blog URL: https://ai.googleblog.com/2022/08/optformer-towards-universal.html Googleの論文。ハイパラチューニングにTransformerを使った手法。meta dataを食わせ、パラメータを生成させ、精度を予測するタスクを解かせる。

全てのタスクが全く同じハイパラメータ探索空間を使用しなくて良い、数値だけでなくカテゴリ変数(ex. どのoptimzerを使うか) にも対応できる、といったメリットがあるみたい