[2022/02/03]Machine Learning 輪講

[hakubishin3]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/127

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[hakubishin3]

Deep learning for recommender systems: A Netflix case study

https://ojs.aaai.org/index.php/aimagazine/article/view/18140

• Netflixの推薦タスクにDeep Learningを導入したときに遭遇した問題と対応方法をまとめている
• 当初、ベースラインに比べて大幅にパフォーマンス向上しなかった
  • 単純なインタラクションデータだけだと古典的な手法のほうが強い
  • 例えばアイテムのコンテンツ情報や時間など異なる特徴や情報ソースを追加することで大幅な改善、マルチモーダル
• オフライン評価とオンライン評価の乖離が大きくなった
  • 代理指標へのオーバーフィッティングが原因
  • 特に、短期的に観測可能な代理指標にオーバーフィットすることで長期的な報酬の最大化とずれることに注意
  • 本当に測定したいことにより近いものを代理指標として設定すること、長期的なメトリックをモニタすることが必要

[nogawanogawa]

A ConvNet for the 2020s

論文URL

https://arxiv.org/abs/2201.03545

著者

Zhuang Liu, Hanzi Mao, Chao-Yuan Wu, Christoph Feichtenhofer, Trevor Darrell, Saining Xie

会議

2022/1/16時点でarxivのみ

背景

• 2020年のViTの登場以降、画像認識においてTransformerが活用されるようになった
• ただし、画像認識以外のCVのタスクについては、ViTに対してConvの復活を想起させるアプローチが取られている
• つまりConvが価値が無いのではなく、むしろConvの有用性を裏付けるような結果と読み解くことが出来る

目的

本研究では、CNNとTransformerのアーキテクチャ上の差異を調査し、ネットワーク性能を比較する際の交絡変数を特定する。この研究では、ConvNetsのViT以前とViT以後の時代のギャップを埋めるとともに、純粋なConvNetが達成できる限界をテストすることを目的としている。

アプローチ

• ConvNext
  • ResNetを改良
  • アーキテクチャを改良した階層型ViT(Swin-T)のエッセンスを盛り込む

参考

https://github.com/nogawanogawa/paper_memo/issues/29

[zerebom]

Deep learning for recommender systems: A Netflix case study

同じ論文ですね🙈 https://ojs.aaai.org/index.php/aimagazine/article/view/18140

面白かったところ

Netflixでは、推薦問題をサブタスクに分割し、適材適所にモデルを利用している

• 1: Topの目立つ位置に表示する、最初の動画を選択するアルゴリズム
• 2: 検索エンジンの一部
• 3: ユーザに送られるメッセージや通知
• 4,6: どの行をパーソナライズして提示するかを選択するアルゴリズム
• 5: 新しい動画を発見するためのアルゴリズム
• 7: 引き続き視聴したいと思う既視聴の動画をランキングするアルゴリズム

他のデータセットと、推薦システムデータセットの違い

• 観測・収集されたデータがランダムではなく欠損している
  • ユーザとアイテムの相互作用行列はランダムに分布していない
• ユーザ・アイテムの観測されていないペアは、真のネガティブか、観測されていないかわからない
• 観測データが極めて疎
• 観測されるpositiveデータは確率過程に由来するためノイズが多い
• データには人気度によって歪んだ分布になっており、ほぼ冪乗分布になる
  • ユーザに関しても同様の冪乗分布に従う
  • 分布の歪みはモデリング上の課題を引き起こす
  • 不人気なアイテムやアクティビティの低いユーザに公平な推薦をするのが難しい
• 前のタイムステップのデータを使った推薦はバイアスが増幅される
  • ユーザがシステムによって目立つ表示されたアイテムと対話する可能性が高いため
  • フィードバックループを壊すことは実世界のRecsysにおける重要な課題

memo: https://github.com/zerebom/paper-books/issues/53