[2022/04/14]Machine Learning 輪講

[hakubishin3]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/137

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[Hayashi-Yudai]

Learning to Augment for Casual User Recommendation

ユーザー間の活動の度合いは普通は一定でなく、サービス上のユーザーの活動の大半は一部のユーザーの活動からなる。その結果、推薦システム構築のために収集したデータの大半がコアなユーザーによって占められることになる。その結果、訓練された推薦システムは少数のコアユーザーに最適化されることになるという問題が認識されるようになってきた。

この論文ではオーグメンテーションを通じて、カジュアルなユーザーにも焦点を当てて推薦システムを学習する方法(L2Aug)について紹介している。L2Augは4つのパブリックデータに関してコアユーザー・カジュアルユーザーの両方に関して最高の性能を示す。

L2Augでは、すでに訓練された推薦システムをカジュアルユーザーに向けてfine tuneする。訓練は次のような過程で行われる。

• コアユーザーのシーケンシャルデータからデータをドロップしてカジュアルユーザーのデータを生成
• 生成データを使って推薦システムを訓練
• その結果をもとにオーグメンテーションデータの生成器を訓練

カジュアルユーザーに対する性能

コアユーザーに対する性能

[nogawanogawa]

MLP-Mixer: An all-MLP Architecture for Vision

論文URL

https://arxiv.org/abs/2105.01601

著者

Ilya Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Andreas Steiner, Daniel Keysers, Jakob Uszkoreit, Mario Lucic, Alexey Dosovitskiy

会議

NeurIPS 2021

背景

CVの領域では、長らく畳み込みを用いたCNNが主要な手法として進歩してきた。また、最近ではVision TransformerのようなTransfomerを用いたモデルも登場してきている。

目的

畳み込みもTransformerも使用しない新しいネットワーク構造によって高い精度を実現できることを示す

アプローチ

• MLP-Mixer
  • MLP (Multi-Layer Perceptron)だけを使用した新しい構造のモデル
  • 従来の畳み込みやTransformerの構造に比べてシンプルな構造
  • 学習・推論に必要なリソースの割に、従来手法と同程度の精度を達成した

memo

https://github.com/nogawanogawa/paper_memo/issues/25

[hakubishin3]

Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised Domain Adaptation

https://arxiv.org/abs/2204.00570

ソースドメインとターゲットドメインの両方のデータを使って対照学習を行った後ソースのラベルで fine-tuning することで、クラスとドメイン情報が分離したドメイン間で転移可能な特徴表現を獲得する。