[2022/03/31]Machine Learning 輪講

[hakubishin3]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/135

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[nogawanogawa]

Next item recommendation with self-attentive metric learning

論文URL

https://arxiv.org/abs/1808.06414

著者

Shuai Zhang, Yi Tay, Lina Yao, Aixin Sun

会議

AAAI'19

背景

ユーザーの行動履歴にもとづいて推薦を行う際に、短期ー長期の嗜好を十分にモデル化できた手法がない。

目的

ユーザの履歴についてitem-itemの相互作用(おそらくattention mapのこと)を同時に考慮した推薦モデルの構築

アプローチ

• AttRec
  • self-attentionとmetric embeddingを組み合わせることで、ユーザーの短期的・長期的な興味を考慮
  • 連続したアイテムだけでなく、現在のウィンドウにおける全てのユーザとのインタラクションをモデル化

参考

https://github.com/nogawanogawa/paper_memo/issues/37

[Hayashi-Yudai]

Efficient Language Modeling with Sparse all-MLP

Background

NLPのタスクではTransformerの優位性が高い。近年では、all-MLPでTransformerを超えようとする試みが多くされるようになってきた(gMLP; Google, etc...)が、それでもまだTransformerにはモデルの表現力が及んでいない。Transformerの方ではあらたに、Mixture-of-Experts (MoE)を組み込むことで成功を収めており、この論文ではMoEを組み込んだ sparsely-activated-all-MLP (sMLP)を設計してTransformer超えを果たした

Main Contributions

• MoEとMLPを組み合わせた初めてのモデルを考案
• sparsely-activated Transformer系のモデルやgMLPと比べて最大訓練スピードが2倍に向上
• sMLPはスケーラビリティが高い。10Bパラメータに拡張しても同様の拡張をしたTransformerの性能を上回る(これはscalabilityというのか？)
• zero-shotの性能もsparsely-activated Transformerより上。GPT-3のようなdense Transformerと比べても同等の性能（訓練データの大きさはsMLPは1/3であるにも関わらず）

Model

Transformerのself-attentionの役割をsMLPでは spatial gating unitで行う

Result

他のTransformer-baseのモデルよりも短時間で良い性能が出ている。

[zerebom]

Deep Learning for Sequential Recommendation: Algorithms, Influential Factors, and Evaluations

• arxiv: https://arxiv.org/abs/1905.01997
• acm: https://dl.acm.org/doi/pdf/10.1145/3426723

概要

Sequential Recommendationの包括的なサーベイ論文。50ページ近くある。以下のようなことがまとめてある。

• Sequential Recommendationとは何か
• Sequential Recommendationにはどんな種類があるか
• Sequential Recommendationのモデルの性能に影響を与える主要な要因は何か
• Sequential Recommendationの未解決課題は何か

詳細

https://github.com/zerebom/paper-books/issues/55