[2022/10/13]Machine Learning 輪講

[hakubishin3]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/162

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[Hayashi-Yudai]

Neural Graph Collaborative Filtering

グラフを使うことでユーザーとアイテムのembeddingに交互作用を取り入れたという話。SIGIR '19 で発表された論文。

github: https://github.com/xiangwang1223/neural_graph_collaborative_filtering

既存のembeddingを作る手法では “collaborative signal” が十分反映できていないのではないかという主張。

collaborative signal, which is latent in user-item interactions to reveal the behavioral similarity between users (or items)

NGCF (Neural Graph Collaborative Filtering) を提案、高次のつながり情報まで取り入れることによって “collaborative signal” を十分に反映した embedding を学習する。

モデル

user-itemのインタラクショングラフのエッジを伝って情報が伝搬していって、近い関係にあるユーザー(or アイテム)のembeddingの類似度は高くなるという考え方

学習時の損失関数は BPRロス

結果

• CMNやGC-MCといった一次のインタラクションまでしか取り入れていないモデルに比べて良い性能が出ている
• PinSageでは高次のインタラクションまで取り入れているが最終出力しか使わない。NGCFがこのモデルに比べて性能が良いのは中間出力が最終出力とは異なる情報を保持していることを意味している。

[nogawanogawa]

Why do tree-based models still outperform deep learning on tabular data?

論文URL

https://arxiv.org/abs/2207.08815

著者

Léo Grinsztajn (SODA), Edouard Oyallon (ISIR, CNRS), Gaël Varoquaux (SODA)

会議

Preprint. Under review(NeurIPS2022)

背景

深層学習はテキストや画像の分野で多大な進歩を果たしてきた。 しかし、表敬式のデータに対する優位性は未だ明らかになっていない。

特に先行研究では、標準的なデータセットもなく、ハイパーパラメータのチューニング等による不平等な評価がなされていた。

目的

• 表形式データにおけるtree basedの手法の有用性を示す

アプローチ

• 表形式データにおける新しいベンチマークの作成
  • 一般的なデータセットにおいて、ハイパラのチューニングを含めて、深層学習とtree basedモデルを複数の設定で比較
  • tree basedモデルが深層学習ベースの手法より優れる点を経験的に調査し、性能差を明らかにする

memo

https://github.com/nogawanogawa/paper_memo/issues/58

[zerebom]

MDM: Human Motion Diffusion Model

ref: https://guytevet.github.io/mdm-page/

Diffusion Modelを使って、プロンプトからモーションを作成するMDMというモデルを考案。テキストからのモーション生成は人間が違和感を感じる感度が高い(=求められる品質が高い)、高品質なデータの取得が困難、テキストからモーションへのマッピングの多対多であるといった困難なタスクである。損失関数に正解モーションと予測モーションの位置の誤差に加え、足の位置、移動速度の誤差などを加える、各拡散ステップでノイズではなくサンプルを予測するといったアイディアで、物理法則と矛盾のない自然なモーションを作成することを達成している。

MDMフレームワークは様々な条件付けも可能な汎用的な設計になっている。例えば、下半身を固定する、正解データのモーションを補完するといったタスクも解ける。