[2020/07/02]Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev.

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[hakubishin3]

SmoothMix: A Simple Yet Effective Data Augmentation to Train Robust Classifiers

http://openaccess.thecvf.com/content_CVPRW_2020/html/w45/Lee_SmoothMix_A_Simple_Yet_Effective_Data_Augmentation_to_Train_Robust_CVPRW_2020_paper.html

CutMixなどのRegional dropoutは画素値に対して急激な変化を与える (strong-edgeなmask). が, これが畳み込み演算に影響を与えることやNNがこういう特徴表現を持ってしまうことを懸念している. そこで滑らかなマスク (soft-edgeなmask) で2つの画像をmixさせたaugmentationを導入することで, Image Classification taskの精度が向上した.

[hiroto0227]

A Scalable Hybrid Research Paper Recommender System for Microsoft Academic

https://arxiv.org/pdf/1905.08880.pdf

Motivation

• co-citation base(共起確率)とcontents embedding baseの二つを用いて、recommendationのcovertageを持ちつつ、cold-start問題も解決した。
• 160millionのpaperを素早く検索するためにクラスタリングを行っている。

手法

• co-citation base
  • 古くから使われている手法だが、複数のco-citationが十分なデータにはよく効くので捨てがたい。
• contents base (neural network)
  • 論文のタイトルとキーワードにabstractの2倍の重みをつけてTFIDFを計算している。
  • paperはword2vecを用いて計算
• 論文同士の比較のために通常O(n^2)の計算量を必要とするが、クラスタリング(k-means base)を行い、そのクラスタ内での類似度を計算することでO(n + |c + λ|)の計算量にした。
• combined recommendation
  • co-citationの数をパラメータ付きのシグモイド関数を用いて、similarityをcontent baseに合わせる。これらのパラメータは各ドメインごとの平均や分散によって決まる。

評価

• ユーザーからのフィードバックをもらって検証,(詳しく読んでない。)

[hiroto0227]

Wide & Deep Learning for Recommender Systems

https://arxiv.org/abs/1606.07792

• 2016. Googleの推薦に関する論文。tensorflowに組み込まれている。

モチベーション

• 人間の脳を模倣して、Linear Model (for Memorization) & Deep Neural Network (for Generalization) の二つのモデルを用いる。

手法

• 線形モデルとニューラルネットワークを組み合わせた。
• wide modelとdeep modelをjoint-training(Followthe-regularized-leaderアルゴリズムのbackpropagation)を行った。

検証方法

• app storeのapp installを行うかどうかを予測した。
• 3週間のオンラインA/BテストとオフラインでのAUCを比較した。

[yuko-i]

PatchUp

畳み込みニューラルネットワークの正則化手法の提案 https://arxiv.org/abs/2006.07794

NNの正則化の方法でDropoutは、fully connectedな層では効くが畳み込みだと効果が低い。 (SpatialDropoutという特徴量マップ全体を削除するもの、DropBlockというランダムな連続ブロックを削除するものもある)

提案されているPatchUpでは、ミニバッチ内のランダムなサンプルの特徴量マップ内の連続するブロックをマスキングし、これらのブロックを混合（Soft PatchUp）または交換（Hard PatchUp）することで，中間層で正則化を行う。

Pytorchのソースコードがある。 https://github.com/chandar-lab/PatchUp/blob/master/modules/patchup.py