[2021/03/04] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #87

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[agatan]

LambdaNetworks: Modeling long-range Interactions without Attention

• ICLR 2021 spotlight paper
• https://arxiv.org/abs/2102.08602

Attention の代替となる Lambda Layer を提案している論文。 O(NxM) の attention map を作らなくてすむ分、計算効率（時間、メモリ）が高いが、EfficientNet 並の精度を達成している。 Context を 「Query を変換する linear function」に変換するというアプローチで、content-based な context と position-based な context を分離することで効率を上げている。

[agatan]

Long Range Arena: A Benchmark for Efficient Transformers

• https://arxiv.org/abs/2011.04006
• https://ai-scholar.tech/articles/transformer/long-range-arena

「Transformer の効率の良いバージョン」がいっぱい提案されているが、統一されたベンチマークがないので作って今までのメジャーなモデルを比較したという論文。

[agatan]

GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training

• https://arxiv.org/abs/2102.08098v1

モデルアーキテクチャにかかわらず「良い初期値」を決定するアルゴリズム GradInit を提案している。 ...

[hiroto0227]

Jointly Leveraging Intent and Interaction Signals to Predict User Satisfaction with Slate Recommendations

https://github.com/hiroto0227/paper/issues/2

• https://dl.acm.org/doi/pdf/10.1145/3308558.3313613
• WWW2019で発表されたspotifyの論文
• Spotifyのホーム画面では、ユーザーのintentが複数存在していて、そのintentごとに推薦の満足度(satisfaction)は異なる。実際にintentを用いてsatisfactionを予測すると、その予測精度は向上した。
  • 例えば、「自分の好きな音楽を簡単に聞きたい」「いろいろな音楽を聞いて新しい音楽を発掘したい」というintentがある。
• satisfactionを最大化するためには、userのintentを理解し予測する必要があり、その予測したintentを用いて推薦を行うと良いのではないかと結論づけている。

[zerebom]

(LESP Loss)Improving Pairwise Ranking for Multi-label Image Classification

詳細: https://github.com/zerebom/paper-books/issues/46 src: https://arxiv.org/pdf/1704.03135.pdf pytorch impl: https://gist.github.com/NegatioN/eb2c23fc98e67a6396f6ea77e384c549

不連続なhinge lossを連続に修正したもの。

MultiLabelのRankingタスクで使用されるNN用の損失関数。 rainforestコンペ 5th solutionsで使用されていた。

Label Prediction, Decisionの最適化を同時に行う。