[2020/01/23] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #33

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[agatan]

Compounding the Performance Improvements of Assembled Techniques in a Convolutional Neural Network

• https://arxiv.org/abs/2001.06268
  • Jungkyu Lee, et al.
• Clova Vision, NAVER Corp. 発の論文

既存の画像分類向け NN に対してちょっとネットワーク構造 or 学習方法を変えたら精度が向上しました、という研究がたくさんある。 この論文は、それらを丁寧にトレードオフや性能向上を分析しながら ResNet にのせていった結果、ImageNet Top-1 Accuracy で EfficientNet と同等の結果を出しつつ数倍高速なモデルができたよ、という研究。

地道な改善で significant なものの辞典としてめちゃくちゃ勉強になる。

[agatan]

FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

• https://arxiv.org/abs/2001.07685
  • Kihyuk Sohn, et al.
  • Google Research

Semi-supervised learning の手法を提案している論文。 MixMatch, ReMixMatch, UDA あたりの流れを丁寧に説明してくれていて勉強になる系の論文です。 pseudo labeling と consistency regularization の発展系っぽい。 CIFAR-10 40 labels での性能向上が異常。

[tan-z-tan]

MeliusNet: Can Binary Neural Networks Achieve MobileNet-level Accuracy?

https://arxiv.org/pdf/2001.05936v1.pdf

• BNN: 重みもアクティベーションも0/1で行うネットワーク
  • 微分も近似計算できるらしい
  • 
  • 
• CPU命令のXNOR, BITCOUNTで計算できるので高速に計算できる
• 入力は画像で分類問題なので最初と最後はFloatの値を使うけど他はBinary
• 新しいBNNのためのBuilding Blockを提案した
• MobileNet v1とComparableな結果がでる（でも2017年のモデルだから。。。）