[2021/02/18] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #84

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[agatan]

[2102.06171v1] High-Performance Large-Scale Image Recognition Without Normalization

• https://arxiv.org/abs/2102.06171v1

NF-ResNet (Normalizer-Free ResNet) という BN を使わないネットワークで高速かつ SotA レベルの性能。 Adaptive Gradient Clipping (AGC) も個別で使えそうで良さげ。

[agatan]

Microsoft Vision Model ResNet-50 combines web-scale data and multi-task learning to achieve state of the art - Microsoft Research

• https://www.microsoft.com/en-us/research/blog/microsoft-vision-model-resnet-50-combines-web-scale-data-and-multi-task-learning-to-achieve-state-of-the-art/

転移学習用の objective で学習した ResNet の重みを配っている話。ImageNet で Pretrain するより転移時に高い性能。

import microsoftvision
import torch

# This will load pretrained model
model = microsoftvision.models.resnet50(pretrained=True)

# Load model to CPU memory, interface is the same as torchvision
model = microsoftvision.models.resnet50(pretrained=True, map_location=torch.device('cpu'))

で使えてお手軽。

[hakubishin3]

Reciprocal Recommendation System for Online Dating

https://arxiv.org/abs/1501.06247

強調フィルタリングベースのRRSs.