[2019/05/22] Machine Learning 輪講

[agatan]

Why

Deep Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/1

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[agatan]

Searching for MobileNetV3

• https://arxiv.org/abs/1905.02244

MobileNet シリーズ！Neural Architecture Search を用いて（特にモバイル CPU 上で）高効率なアーキテクチャを探索し、評価した話。 MobileNetV2 で採用している module にいくつかの変更を加えたものを building block としている。

1. non-linearity として swith を採用
2. SE block の採用（MnasNet ですでに採用されている）
3. SE も swith も sigmoid をつかうが、sigmoid は遅いので hard_sigmoid で代用

MnasNet で採用されている NAS で global structure を決定し、NetAdapt algorithm で層単位の fine tune をしている。

[agatan]

Simple Unsupervised Keyphrase Extraction using Sentence Embeddings

• https://arxiv.org/abs/1801.04470

ドキュメントから重要フレーズを教師無しで抽出する Unsupervised Keyphrase Extraction の論文。 ニュースからその重要度やカテゴリ、類似記事をあてるみたいないろんなタスクに活かせそう？

1. keyphrase 候補をルールベースで選択（論文では 0 個以上の形容詞 + 1 個以上の名詞 ）
2. document 全体と keyphrase 候補たちを embed する
3. phrase の embedding が document embedding と似ている phrase を keyphrase として採用する

diversity を出すために、すでに選ばれた keyphrase との距離を大きくするように選択していく EmbedRank++ も提案していて、人による評価だと diversity があったほうが好まれることを実験で確かめている。

[awakia]

https://qiita.com/yu4u/items/dc26d220e85279e76157

[tankenta]

Fast Graph Representation Learning with PyTorch Geometric

https://qiita.com/tankenta/items/61d3a1c4393a424cb52b

[luvtechno]

おくのさんの ニューラルかな漢字変換 - Qiita