[2019/10/23] Machine Learning 輪講

agatan commented 5 years ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #20

What

話したいことがある人はここにコメントしましょう！面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

tan-z-tan commented 5 years ago

Programming by example

A Machine Learning Framework for Programming by Example

マイクロソフト

A Machine Learning Framework for Programming by Example

https://www.cse.iitk.ac.in/users/cs365/2014/_papers/menon-tamuz-13-icml_learning-to-program-by-example.pdf

人間が入力したセルの値から、自動で値を埋めるルールを作る。

入力（既存のセルの値）→出力（入力したセルの値）という定式化で問題を解ける形にしている。

Flash fill
- 1行→1行
ICML論文
- 複数行入力→複数行出力

DEEPCODER: LEARNING TO WRITE PROGRAMS

目標：Input→Outputからプロコンのコードを生成する。読みやすさは考慮しない。

RobustFill: neural program learning under noisy I/O

https://arxiv.org/pdf/1703.07469.pdf

Neural program synthesis
- 入力→出力を満たすプログラムを作る
Neural program induction
- 直接、入力→出力を当てるネットワークを作る

DSL

substring, case conversion, regex...
program := [e1, e2, e3, ...]
e: 30 million unique variations（一応有限）

Model Architecture

Attentional RNN
Sequence-to-sequence

Neural Program Synthesis from Diverse Demonstration Videos

http://proceedings.mlr.press/v80/sun18a/sun18a.pdf

NEURAL PROGRAM SYNTHESIS WITH PRIORITY QUEUE TRAINING

https://arxiv.org/pdf/1801.03526v2.pdf

agatan commented 5 years ago

Halide: a language for fast, portable computation on images and tensors

https://halide-lang.org

画像処理の複雑なアルゴリズムを実装し高速に動かそうとすると、アーキテクチャごとの違いによって複雑になったり、シンプルなアルゴリズムのはずなのに複雑で読みづらくなったりする。そこで、アルゴリズム部分とそれをどう実行するかを分離しよう、というモチベーションのもと開発された C++ 内 DSL 。微分可能版とかも出ていてかっこいい。

On Layer Normalization in the Transformer Architecture

https://openreview.net/forum?id=B1x8anVFPr

Transformer のアーキテクチャを見直そうという論文。 LayerNormalization を FFN や MHA の前に置くと学習が安定して lr scheduling とかもしなくてよくなる。

Attending to Future Tokens For Bidirectional Sequence Generation

https://arxiv.org/abs/1908.05915

wantedly / machine-learning-round-table