[2019/06/12] Machine Learning 輪講

agatan commented 5 years ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #4

What

話したいことがある人はここにコメントしましょう！面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

agatan commented 5 years ago

https://github.com/agatan/paper-reading-notes/issues/29

Unsupervised Object Segmentation by Redrawing

https://arxiv.org/abs/1905.13539

教師なし object segmentaion を GAN でやる話。

アイディア

segmentaion が完璧にできたとしたら、各 region ごとに画像を render して合成することで、元画像と同じようなデータが生成できるはず。そこで、

Image → F (segment function) → region map → G (generator function) → Generated Image → D (discriminator function)

を end-to-end で学習することで、良い object segmentor F を学習する。

工夫

↑の構造で単純に学習すると 2 つの理由から trivial な解に陥る可能性が高い。

意味のある region を選べず、入力画像を無視した region map を生成してしまう
- 例えば全入力に対して常に一定の region map を生成しちゃうなど
すべてを背景であると segmentation することを学習してしまう

そこで制約を 2 つ追加する。

region map の n 番目の region だけを生成画像にし、残りは元画像の pixel をそのまま使う
- generator は元画像自体は見ず、region map だけを頼りに画像を生成するので、意味のある region map を作れていないと合成したときに一貫性のある画像は作れない
合成結果の画像から、「 n 番目の region 画像を生成するために使った z 」を推測できるようにする
- ↑の概要図でいう δ
- 「z を使って作られた画像から z の情報を復元できない」 = 「z に依存しない画像が生成されてしまっている」 = 「region map が空 or すべてを背景と認識してしまっている」

実装はかなり複雑に見える。（こんな複雑なもの学習安定しないだろうし、適当な GAN architecture では全然うまくいかないのだろうなという感じ）「制約を含めてもなお empty mask を生成するようになってしまうことがあるが、そうなったら自動で検知して初期化からやりなおすようにした」と書いてあって壮絶。