Specifying Object Attributes and Relations in Interactive Scene Generation(ICCV 2019)

[idekazuki]

シーングラフから画像を生成する手法。 レイアウト埋め込みと外観埋め込みを分離 一つのシーングラフから多様な出力が可能。

先行研究Image generation from scene graphs(CVPR 2018)との違い

1.レイアウト埋め込みと外観埋め込みを分離することで、オブジェクトの制御性を向上

2. ⼊⼒として位置ベクトルを追加することで、直感的な操作が可能
3. 提案⼿法のアーキテクチャは、より良い品質とより⾼い解像度で出⼒が可能
4. マスク作成前に確率性を加えることで、⼀つのシーングラフから多様な出⼒が可能
5. 各オブジェクトの属性をユーザーが操作することで、より多様な出⼒が可能
6. マスクDiscriminatorを導⼊し、もっともらしいマスク⽣成に⾏う
7. 他に2つの新しいDiscriminatorを導⼊
8. Discriminatorを使ったFeature Matchingロスを導⼊
9. オブジェクトの形状が変化しても外観特徴を捉えられるPerceptualロスを追加

手法 生成オブジェクトの位置は、マスクとbboxで決まる。 bboxの位置は一意的で、マスクはゆらぎのあるものとしてノイズを入れている。

[idekazuki]

生成画像の評価指標

• Inception Score[19]
  • 生成画像の品質と多様性を測る。
  • 事前学習済みのInception network[22]を使用。
• FID[5]
  • 生成画像とReal画像の特徴量分布間の距離を測る。
• Classification accuracy score
  • 生成画像からbboxでクロップされたオブジェクトの分類精度
  • 精度が高いほど、Realもしくは識別可能なオブジェクトを生成できていることを示す。
• Diversity Score[26]
  • 生成画像間のLPIPS距離の平均
  • 大きいほど、多様性がある。 bboxの評価指標
• IoU(Intersection over Union)
  • 生成されたbboxのGTのbboxの共通部分と和集合部分の比
• R@0.5
  • IoUが0.5以上のbboxの割合
• R@0.3
  • IoUが0.3以上のbboxの割合 定量的評価：先行研究よりもすべての指標で良い結果になった。