e4exp
commented
4 years ago CSSSketch2Code: An Automatic Method to Generate Web Pages with CSS Style
- paper
- github
- データセット
- project
まとめ
-
どんなもの？
- webページのスケッチ(スクショではない)からDSLを生成するencoder-decoder with attentionモデル．全体の画像特徴に加えてMask-RCNNで検出した各構成要素を利用している．また，DSLはencoder, decoderともにBi-LSTMを使用し，encodeされた全体/各部画像特徴とDSL特長は結合したあとにattentionを適用
-
先行研究と比べてどこがすごい？
- sketch2code(Ashwin Kumar, 2018．ほかにも２つくらいsketch2codeが存在するので念の為)と比較してBLEU, METEOR, ROUGE-L等で上回る結果．先行研究よりボタンの色を正確に再現できるとしている
-
技術や手法のキモはどこ？
- Mask-RCNNにより画面の構成要素を検出して画像特徴にconcatしている．
- 入力のスケッチには，blue, redなどの文字がボタン内に書かれており，おそらくそれらを別のクラスとして検出するように事前学習させている
- LSTMをBi-LSTMに変更
- attnetionはDSLと画像個別ではなく，それらの結合に対して適用
- データセットを作成している(1500件，全体画像，要素画像(MaskRCNN訓練用)，DSLを含む．公開しているか不明．)
- Mask-RCNNにより画面の構成要素を検出して画像特徴にconcatしている．
-
どうやって有効だと検証した？
- sketch2codeとの比較およびablation study．attention, Bi-LSTM, Mask-RCNNどれも性能に貢献している
-
議論はある？
- CNNのレイヤの深さと性能の関係を調べている．7層が良いとしている
- MaskRCNNのaccuracyが良いほど性能が上がる．mAPなど他の指標については言及なし
-
次に読むべき論文は？
- Jia X, Gavves E, Fernando B, et al. Guiding Long-Short Term Memory for Image Caption Generation[J]. 2015.
- gLSTM．image captioning の既存手法．タイムステップで異なる３つのsemantic guiding informationをLSTMに入力する
- Zhou L, Xu C, Koch P, et al. Image Caption Generation with Text-Conditional Semantic Attention[J]. 2016.
- gLSTMの拡張で，入力情報がすべてのタイムステップで異なるようにする
- Jia X, Gavves E, Fernando B, et al. Guiding Long-Short Term Memory for Image Caption Generation[J]. 2015.
-
その他
- CSSスタイルを考慮した生成が可能としているが，確かに考慮はしているが物体検出で文字種類を判定してボタン色を決定する，という方法ではCSSの考慮というには弱いのではないだろうか．生成しているものはDSLなので．
インターネットの規模と利用者の増加に伴い、インターネットアプリケーションでは、フロントエンドのウェブページに対する要求が高くなっています。 Webページの中には、単一の格子構造を持ち、比較的固定的なHTMLコードのテンプレートを用いて自動生成するものがある。 このようなWebページを自動生成するために，海外ではディープラーニングを用いた研究が行われている． しかし，採用されている基本的なエンコーダー／デコーダーモデルのため，一般化能力はあまりロバストではない． 本論文では，オブジェクト検出と注目機構を用いて，CSSスタイル情報を含むウェブページを自動生成する手法を提案する． 本論文では，オブジェクト検出を利用して元の問題を拡張し，ウェブページに含まれるCSSスタイルの内容を検出することが可能なモデルを提案する． また，注意メカニズムを用いてモデルを強化する． 最後に，独自のデータセットを提案し，それに基づいて実験を行い，提案した手法が他の手法よりも優れていることを示した．