feedforward prediction and backward refinement.
character-level OCR, Font recognition, background inpainting, text effect estimation through alpha where they consider 3 effects including fill, border, and shadow.
feedback refinementはde-renderingされたparameterでのreconstructionのうまくいかない部分をrefineするため。pre-rendered alpha mapというのを使う。predefinedのchar x fontの組み合わせを用いて、fontやchar-cateogryといったnon-differentiableな量を線形和で近似表現し、downstreamへback propagateできるようにする。character-adjustment: 微妙な位置ずれを最適化。
De-rendering Stylized Texts
Information
Summary
サマリ図表
どんな論文か?_
Raster imageにおけるText editingをvectorizationを介して実現。ここでのvectorizationはtextのrenderingに関わるパラメータ(location, text, font, color, effectなど)を表す。提案手法は次の3つのプロセスからなる。
これらを推定するFeedforward Parser moduleの提案に加え、よりrealisticなrenderingを実現するためにFeedback Refinerを提案。Refine moduleはdifferentialに構成されており、Feedforward parserまでback propagationできる。学習はInput image -> vectorized parametersと推定されたパラメータに対する損失、Refinement moduleではreconstruction lossを最小化するように学習される。再構成のL1 Loss, PSNR、および定性評価で高い編集能力を確認。
feedforward prediction and backward refinement. character-level OCR, Font recognition, background inpainting, text effect estimation through alpha where they consider 3 effects including fill, border, and shadow. feedback refinementはde-renderingされたparameterでのreconstructionのうまくいかない部分をrefineするため。pre-rendered alpha mapというのを使う。predefinedのchar x fontの組み合わせを用いて、fontやchar-cateogryといったnon-differentiableな量を線形和で近似表現し、downstreamへback propagateできるようにする。character-adjustment: 微妙な位置ずれを最適化。
新規性
結果
その他(なぜ通ったか?など)