AtsukiOsanai / cv_survey

Personal repository for computer vision survey
2 stars 0 forks source link

De-rendering Stylized Texts #113

Closed AtsukiOsanai closed 1 year ago

AtsukiOsanai commented 1 year ago

De-rendering Stylized Texts

Information

Summary

サマリ図表

スクリーンショット 2023-02-27 18 12 28

どんな論文か?_

Raster imageにおけるText editingをvectorizationを介して実現。ここでのvectorizationはtextのrenderingに関わるパラメータ(location, text, font, color, effectなど)を表す。提案手法は次の3つのプロセスからなる。

これらを推定するFeedforward Parser moduleの提案に加え、よりrealisticなrenderingを実現するためにFeedback Refinerを提案。Refine moduleはdifferentialに構成されており、Feedforward parserまでback propagationできる。学習はInput image -> vectorized parametersと推定されたパラメータに対する損失、Refinement moduleではreconstruction lossを最小化するように学習される。再構成のL1 Loss, PSNR、および定性評価で高い編集能力を確認。

スクリーンショット 2023-02-27 18 12 19

feedforward prediction and backward refinement. character-level OCR, Font recognition, background inpainting, text effect estimation through alpha where they consider 3 effects including fill, border, and shadow. feedback refinementはde-renderingされたparameterでのreconstructionのうまくいかない部分をrefineするため。pre-rendered alpha mapというのを使う。predefinedのchar x fontの組み合わせを用いて、fontやchar-cateogryといったnon-differentiableな量を線形和で近似表現し、downstreamへback propagateできるようにする。character-adjustment: 微妙な位置ずれを最適化。

新規性

結果

スクリーンショット 2023-02-27 18 12 58

その他(なぜ通ったか?など)