Large-scale Tag-based Font Retrieval with Generative Feature Learning

[AtsukiOsanai]

Large-scale Tag-based Font Retrieval with Generative Feature Learning

Information

• Authors: Tianlang Chen+
• Organization: University of Rochester, Adobe Research
• Paper: https://openaccess.thecvf.com/content_ICCV_2019/papers/Chen_Large-Scale_Tag-Based_Font_Retrieval_With_Generative_Feature_Learning_ICCV_2019_paper.pdf
• Code:
• Conference/Journal: ICCV2019

Summary

サマリ図表

どんな論文か？

適切なフォント選択は専門知識を要するタスクである。これを緩和するために、本研究では指定されたタグにマッチするフォントを検索する技術が提案されている。 検索に有用な特徴を獲得するために、

• 20000のフォントと2000のタグの関係性を記述したデータセット(MyFonts dataset?)を構築
• Generative Feature Learningという表現学習 を提案。MyFonts-test, AMT-testで提案手法の有用性を確認。

新規性

• 大規模なFont-Tag datsetの構築
• Generative Feature Learning
  • baselineはGlyph imageを入力としてTag推定（Multi-label）
  • Font A & Char Xのhidden featureとFont B & Char Yのfeatureをcombineし、Font AのChar Bをreconstructするadversarial networkをsub taskとして解く
  • Attentive Feature Selection: Tag推定において、Font特有の特徴に注目がいくように、同じFontの別のGlyph Imageから獲得されるAttentionを中間表現に作用させる
  • Tag頻度のimbalanceを緩和するRecognition-Retrieval modelの提案

結果

• large-scale font retrievalの先行研究が少ないため、ベースラインはimage-retrievalの手法を採用
• 提案手法のベースラインが最も効果が大きい
  • image-retrievalの方法はGlyph ImageとTagの両者を埋め込み、metric learningのようにpair間での学習を行なっている
  • 対して提案手法はGlyph ImageからTagの確率を直接推定（こっちの方が良いらしい）
  • Tagを埋め込んだ空間がentangleしてるのでは？
• 個々のmoduleの効果はマージナル

その他（なぜ通ったか？など）

• 九州大の類似研究