Attract Me to Buy: Advertisement Copywriting Generation with Multimodal Multi-Structured Information

[ichiroex]

Zhang, Zhipeng, Xinglin Hou, Kai Niu, Zhongzhen Huang, Tiezheng Ge, Yuning Jiang, Qi Wu, and Peng Wang. 2022. “Attract Me to Buy: Advertisement Copywriting Generation with Multimodal Multi-Structured Information.” arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2205.03534.

解決したい課題

従来のマルチモーダルテキスト生成（例えば、動画キャプション生成）では、「何が起きているか、何があるか」という観点の生成が中心だった。これらは広告文生成の観点では十分ではない。 本タスクにおけるチャレンジは2点ある

• structured / unstructured informationをどのように融合し、必要な情報を獲得するか
• ブランド名など入力データの事実に忠実な文生成が求められる

提案手法

データセット構築

• product video
• product core feature summary
• structured information ontology
• advertising copywriting

www.taobao.comよりデータ収集

モデル

• 入力
  • product core feature summary
  • structured information
  • video's frames
• 出力
  • captions

• Conceptualization（汎化）
  • ブランド名や商品カテゴリ、色などを正確に言及するために、これらのキーワードは Key で汎化する
  • そして生成後に structured informationから Value を引っ張ってくる
• Multimodal Fusion
  • d-次元ベクトルに変換された動画フレーム、要約、キーワードを並べてTransformerに入力する
  • Self-attentionを通して inter-/intra- modality contextをモデリングする
• Feature extraction from videos
  • 事前学習済み3D ConvNetを用いて、動画の各フレームをエンコードする

結果

他の手法との比較. 他の手法の説明はない. なぜ他の手法と比べて優れているかよくわからない.

Ablation studyの結果. Structured informationがあることでinformativeになっている.

Conceptualizationがある方が良い

Hard homologous metric branch / color / material / people / time & season について、ground truthと比較して、正解率／エラー率を算出.

人手評価結果 生成分が商品説明文として利用可能かどうか、という観点で評価を実施した。