Sketch-based Manga Retrieval using Manga109 Dataset

[xchiex17]

スケッチと類似した漫画のコマを検索する方法

論文本体・著者

著者

• Yusuke Matsui (University of Tokyo)
• Kota Ito (University of Tokyo)
• Yuji Aramaki (University of Tokyo)
• Toshihiko Yamasaki (University of Tokyo)
• Kiyoharu Aizawa (University of Tokyo)

論文情報

• http://yusukematsui.me/project/sketch2manga/sketch2manga.html
• Multimedia Tools and Applications (MTAP), Springer, 2017.

解きたい問題

論文 Firgure.2)より
ユーザが描いた左上のスケッチ(a)から、特徴量(b左)を抽出し、データベース状の特徴量(b右)を比較し、類似した候補を(c)に表示。(d)は選択している(c)のコマを含むページ。

新規性

• 漫画に特化した画像表現のフレームワークを提案している
• 漫画（コマ）検索に特化したスケッチベースにしたインタフェース、検索クエリの提案を提案している
• 検索結果は従来手法よりも精度がよく、検索スケールに対して正当な精度と検索時間を論文中でまとめている

実装

システム概要

論文 Firgure.3より

(offline)

1. ページのトーン除去+ラベリングを行い、ページの余白領域を特定する
2. 各ページで物体検出アルゴリズムに従ってROIを決定、ROIごとに特徴量を計算
3. 画像IDと特徴量が紐づいたPQコードを作成

(online)

4. ユーザがスケッチを描く
5. 描いたスケッチの特徴量を計算
6. 計算された特徴量と3.作成したデータ上にある画像特徴量の最近傍探索を行う
7. 該当する領域をサムネイルに・該当ページを表示

手法

• 特徴量の計算にはEOHと呼ばれる特徴量を用いる。
  • EOHは、local edge orientation histograms。とても簡潔に書くと下のように計算したもの。詳しくは関連論文リンク先参照。
    1. 最初に縦方向と横方向のどちらにもソーベルフィルタをかける
    2. ソーベルフィルタをかけた値が閾値を超えた値だけを残す
    3. 縦方向のソーベルフィルタをかけた値と横方向のその値についてarctanをとったものをbinを分ける。
    4. 横軸に3.のbin、縦軸に縦横ソーベルの値にしたヒストグラムを得る
• 物体検出アルゴリズムは、4つのアルゴリズムを比較し、selective searchという方法を使用。
• 検索対象となるEOH特徴量のまとまりを圧縮するためにPQアルゴリズムを用いる。
• 入力のベクトルと上で作成したPQコードのユークリッド距離を比較し、最小距離のものを探す。
• 検索をより効率化するために、余白は検索対象領域から省く。余白領域の決定方法は以下参照。

論文 Firgure.6より
(a)が入力画像。(a)に対してErosionをかけ、線を太くする(b)。白画素が続く領域をラベリング(c)。最も頻繁にラベルが更新され、マージできた領域を外枠と断定(d)。

• 余白領域を特定できたので、余白領域を多く含むウィンドウ位置は検索対象から除外する。

論文 Firgure.7より

実験・議論

Results

論文 Firgure.11,12およびTable 1.より
それぞれの絵に対する、Grand Truthとデータベースの画像数、クエリの数に対する、手法の検索結果。いずれの絵でも、各手法に対してよい制度を出している。

論文 Firgure.14より
１つ目の候補で検索に失敗していても、それ以降で検索に成功している場合や、作品を混ぜたデータセットで検索を行った結果など。

論文 Firgure.15および16より
物体を検索した場合やスケッチでなく画像そのものを検索クエリにした例など。

読んだ中での不明点などの感想

関連論文

EOHの元論文： http://www.cs.huji.ac.il/~yweiss/levi04learning.pdf

[kogaki]

特徴量について、 ICIP版ではFMEOH MTAP版ではEOHとなってる。