Retrieval and Visualization of Human Motion Data via Stick Figures

棒人間のスケッチでモーションを検索する方法

論文本体・著者

Myung Geol Choi (The University of Edinburgh, UK & JST ERATO, Japan)
Kyung-young Yang (Seoul National University, South Korea)
Takeo Igarashi (The University of Tokyo, Japan & JST ERATO, Japan)
Jun Mitani (University of Tsukuba, Japan & University of Tsukuba, Japan)
Jehee Lee (Seoul National University, South Korea)

論文情報

http://www.jst.go.jp/erato/igarashi/en/projects/MotionComics/index.html
Pacific Graphics 2012 (ベストペーパー賞)

解きたい問題


論文 Figure 1.より
スケッチからモーションを検索する。スケッチを描くとモーションの候補が表示され、候補に対応した動きがスケルトンで確認できる。

スケッチから候補のGenerated棒人間の探し出す。
- スケッチ⇔Generated棒人間を探す点と、
- モーション群からGnereated棒人間を作る点二つが大きなポイントとなる。

新規性

予備調査を行い、調査結果に基づく、モーションデータ⇒一Generated棒人間のシークエンスを生成するアルゴリズムを開発
検索の際に用いる、棒人間の特徴に基づいた比較法により、インタラクティブかつ逐次検索を実現
102個のモーションファイルを含むデータベースから、目的のモーションセグメントを検索するためのインタフェースを提案、実装

予備調査

モーションに対する棒人間の描かれ方を調査。


論文 Figure 2.より
予備調査によって描かれた棒人間の様子

予備調査により、棒人間を描く際の共通事項があった。
- モーションは連続だが、スケッチに絵が描かれるフレームは、ほとんどの場合がモーションの方向が変わった瞬間や、止まった瞬間だった。
- キックなどがいい例で、足を最高到達点に振り上げた時を描いてる。
- 動きの方向が連続的に変わる場合、ユーザはMoving Path(動きの軌跡を表す線) を描く。
- ユーザが描く棒人間の見られる向きは固定されない(見せたモーションの動きはカメラの向きは変化していた)。

実装

Generating Stick Figures

予備調査に基づき、候補に見せるGnerated棒人間を作る。

キー姿勢に選ぶのは、モーションの方向が変化した際にする。
- 加速度０になった時をモーションの方向が変化した瞬間とみなした。
最後のキー姿勢に対し、Movig pathをつける。
- キー姿勢からの各ジョイントの距離をはかり、閾値を超えているジョイントをMoving JointとしてMoving path(trajectory line)をつける。
正面からの0~180度を５段階に分けて、棒人間とMoving pathのスペースが最も大きくなる方向を選ぶ。
- 一連の3D座標のセットをサンプリングし、投影された2D点の標準偏差を最大にする平面を選ぶ。
- 動きが小さすぎるorない場合は単純にキー姿勢が最も大きくなる面を選ぶ。

Retrieving


論文 Figure 4.より

モーション側のスケルトンからFig.4(b)のようなスケルトンツリーを生成する
スケッチ側は、描くことに対して２つのルールを設けた
- １ストロークは、１パーツ。すなわち、四肢か胴体、目か頭。
- いつもパーツ通しはつながってるパーツを描く。すなわち、左足を１本目に書いた後に右足描くみたいなことはない。
スケッチは、丸か線かをハフ変換を用いて判別する。丸なら頭。
Trajectory lineはQinらのストローク分類アルゴリズムを用いて、線、円弧、楕円、複合体のいずれかに分類する。
検索は、ありうるすべてのパタン(13!)から、不可能なパターンを削った（trajecrotry-correspondenceを取ると表現）もので行う。

Feature Vector Extraction

Eye Linkの長さを基準に０～１に正規化する。
スケルトンの特徴量ベクトルは以下であらわされる。

すなわち、f^sは、i番目のリンクに関する2Dのxとyそれぞれのベクトルを並べたものである。また、各線は以下のように10点にサンプリングされる。これをf^k_tと表す。

バーがついてる文字変数は、Generated棒人間の各ベクトル。スケッチとGenerated棒人間の距離は以下の式ではかられる。

実験・議論



論文 Figure 7.および8.より
上図は、各モーションを探すためにユーザが描いたスケッチ。
下図が各モーションを探すのにかかった時間。
青が、提案手法のスケッチ検索インタフェースを用いて検索したグループ。赤が、Generated棒人間の羅列から探したグループ。
ゴルフの例以外は提案スケッチインタフェースのほうが早い。ゴルフは線が複雑になりがちで、スケッチ範囲が狭い瞬間を描くことなども多かったため失敗した。

Limitation


論文 Figure 9.より
バク転を探した時の例。バク転を描くのがそもそも難しくて、(a)とか(b)みたいなpoor descriptionにしかならなかったので難しかったらしい。(c)みたいにキー姿勢をそもそもDBとは異なるものを描いてしまう被験者もいたとのこと。

DwangoMediaVillage / paper_readings

Retrieval and Visualization of Human Motion Data via Stick Figures #49