Open zerebom opened 3 years ago
research site paper Supplemental
プロテニスプレーヤの試合動画をインタラクティブに操作できるvideo spritesに変換するシステムの提案。 ”Controllable video textures"という技術にテニスラリーの循環構造をドメイン知識として注入することでモデルに制限を与えた。
実戦では対戦していないプレイヤー同士の対戦や，ウィンブルドン決勝戦でのプレイヤーのインタラクティブな操作などが可能になった。
ex)
ボールの着弾位置を変更したとき、相手はどのような動きをするか。 ボールの軌道や、インパクトの振り方はどう変化するか。
この位置、この速度にボールが飛んできたら、ナダルはどのような球種を選び、どのような返球をするかをモデル化,そしてレンダリングする
アノテーション内容 各clipのアノテーション
各フレームのアノテーション
1時間の動画に1時間かかる。12分しかラリーの動画はない。
動画からだと、ボールはぶれてしまうので、運動方程式を用いて補完する。
プレーヤーとボールの初期位置を入力、 ボールの速度、球種、着弾位置、プレーヤのend positionを出力するモデルを作成する。
コートは広いがプロテニス選手の球の着弾位置は偏っているので、KDEでモデリングすることができる。
research site paper Supplemental
プロテニスプレーヤの試合動画をインタラクティブに操作できるvideo spritesに変換するシステムの提案。 ”Controllable video textures"という技術にテニスラリーの循環構造をドメイン知識として注入することでモデルに制限を与えた。
何ができるようになったか
実戦では対戦していないプレイヤー同士の対戦や，ウィンブルドン決勝戦でのプレイヤーのインタラクティブな操作などが可能になった。
ex)
ボールの着弾位置を変更したとき、相手はどのような動きをするか。 ボールの軌道や、インパクトの振り方はどう変化するか。
この位置、この速度にボールが飛んできたら、ナダルはどのような球種を選び、どのような返球をするかをモデル化,そしてレンダリングする
手法
生動画からラリーしているフレームだけをアノテーションする
アノテーション内容 各clipのアノテーション
各フレームのアノテーション
1時間の動画に1時間かかる。12分しかラリーの動画はない。
ボールの挙動を運動方程式で同定する
動画からだと、ボールはぶれてしまうので、運動方程式を用いて補完する。
behavior modelの作成
プレーヤーとボールの初期位置を入力、 ボールの速度、球種、着弾位置、プレーヤのend positionを出力するモデルを作成する。
コートは広いがプロテニス選手の球の着弾位置は偏っているので、KDEでモデリングすることができる。
behavior modelの皮をrenderingするためのCLIP SEARCH
細かい補完