zerebom
commented
3 years ago 
research site paper Supplemental
プロテニスプレーヤの試合動画をインタラクティブに操作できるvideo spritesに変換するシステムの提案。 ”Controllable video textures"という技術にテニスラリーの循環構造をドメイン知識として注入することでモデルに制限を与えた。
何ができるようになったか
-
実戦では対戦していないプレイヤー同士の対戦や，ウィンブルドン決勝戦でのプレイヤーのインタラクティブな操作
-
ボールの着弾位置を変更したとき、相手はどのような動きをするか ボールの軌道や、インパクトの振り方はどう変化するか
-
この位置、この速度にボールが飛んできたら、ナダルはどのような球種を選び、どのような返球をするかをモデル化,そしてレンダリングする
手法
生動画からラリーしているフレームだけをアノテーションする
アノテーション内容 各clipのアノテーション
- 球種(FH,BH,Top/slice)
- いつインパクトしたか
- いつモーションが完了するか
- ボールの結果はどうなるか(net,winner,out,continue)
- いつボールはバウンドするか
- どこで打つか
各フレームのアノテーション
- pose(14箇所)
- position
- opponent position
- player bbox
- コートとスクリーンの射影
1時間の動画に1時間かかる。12分しかラリーの動画はない。
ボールの挙動を運動方程式で同定する
動画からだと、ボールはぶれてしまうので、運動方程式を用いて補完する。
behavior modelの作成
プレーヤーとボールの初期位置を入力、 ボールの速度、球種、着弾位置、プレーヤのend positionを出力するモデルを作成する。
コートは広いがプロテニス選手の球の着弾位置は偏っているので、KDEでモデリングすることができる。
behavior modelの皮をrenderingするためのCLIP SEARCH
細かい補完
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev. #63
What
話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！