Mode-Adaptive Neural Networks for Quadruped Motion Control

教師あり学習で四足歩行キャラクターのモーション生成．複数の歩行モードをスムーズに切り替え可能．

論文本体・著者

Mode-Adaptive Neural Networks for Quadruped Motion Control
- https://github.com/sebastianstarke/AI4Animation
- He Zhang, Sebastian Starke, Taku Komura, Jun Saito
- University of Edinburgh, Adobe Research
- SIGGRAPH2018

四足歩行キャラのモーションをオンライン生成するシステムを作った
- モーションキャプチャーのデータを回帰することでシステムを構築（data-driven)
- 複数の歩行モードを効率的に学習するNeural Networkモデルを提案


論文 Fig. 3 より提案モデルの構成

モデル全体としてはキャラクターの現在の姿勢，速度，ユーザーのコマンドから，次時刻の姿勢と速度を推定
コマンドは停止，移動，ジャンプ，座り，寝転がり，立ちなどのモーションの種類と，移動方向・速度
犬のモーションキャプチャデータを教師信号にした回帰を行う
- データは30分収録した
- 停止，歩行，ジャンプ，座り，寝転がり，立ちのラベルを手作業でつけた
- さらに歩行モードはスピードごとに4種類に分類
モデルはモーション生成を行うMotion Prediction Networkと，その重みを調整するGating Networkの2つからなる
- どちらのNetworkもFeed forward neural network (FNN)
- Motion Prediction Networkの現在姿勢と速度から次時刻の姿勢と速度を出力
  - 複数の行列の線形和を各レイヤーのパラメーターとする
- Gating Networkは足とend effector（地面と接触する部位）の姿勢とユーザーのコマンドからMotion Prediction Networkの線形和の重みを出力


論文 Fig. 9 より

Unityで実装しオンラインで提案モデルを実行
- 平らな地面で異なる歩行モード間をスムーズに移り変えることに成功した
- 起伏のある地面でも逆運動学をオンラインに適用することで移動可能
教師データ（Ground Truth），シンプルなFNN（vanilla neural network, vNN)，phase-functioned neural network(PFNN)と比較評価
- vNNでは異なるはずの動きが平均化されてしまい不自然な動き
- PFNNはvNNに比べてより自然な動きが生成されたが，後ろ足に不自然さが残った
- 足を引きずった平均的な距離，姿勢変動の偏差，ユーザーコマンドへの応答性を数値評価
- Gating Networkがどのように重みを振り分けているのかを可視化（上の図，Fig.9）
  - Mixture of Expertsに見られるような重みの極端な偏りは見られなかった

注）PFNNはFNNのパラメーターを時間位相によって定期的に変動させるモデルで，著者らが過去に行った研究で提案されたモデル

障害物を避けたり乗り越えるような動作はデータがあればできると著者らは主張しているが・・・
- 汎化できる程度の十分なデータを集めるのは大変なのでは？
- DeepMimic(#44)のように探索を導入する必要があるのではないだろうか