Car controlのMPCEnv実装

[miyosuda]

概要

車オブジェクトを制御して動かすMPCEnvを実装する。

提案内容

矩形領域内には、赤、黒の円形オブジェクトがあり、それぞれの領域内に滞在すると単位時間あたり、-1, 1の報酬が加算される。

MPCEnvはBundleのサブクラスとして実装される。

環境の状態は、

• 画像
• 赤、黒オブジェクトの座標配列

どちらかで返される。

[miyosuda]

車オブジェクトのダイナミクス部分はダイナミクスオブジェクトを差し替えることで、他のもの(例えばドローンなど)に簡単に差し替えができるようにしておく。

赤、黒のオブジェクトの配置等のこの環境固有の処理も差し替え可能にするかどうかは検討中。

[miyosuda]

MPCEnvは引数として

• dynamics (Agentのダイナミクスを定義)
• renderer (画像出力を行う時にAgentの表示をする)
• reward_system (報酬と環境の実際の内容を定義したもの)

の三つを取り、それらが差し替えられるようにしてみました。

https://github.com/shigeyukioba/matchernet/blob/7f130f5aaa5ddf7dfb8b3c0c432c219f63f5b96f/demo/car_control/mpcenv.py#L7-L11

また、MPCEnvクラス自体はBundleではなく、opeai gymのEnvironment互換のクラスのような位置付けにし、MPCEnvをラップしたMPCEnbBundleクラスが実際にBundleとしてMatcherとやりとりをするような構造にしてみました。

(MPCEnv関連の共通クラスは matchernet/control ディレクトリ等に移動する予定です。